# Qiita：DeepEvalのJevジャッジをGemini Flash Liteと比較

DeepEvalがJevを判定役に使えるモードを使い、連想ゲームの出力評価でGemini 3.5 Flash Liteと費用・速度・判定を比べた報告。

- 正規URL: https://jevguide.jp/news/qiita-take-yoda-deepeval-jev-judge-2026-10-13/
- 公開: 2026-10-13T22:19:03.066Z
- 更新: 2026-10-13T22:19:03.066Z
- 検証区分: 報道・記事ベース

## 要点

- DeepEval のリリースノートと連携ドキュメントには、評価メトリクスの判定部分を Jev に任せる実験的なモードと、TypeSafe 用のモデル設定が載っている
- 著者はこの仕組みで、Gemini 3.5 Flash Lite が出す連想ゲームの回答を毒性・バイアス・関連性などで評価し、Gemini をジャッジにした場合と比べたと述べている
- 報告では Jev の方が費用・時間とも大幅に小さく、バイアス判定では Gemini の方が厳しめに落とす傾向があったとしている

## 何が変わるか

DeepEval を使っているチームは、評価用 LLM の文章生成を残したまま、合否の判定部分だけを Jev に寄せて試せる。著者は、判断理由の文章が必要な評価や自由記述の基準を使うメトリクスでは評価の設計し直しが要り、スコアの出方も LLM ジャッジと異なるため、しきい値や相対傾向で見るのがよいと注意している。数値は著者の小規模な試行による。

## 関連ガイド

- [確率と confidence の読み方](/guides/reading-confidence/)
- [3つの質問タイプの書き方](/guides/question-types/)
- [Python SDK で最初の判定](/guides/python-sdk-quickstart/)

## 出典

- [Jev vs Gemini Flash Lite — DeepEvalでLLM-as-a-Judgeを比較してみた](https://qiita.com/take-yoda/items/136d1f5a4deea203c718)
- [deepeval python-v4.2.4 release notes](https://github.com/confident-ai/deepeval/releases/tag/python-v4.2.4)
- [DeepEval docs: TypeSafe AI (Jev)](https://deepeval.com/integrations/models/typesafe-ai)

---
typesafe.ai とは無関係の非公式ガイドです。
