NEWS / 活用事例

Qiita:DeepEvalのJevジャッジをGemini Flash Liteと比較

DeepEvalがJevを判定役に使えるモードを使い、連想ゲームの出力評価でGemini 3.5 Flash Liteと費用・速度・判定を比べた報告。

usecaseqiitadeepevalevaluationgemini

要点

  • DeepEval のリリースノートと連携ドキュメントには、評価メトリクスの判定部分を Jev に任せる実験的なモードと、TypeSafe 用のモデル設定が載っている
  • 著者はこの仕組みで、Gemini 3.5 Flash Lite が出す連想ゲームの回答を毒性・バイアス・関連性などで評価し、Gemini をジャッジにした場合と比べたと述べている
  • 報告では Jev の方が費用・時間とも大幅に小さく、バイアス判定では Gemini の方が厳しめに落とす傾向があったとしている

何が変わるか

DeepEval を使っているチームは、評価用 LLM の文章生成を残したまま、合否の判定部分だけを Jev に寄せて試せる。著者は、判断理由の文章が必要な評価や自由記述の基準を使うメトリクスでは評価の設計し直しが要り、スコアの出方も LLM ジャッジと異なるため、しきい値や相対傾向で見るのがよいと注意している。数値は著者の小規模な試行による。

関連ガイド

出典・参考リンク

  1. コミュニティ Jev vs Gemini Flash Lite — DeepEvalでLLM-as-a-Judgeを比較してみた
  2. コード deepeval python-v4.2.4 release notes
  3. 参考情報 DeepEval docs: TypeSafe AI (Jev)