要点
- DeepEval のリリースノートと連携ドキュメントには、評価メトリクスの判定部分を Jev に任せる実験的なモードと、TypeSafe 用のモデル設定が載っている
- 著者はこの仕組みで、Gemini 3.5 Flash Lite が出す連想ゲームの回答を毒性・バイアス・関連性などで評価し、Gemini をジャッジにした場合と比べたと述べている
- 報告では Jev の方が費用・時間とも大幅に小さく、バイアス判定では Gemini の方が厳しめに落とす傾向があったとしている
何が変わるか
DeepEval を使っているチームは、評価用 LLM の文章生成を残したまま、合否の判定部分だけを Jev に寄せて試せる。著者は、判断理由の文章が必要な評価や自由記述の基準を使うメトリクスでは評価の設計し直しが要り、スコアの出方も LLM ジャッジと異なるため、しきい値や相対傾向で見るのがよいと注意している。数値は著者の小規模な試行による。