NEWS / 記事・議論

Zenn:JevとDiffusionGemma互換サーバーなど5モデルで幻覚判定を比較

自前ホストのdjevを加えた5モデルを公開ベンチマークで比べ、AUROCと固定しきい値での見逃し・誤検知の違いを示した報告。

communityzennbenchmarkhallucination

要点

  • 著者は Jev、Clef、Clef-Flash、OpenAI Decisions API に、DiffusionGemma を使う非公式の Jev 互換サーバー(djev)を加え、7タスクで比較したと述べている
  • 著者の測定では多くのタスクの AUROC で Jev が先行した一方、0.5 固定のしきい値では対話の幻覚判定で djev、QA で Decisions API の正解率が高く、見逃しと誤検知の内訳が入れ替わったと報告している
  • 日本語の state をサーバー側で ASCII エスケープすると結果が崩れた例や、同じ入力でも判定が一部変わった点も挙げている

何が変わるか

順位づけの良さと、業務で使うしきい値の良さは別に確かめる必要がある、という読み方を具体例で示した記事。測定日や経路が異なる探索的比較で、著者自身も優劣の断定を避けている。

関連ガイド

出典・参考リンク

  1. コミュニティ 嘘を嘘と見抜けるAIはどれだ!JevからDiffusionGemmaまで、意思決定AI 5モデル比較