# Zenn：JevとDiffusionGemma互換サーバーなど5モデルで幻覚判定を比較

自前ホストのdjevを加えた5モデルを公開ベンチマークで比べ、AUROCと固定しきい値での見逃し・誤検知の違いを示した報告。

- 正規URL: https://jevguide.jp/news/zenn-canly-five-model-hallucination-2026-10-09/
- 公開: 2026-10-09T22:11:21.963Z
- 更新: 2026-10-09T22:11:21.963Z
- 検証区分: 報道・記事ベース

## 要点

- 著者は Jev、Clef、Clef-Flash、OpenAI Decisions API に、DiffusionGemma を使う非公式の Jev 互換サーバー（djev）を加え、7タスクで比較したと述べている
- 著者の測定では多くのタスクの AUROC で Jev が先行した一方、0.5 固定のしきい値では対話の幻覚判定で djev、QA で Decisions API の正解率が高く、見逃しと誤検知の内訳が入れ替わったと報告している
- 日本語の state をサーバー側で ASCII エスケープすると結果が崩れた例や、同じ入力でも判定が一部変わった点も挙げている

## 何が変わるか

順位づけの良さと、業務で使うしきい値の良さは別に確かめる必要がある、という読み方を具体例で示した記事。測定日や経路が異なる探索的比較で、著者自身も優劣の断定を避けている。

## 関連ガイド

- [ベンチマークの読み方](/guides/reading-benchmarks/)
- [確率と confidence](/guides/reading-confidence/)
- [限界と注意点](/guides/limitations/)

## 出典

- [嘘を嘘と見抜けるAIはどれだ！JevからDiffusionGemmaまで、意思決定AI 5モデル比較](https://zenn.dev/canly/articles/5a411fa1cbcf0a)

---
typesafe.ai とは無関係の非公式ガイドです。
