要点
- 著者は Jev、Clef、Clef-Flash、OpenAI Decisions API に、DiffusionGemma を使う非公式の Jev 互換サーバー(djev)を加え、7タスクで比較したと述べている
- 著者の測定では多くのタスクの AUROC で Jev が先行した一方、0.5 固定のしきい値では対話の幻覚判定で djev、QA で Decisions API の正解率が高く、見逃しと誤検知の内訳が入れ替わったと報告している
- 日本語の state をサーバー側で ASCII エスケープすると結果が崩れた例や、同じ入力でも判定が一部変わった点も挙げている
何が変わるか
順位づけの良さと、業務で使うしきい値の良さは別に確かめる必要がある、という読み方を具体例で示した記事。測定日や経路が異なる探索的比較で、著者自身も優劣の断定を避けている。