要点
- 著者は jev-1.13.0 と、JSON スキーマで答えさせた gpt-5.4-nano・gpt-4.1-mini・ローカルの qwen3.8 に同じ問いを渡し、公開データセット4種と自作の難問セットで比べたと述べている
- 速度と費用では Jev が大きく上回った一方、正解率はデータセットごとに分かれ、英語ツイートの皮肉判定では qwen3.8 が上回ったと報告している
- 多重比較の補正をかけると有意差は残らないと明記し、Jev は「常に賢い分類器」ではなく「同等の判断を速く安く確率付きで返す部品」と位置づけている
何が変わるか
LLM に JSON で分類させている処理を Jev へ移すか検討するとき、正解率だけでなく確率の較正・再現性・費用まで同じ条件で並べる手順の参考になる。LLM の logprobs から確率を取り出す方法の制約も書かれている。数値は著者の 2026-09-19 時点の単発測定で、推論を有効にした LLM は比較の対象外としている。Qiita に要約版の先行記事がある。