NEWS / 活用事例

Zenn:Jevと構造化出力LLMを公開データで比べた検証

公開データセットと難問セットでJevとJSON出力の汎用LLMを並べ、正解率・速度・費用・確率の較正を比べた詳細レポート。

要点

  • 著者は jev-1.13.0 と、JSON スキーマで答えさせた gpt-5.4-nano・gpt-4.1-mini・ローカルの qwen3.8 に同じ問いを渡し、公開データセット4種と自作の難問セットで比べたと述べている
  • 速度と費用では Jev が大きく上回った一方、正解率はデータセットごとに分かれ、英語ツイートの皮肉判定では qwen3.8 が上回ったと報告している
  • 多重比較の補正をかけると有意差は残らないと明記し、Jev は「常に賢い分類器」ではなく「同等の判断を速く安く確率付きで返す部品」と位置づけている

何が変わるか

LLM に JSON で分類させている処理を Jev へ移すか検討するとき、正解率だけでなく確率の較正・再現性・費用まで同じ条件で並べる手順の参考になる。LLM の logprobs から確率を取り出す方法の制約も書かれている。数値は著者の 2026-09-19 時点の単発測定で、推論を有効にした LLM は比較の対象外としている。Qiita に要約版の先行記事がある。

関連ガイド

出典・参考リンク

  1. コミュニティ Jevと構造化出力LLMを821件で比較する:正解率、速度、費用、確率
  2. コミュニティ Jevは構造化出力LLMの代わりになるか:821件で速度、費用、確率を比較した