# Zenn：Jevと構造化出力LLMを公開データで比べた検証

公開データセットと難問セットでJevとJSON出力の汎用LLMを並べ、正解率・速度・費用・確率の較正を比べた詳細レポート。

- 正規URL: https://jevguide.jp/news/zenn-skrtk98-jev-vs-structured-output-2026-10-13/
- 公開: 2026-10-13T22:19:01.056Z
- 更新: 2026-10-13T22:19:01.056Z
- 検証区分: 報道・記事ベース

## 要点

- 著者は jev-1.13.0 と、JSON スキーマで答えさせた gpt-5.4-nano・gpt-4.1-mini・ローカルの qwen3.8 に同じ問いを渡し、公開データセット4種と自作の難問セットで比べたと述べている
- 速度と費用では Jev が大きく上回った一方、正解率はデータセットごとに分かれ、英語ツイートの皮肉判定では qwen3.8 が上回ったと報告している
- 多重比較の補正をかけると有意差は残らないと明記し、Jev は「常に賢い分類器」ではなく「同等の判断を速く安く確率付きで返す部品」と位置づけている

## 何が変わるか

LLM に JSON で分類させている処理を Jev へ移すか検討するとき、正解率だけでなく確率の較正・再現性・費用まで同じ条件で並べる手順の参考になる。LLM の logprobs から確率を取り出す方法の制約も書かれている。数値は著者の 2026-09-19 時点の単発測定で、推論を有効にした LLM は比較の対象外としている。Qiita に要約版の先行記事がある。

## 関連ガイド

- [Jev の公式ベンチマークの読み方](/guides/reading-benchmarks/)
- [確率と confidence の読み方](/guides/reading-confidence/)
- [3つの質問タイプの書き方](/guides/question-types/)

## 出典

- [Jevと構造化出力LLMを821件で比較する：正解率、速度、費用、確率](https://zenn.dev/skrtk98/articles/jev-llm-structured-output-benchmark)
- [Jevは構造化出力LLMの代わりになるか：821件で速度、費用、確率を比較した](https://qiita.com/skrtk98/items/5c70baea21908705eb9f)

---
typesafe.ai とは無関係の非公式ガイドです。
