TOPIC / テーマから読む
benchmark
ニュース・ガイド・応用例を横断して、ひとつのテーマを深く知る。
報道・記事ベース
Zenn:Kaggleの過去NLPコンペでJevとd1の精度を検証
Kaggleの過去コンペの公開データで、JevとLiquid AIのd1、TF-IDFの線形モデルを追加学習なしで比べた報告。
報道・記事ベース
Qiita:Claude Haiku 5.5を判断役にしてJevと比較
問い合わせ分類などでHaiku 5.5を番号だけ返す判断役として試し、同じ問題でJevと速さや方言理解を比べたQiita記事。
報道・記事ベース
Zenn:OpenAI Decisions APIを日本語判定でJevと比較
商品名の販促訴求判定でDecisions APIとJevを同じ質問文で比べ、一致や揺れ・費用の違いを整理したメモがZennに出た。
報道・記事ベース
Qiita:関係抽出でJevとOpenAI Decisions APIを比較
日英の同じデータで36種類の関係候補から1つを選ぶ処理を、精度・費用・応答時間で比べた報告。費用と速度の一部は参考値。
報道・記事ベース
Qiita:Jev互換のオープンウェイト14構成を同じ問題で比べた調査
Jevの仕組みを整理したうえで、互換をうたう公開モデルを方式別に分け、自作の76問で正答率や確率の当てはまりを手元で測った記事。
報道・記事ベース
Zenn:JevとDiffusionGemma互換サーバーなど5モデルで幻覚判定を比較
自前ホストのdjevを加えた5モデルを公開ベンチマークで比べ、AUROCと固定しきい値での見逃し・誤検知の違いを示した報告。
jev-tool-calling:BFCLのツール呼び出しをJevで解く
選ぶことしかできないJevで、関数名と引数をどこまで当てられるかをBFCL v3の単発分割で測る評価リポジトリ。
will-rice/jev-tool-callingWorkflowEvals:公式ワークフロー評価の再現
evals.typesafe.ai のワークフロー評価を手元で再現する公式コード。請求・CS・エージェント追跡・セキュリティなど。
typesafe-ai/WorkflowEvals報道・記事ベース
Qiita:Jevの日本語分類をLivedoor等で検証
OpenRouter 経由の jev-1.13 で Livedoor と WRIME を zero-shot 評価した個人検証が Qiita に公開された。
一次情報で確認
公式が、LLM で System One API を再現する比較用アダプタを公開
TypeSafe AI が、SDK の system_one と同じ呼び出しを LLM の API で実行する Python のアダプタを GitHub で公開した。Jev と LLM を、コスト・速度・知能で比べる用途を想定している。