NEWS / 記事・議論

Qiita:Jev互換のオープンウェイト14構成を同じ問題で比べた調査

Jevの仕組みを整理したうえで、互換をうたう公開モデルを方式別に分け、自作の76問で正答率や確率の当てはまりを手元で測った記事。

要点

  • 著者は、Jev の入出力や質問の型を整理したうえで、Jev 互換をうたう公開モデルを、読み出しヘッドの置き換え、選択肢文字のロジット読み出し、エンコーダと判定ヘッドの3方式に分けて紹介している
  • 自作の76問を手元の GPU 環境で14構成に投げ、正答率に加えて Brier や ECE で確率の当てはまりも比べたと報告している。Jev 本体は API キーが無く測っていない
  • 記事は生成 AI に調べさせた内容を元にした備忘録と断っており、各モデルの数値の多くは開発元の自己申告だとしている

何が変わるか

クラウド API を使いにくい環境で代替を探す人にとって、方式ごとの得失や、同じ名前の別プロジェクトが多いことへの注意を知る入口になる。互換モデルはいずれも TypeSafe の公式製品ではない。

関連ガイド

出典・参考リンク

  1. コミュニティ Jev とは何か。Jevもどき(Open Weight の代替 14 構成)を比較というか調査してみた。