要点
- 著者は、Jev の入出力や質問の型を整理したうえで、Jev 互換をうたう公開モデルを、読み出しヘッドの置き換え、選択肢文字のロジット読み出し、エンコーダと判定ヘッドの3方式に分けて紹介している
- 自作の76問を手元の GPU 環境で14構成に投げ、正答率に加えて Brier や ECE で確率の当てはまりも比べたと報告している。Jev 本体は API キーが無く測っていない
- 記事は生成 AI に調べさせた内容を元にした備忘録と断っており、各モデルの数値の多くは開発元の自己申告だとしている
何が変わるか
クラウド API を使いにくい環境で代替を探す人にとって、方式ごとの得失や、同じ名前の別プロジェクトが多いことへの注意を知る入口になる。互換モデルはいずれも TypeSafe の公式製品ではない。