mini-jev: 手元の LLM で Jev 風の型つき判定を再現して測る実験（非公式）

何をするものか

TypeSafe とは無関係の、非公式の実験。Jev そのものは使っていない。学習済みの LLM（Qwen3-4B）に、要求と一緒に届くスキーマに沿った分類をさせるとき、JSON を 1 トークンずつ生成させる代わりに、選択肢に振った文字の次トークンの確率を読む、という方法を測っている。

Jev とどう関係するか

Jev は、文字列を生成せずに型つきの答えと確率を返す。この実験は、その使い勝手のうち、ふつうの LLM でも得られる部分がどれだけあるかを調べたもの。README は、意図の分類で JSON の生成と同程度の正答率を保ったまま、短い文では約 4 倍速かったと報告している。一方で、どの選択肢にも当てはまらない文や、前の答えに左右される項目では不利になる、とも報告している。

試し方

Python で動く。モデルとデータセットを取得して実験を再現する手順が README にある。数値は作者の環境と条件での結果で、Jev の性能を示すものではない。Jev と比べたいときは、公式が公開している比較用のアダプタを使うほうが条件を揃えやすい。