何をするものか
Berkeley Function Calling Leaderboard(BFCL)v3の単発の分割を使い、文章を生成しないJevでゼロショットのツール呼び出しをどこまで組み立てられるかを測る。
Jev をどこでどう使っているか
src/jevtools/jev.py が typesafe_sdk の TypeSafeClient を呼ぶ。関数の選択は選択式で聞き、引数は依頼文の語ごとにどの引数を表すかを付ける方式と、関数ごとの仕様からコードが候補値を作ってJevに選ばせる方式を比べている。READMEには jev-1.13.0 での3回平均の結果と、まだ走らせていない分割が明記されている。
試し方
uv sync のあと uv run run test spec。TypeSafeのAPIキーが必要で、全分割を回すと入力トークンが多くなる点に注意。このサイトでは実行確認していない。