SHOWCASE

jev-tool-calling:BFCLのツール呼び出しをJevで解く

選ぶことしかできないJevで、関数名と引数をどこまで当てられるかをBFCL v3の単発分割で測る評価リポジトリ。

benchmarktool-callingpython

何をするものか

Berkeley Function Calling Leaderboard(BFCL)v3の単発の分割を使い、文章を生成しないJevでゼロショットのツール呼び出しをどこまで組み立てられるかを測る。

Jev をどこでどう使っているか

src/jevtools/jev.py が typesafe_sdk の TypeSafeClient を呼ぶ。関数の選択は選択式で聞き、引数は依頼文の語ごとにどの引数を表すかを付ける方式と、関数ごとの仕様からコードが候補値を作ってJevに選ばせる方式を比べている。READMEには jev-1.13.0 での3回平均の結果と、まだ走らせていない分割が明記されている。

試し方

uv sync のあと uv run run test spec。TypeSafeのAPIキーが必要で、全分割を回すと入力トークンが多くなる点に注意。このサイトでは実行確認していない。

出典・参考リンク

  1. コード will-rice/jev-tool-calling