要点
- 著者は、ナレッジグラフの関係選択という前回の評価と同じ日英データで、Jev と OpenAI Decisions API を比べたと述べている
- 著者の測定では、正解率と Macro F1 の両方で Jev が上回ったと報告している。Decisions API 側では回答を断る応答が一定数あり、不正解として扱ったという
- Jev の費用は別の tokenizer による推計、応答時間は以前の測定値で、実行環境もそろっていないと著者自身が注記している
何が変わるか
選択肢の多い choice 型の業務で、精度だけでなく拒否応答の扱いや費用の数え方まで比べる手順の参考になる。速度で選ぶなら同じ環境で測り直すべきだ、という著者の注意も押さえておきたい。