要点
- 著者は車載音声アシスタントを想定し、発話からどの車両操作をするかを選ばせる日本語の課題で、Jev・OpenAI Decisions・Clef-flash・d1-3B などを比べたと述べている
- クラウドの判断モデルは言い換えや音声認識の崩れにも強く、Jev は確信度のずれ(ECE)が最も小さかったと報告している。正答率では OpenAI Decisions が上回ったとしている
- 「窓は開けないで」のように状態がないと決まらない発話では、多くのモデルが高い確信度で誤った操作を選んだと書いている
何が変わるか
選択肢の数を増やしたときの落ち方や、確信度0.8以上だけ実行した場合の正答率とカバー率まで並んでいるので、確信度ゲートを設計する際の参考になる。状態がないと答えが決まらない問いは、State に必要な情報を入れるか「聞き返す」を選択肢に含める設計が要ると読める。数値は著者の小規模な課題での測定。
関連ガイド
出典・参考リンク
- コミュニティ 判断専用モデル(Jev 系)を一挙にまとめて比較しとく