NEWS / 活用事例

Qiita:車載コマンド判定で判断専用モデルを横断比較

車の音声操作を想定した日本語の判定課題で、Jevや他社・オープンの判断専用モデルを並べ、精度・較正・速度を比べた報告。

要点

  • 著者は車載音声アシスタントを想定し、発話からどの車両操作をするかを選ばせる日本語の課題で、Jev・OpenAI Decisions・Clef-flash・d1-3B などを比べたと述べている
  • クラウドの判断モデルは言い換えや音声認識の崩れにも強く、Jev は確信度のずれ(ECE)が最も小さかったと報告している。正答率では OpenAI Decisions が上回ったとしている
  • 「窓は開けないで」のように状態がないと決まらない発話では、多くのモデルが高い確信度で誤った操作を選んだと書いている

何が変わるか

選択肢の数を増やしたときの落ち方や、確信度0.8以上だけ実行した場合の正答率とカバー率まで並んでいるので、確信度ゲートを設計する際の参考になる。状態がないと答えが決まらない問いは、State に必要な情報を入れるか「聞き返す」を選択肢に含める設計が要ると読める。数値は著者の小規模な課題での測定。

関連ガイド

出典・参考リンク

  1. コミュニティ 判断専用モデル(Jev 系)を一挙にまとめて比較しとく