要点
- 著者はアシスタントexista向けの発話振り分けで、TypeSafe APIのJevとQwen系ローカル等を同じ判定文で比較したと報告している
- 評価用の発話セットを用意し、本番比較用に絞り込んだうえで、choiceとnoulを1リクエストにまとめたとしている
- 続き発話など種類別の差や、再現用スクリプトの置き場所も記事に書かれている
何が変わるか
日本語の短いルーティングで、ホスト型Jevと手元モデルを並べる材料になる。正解ラベルや精度は著者セット上の報告である。
NEWS / 活用事例
音声アシスタント向け分類を、TypeSafe APIのJevと複数ローカルモデルで測った比較報告。
日本語の短いルーティングで、ホスト型Jevと手元モデルを並べる材料になる。正解ラベルや精度は著者セット上の報告である。