要点
- 著者は自作のコメント振り分けアプリで記録した競馬中継のコメントを、Cloudflare Workers AI 経由の Jev と、Ollama で動かす埋め込みベースの自作分類器で分類し直したと述べている
- 配信ジャンルを説明する補足を1行渡すと、Jev ではゲーム実況向けの「指示」への振り分けが大きく減ったと報告している
- 暴言やスパムなど安全系の判定は、分類器が替わるとほとんど重ならなかったという。正解ラベルは付けておらず、一致率は正しさではないと著者は注記している
何が変わるか
短く固有名詞の多い文の分類では、状態に添える一行の文脈が判定を左右しうること、そして単一の分類器の安全判定だけで表示を隠すのは危ういことを示す実例として参考になる。