NEWS / 活用事例

Qiita:配信コメント分類をJevと埋め込み分類器で比べた計測

競馬中継のライブ配信コメントを、Jevと手元の埋め込み分類器で条件を替えて分類し直し、判定の傾向や重なりを比べた記録。

要点

  • 著者は自作のコメント振り分けアプリで記録した競馬中継のコメントを、Cloudflare Workers AI 経由の Jev と、Ollama で動かす埋め込みベースの自作分類器で分類し直したと述べている
  • 配信ジャンルを説明する補足を1行渡すと、Jev ではゲーム実況向けの「指示」への振り分けが大きく減ったと報告している
  • 暴言やスパムなど安全系の判定は、分類器が替わるとほとんど重ならなかったという。正解ラベルは付けておらず、一致率は正しさではないと著者は注記している

何が変わるか

短く固有名詞の多い文の分類では、状態に添える一行の文脈が判定を左右しうること、そして単一の分類器の安全判定だけで表示を隠すのは危ういことを示す実例として参考になる。

関連ガイド

出典・参考リンク

  1. コミュニティ youtube ライブ配信のコメントをJev と EmbeddingGemma2 で振り分けて比べてみた