要点
- 著者はコメントのルール違反判定、作文の自動採点、有害コメント判定の3つのコンペで、jev-1.13.0、ローカルの d1-3B、TF-IDF と線形モデルの組み合わせを比べたと述べている
- ルール違反判定では Jev が最も高く、作文採点と有害判定では d1 が上回ったと報告している。作文採点では Jev の予測が2〜3点に集まり、高得点の作文も低めに採点する傾向があったという
- どちらも追加学習なしで古典的なベースラインを上回った一方、どのコンペでも銅メダルの水準には届かなかったとしている
何が変わるか
有害判定をしきい値0.5で二値化すると、Jev は見逃しが少なく誤検出が多いという結果も示されている。確率をそのまま使う前に、用途に合わせてしきい値と指標を選ぶ必要があることがわかる。著者は、まず判定モデルで試作し、実データで正解ラベルをためてから、必要なら学習や別の方式に移る進め方を提案している。数値は著者による単発の測定。
関連ガイド
- Jev の確率と confidence の読み方、しきい値での振り分け方
- Jev の公式ベンチマーク(Workflow Evals)の読み方と注意点
- Jev が苦手なこと: 公式が認める9つの弱点と、実際に試した結果