NEWS / 活用事例

Zenn:Kaggleの過去NLPコンペでJevとd1の精度を検証

Kaggleの過去コンペの公開データで、JevとLiquid AIのd1、TF-IDFの線形モデルを追加学習なしで比べた報告。

要点

  • 著者はコメントのルール違反判定、作文の自動採点、有害コメント判定の3つのコンペで、jev-1.13.0、ローカルの d1-3B、TF-IDF と線形モデルの組み合わせを比べたと述べている
  • ルール違反判定では Jev が最も高く、作文採点と有害判定では d1 が上回ったと報告している。作文採点では Jev の予測が2〜3点に集まり、高得点の作文も低めに採点する傾向があったという
  • どちらも追加学習なしで古典的なベースラインを上回った一方、どのコンペでも銅メダルの水準には届かなかったとしている

何が変わるか

有害判定をしきい値0.5で二値化すると、Jev は見逃しが少なく誤検出が多いという結果も示されている。確率をそのまま使う前に、用途に合わせてしきい値と指標を選ぶ必要があることがわかる。著者は、まず判定モデルで試作し、実データで正解ラベルをためてから、必要なら学習や別の方式に移る進め方を提案している。数値は著者による単発の測定。

関連ガイド

出典・参考リンク

  1. コミュニティ 決定モデルの分類精度をKaggleの過去NLPコンペで検証する