# Zenn：Kaggleの過去NLPコンペでJevとd1の精度を検証

Kaggleの過去コンペの公開データで、JevとLiquid AIのd1、TF-IDFの線形モデルを追加学習なしで比べた報告。

- 正規URL: https://jevguide.jp/news/zenn-trtd56-kaggle-nlp-jev-d1-2026-10-14/
- 公開: 2026-10-14T22:09:12.871Z
- 更新: 2026-10-14T22:09:12.871Z
- 検証区分: 報道・記事ベース

## 要点

- 著者はコメントのルール違反判定、作文の自動採点、有害コメント判定の3つのコンペで、jev-1.13.0、ローカルの d1-3B、TF-IDF と線形モデルの組み合わせを比べたと述べている
- ルール違反判定では Jev が最も高く、作文採点と有害判定では d1 が上回ったと報告している。作文採点では Jev の予測が2〜3点に集まり、高得点の作文も低めに採点する傾向があったという
- どちらも追加学習なしで古典的なベースラインを上回った一方、どのコンペでも銅メダルの水準には届かなかったとしている

## 何が変わるか

有害判定をしきい値0.5で二値化すると、Jev は見逃しが少なく誤検出が多いという結果も示されている。確率をそのまま使う前に、用途に合わせてしきい値と指標を選ぶ必要があることがわかる。著者は、まず判定モデルで試作し、実データで正解ラベルをためてから、必要なら学習や別の方式に移る進め方を提案している。数値は著者による単発の測定。

## 関連ガイド

- [Jev の確率と confidence の読み方、しきい値での振り分け方](/guides/reading-confidence/)
- [Jev の公式ベンチマーク（Workflow Evals）の読み方と注意点](/guides/reading-benchmarks/)
- [Jev が苦手なこと: 公式が認める9つの弱点と、実際に試した結果](/guides/limitations/)

## 出典

- [決定モデルの分類精度をKaggleの過去NLPコンペで検証する](https://zenn.dev/trtd56/articles/a3a65631b5e773)

---
typesafe.ai とは無関係の非公式ガイドです。
