要点
- 2026-09-23 の Zenn 記事で、著者は jev-reranker の英語ベンチ「約92%削減」を手元で追試し、ほぼ一致したと書いている
- 同じ閾値 0.2 を日本語 NanoBEIR-ja に当てると、無損失で切れる上限が下がると報告している
- 絶対閾値の代わりに「クエリ内最高スコア×比率」で切ると、日英の複数条件で正解保持が改善した、とも述べている
何が変わるか
これは一次情報の公式発表ではなく、個人の測定報告である。ライブラリは TypeSafe の Jev を呼んで関連度を判定し、低い候補を落とす。著者は jev-reranker 0.1.0 / jev-1.13.0 時点の数字だと断り、モデル更新でスケールが動く可能性も書いている。日本語コーパスでは閾値をそのまま持ち込まず、自分のラベルで合わせ直す必要がある、という読み方ができる。このサイトでは追試していない。
関連ガイド
出典・参考リンク
- コミュニティ jev-rerankerの「92%削減」を追試
- コード hotchpotch/jev-reranker