NEWS / 活用事例

Zenn:日本語校正プラグインにJevを入れた速度計測

meisekiの文脈判断20問をJev一括とLLMで比べ、中央値で約0.3秒対約23秒だったとする実測がZennに出た。

要点

  • 著者は自作の日本語明晰化プラグイン meiseki の文脈判断を、Jev の一括リクエストと LLM(claude -p)で同じ20問について測ったと述べている
  • 報告では Jev が約276〜325ms、LLM 中央値が約23.5秒で、中央値比で約77倍(振れを含めると約30〜70倍)としている
  • 生の一致率は LLM の方が高い一方、確率が0.8以上または0.2以下の確信帯だけ採用すると誤りは0件だったとし、迷いは LLM に戻す規則を採ったという

何が変わるか

校正やリライトの途中で「削ってよいか」といった yes/no を LLM に聞いている処理を、判定専用モデルへ切り出し、確信帯だけ自動化する設計の実測例になる。数字は著者環境の報告。

関連ガイド

出典・参考リンク

  1. コミュニティ LLM の 23 秒を 0.3 秒にした — decision-only モデル Jev を日本語校正プラグインに実測投入した話
  2. コード bamboo-nova/meiseki