要点
- 著者は自作の日本語明晰化プラグイン meiseki の文脈判断を、Jev の一括リクエストと LLM(claude -p)で同じ20問について測ったと述べている
- 報告では Jev が約276〜325ms、LLM 中央値が約23.5秒で、中央値比で約77倍(振れを含めると約30〜70倍)としている
- 生の一致率は LLM の方が高い一方、確率が0.8以上または0.2以下の確信帯だけ採用すると誤りは0件だったとし、迷いは LLM に戻す規則を採ったという
何が変わるか
校正やリライトの途中で「削ってよいか」といった yes/no を LLM に聞いている処理を、判定専用モデルへ切り出し、確信帯だけ自動化する設計の実測例になる。数字は著者環境の報告。