NEWS / 活用事例

Zenn:compaction判定が偏るなら規則で足りたという報告

Claude Codeのcompactionで古いツール呼び出しの扱いをJevに聞いた結果を数え、ほぼ一方の答えだったため規則に置き換えた記録。

要点

  • 著者はClaude Codeのcompactionで、古いツール呼び出しを残すか消すかをJevに判定させるプラグインを使っていたと述べている
  • 実際のセッション記録15件で判定を数えると、対象の大半が「消す」で「残す」は無かった。そこで全部消す規則を書いてJevの判定と突き合わせると、ほぼ一致し処理も速かったと報告している
  • Jevと同じ形のAPIを持つローカルの判定モデルKevへの置き換えも試し、判定は一致したが1回の処理に長い時間がかかったとしている

何が変わるか

判定モデルを入れる前に、実データで「答えが本当に分かれるのか」を数えて確かめる手順の例になる。Jevの判定は、規則の正しさを確かめる基準として使われている。答えが一方に偏る用途なら定数で再現できる、というのが著者の結論で、数値は著者の記録での測定である。

関連ガイド

出典・参考リンク

  1. コミュニティ Claude CodeのcompactionでJevは98.8%を「消す」と答えた。それならそもそも判定モデルは必要なのか