要点
- 著者は自分のガイドの課題一覧で下した「続ける/閉じる」の裁定を正解とし、Jev に同じ判断をさせたと述べている。課題の本文をそのまま渡すと「閉じる」を当てられなかったという
- Claude Haiku 5.5 に根拠の抜粋を探させ、Jev には主張と抜粋だけを渡す形に分け、問いを作り直すと「閉じる」も当たるようになったと報告している。問いを英語、データを日本語にした版が最も良かったとしている
- 同じ材料を Haiku 5.5 に判断させると正しさは同程度で、外し方が違ったとまとめている
何が変わるか
判断の根拠が State の外にあると Jev は当てられない、という公式の注意点を実データで確かめた例として読める。探す役と判断する役を分け、問いを主張の向きに依存しない形にする工夫が具体的に書かれている。件数が少なく各1回の試行で、どの変更が効いたかは切り分けていないと著者自身が断っている。