要点
- 著者は Claude Haiku 5.5 に max_tokens=1 で分類番号だけを返させ、問い合わせ分類の例題で正解率と中央値の判断時間を測ったと述べている
- 同じ問題セットでは Haiku 5.5・4.5・Jev いずれも正解率100%で、判断時間の中央値はおよそ515ms・455ms・193msだったという
- 方言の4択では Haiku 5.5 の方が読めた例があり、選択肢300個では Jev の上限を超えてもおおむね選べたと報告している
何が変わるか
安価な汎用モデルを判断役にするか、判定専用モデルを使うかの比較材料になる。数字は著者の例題セット上の報告であり、本番ワークロードへの一般化は記事だけでは断言できない。