NEWS / 活用事例

Qiita:Claude Haiku 5.5を判断役にしてJevと比較

問い合わせ分類などでHaiku 5.5を番号だけ返す判断役として試し、同じ問題でJevと速さや方言理解を比べたQiita記事。

要点

  • 著者は Claude Haiku 5.5 に max_tokens=1 で分類番号だけを返させ、問い合わせ分類の例題で正解率と中央値の判断時間を測ったと述べている
  • 同じ問題セットでは Haiku 5.5・4.5・Jev いずれも正解率100%で、判断時間の中央値はおよそ515ms・455ms・193msだったという
  • 方言の4択では Haiku 5.5 の方が読めた例があり、選択肢300個では Jev の上限を超えてもおおむね選べたと報告している

何が変わるか

安価な汎用モデルを判断役にするか、判定専用モデルを使うかの比較材料になる。数字は著者の例題セット上の報告であり、本番ワークロードへの一般化は記事だけでは断言できない。

関連ガイド

出典・参考リンク

  1. コミュニティ Claude Haiku 5.5 は判断特化モデルの代わりになるのか?