要点
- 著者は依頼本文と19案件の説明を Choice に渡し、既存 todo 紐づけを正解として比較したと報告している
- 対象76件での正解率は約22%で、最多案件への一律回答や Claude の候補付けより低かったとしている
- 案件説明の粒度や依頼文の情報不足が外れた要因として挙げられ、失敗例も具体的に示されている
何が変わるか
業務ルーティングを Jev に任せる前に、正解ラベル付きの自前データで測る実例になる。数字は著者環境の報告であり、他ドメインへの一般化は記事だけでは断言できない。
NEWS / 活用事例
既存タスク管理の依頼をJevのChoiceで案件へ振り分けたところ、正解率が低かったとする個人検証がZennに出た。
業務ルーティングを Jev に任せる前に、正解ラベル付きの自前データで測る実例になる。数字は著者環境の報告であり、他ドメインへの一般化は記事だけでは断言できない。