要点
- 著者は聖地巡礼支援アプリで、自然文の旅の希望から合いそうなエリアを出す機能に Jev の Score を使ったと述べている
- 希望文は
stateに置き、各エリアの説明は質問のinstructionsに載せて最大50件を1リクエストで採点。旅の希望かどうかは同じ呼び出しの Noul で見ている - 評価29件では hit@5 が全件、ルールベースより高い hit@3 / MRR だったと報告。criteria は「程度」ではなく状況の文に書き直したとしている
何が変わるか
候補が少なく学習データが無い Zero-shot 推薦で、Score の段階設計と一括質問が品質とコストを決めた例。数値は著者の評価セットでの測定である。