要点
- 著者は架空の日本語問い合わせ24件と和暦を含む日付8件を、Jev(jev-1.13.0)と Liquid の d1(d1:free)に同じ
typesafe-sdkから投げたと述べている - 部署振り分けと解約・返金の判定はどちらもほぼ満点。差が出たのは外れ時の確信度(Jevの方が下がる)と入力トークン(d1の方が少ない)だと報告している
- 二重否定・皮肉・熊本弁などのひっかけも多く突破し、指示文は日本語でも英語でも精度はほぼ同じだったとしている
何が変わるか
日本語の窓口振り分けでも両モデルが使える水準だった、という著者の実測。データは架空で1回ずつの実行であり、本番判断用のベンチマークではない。d1 は Jev 互換の別社モデル。