NEWS / 活用事例

Zenn:日本語問い合わせでJevとLiquid d1を比較

架空の日本語問い合わせと和暦日付で両モデルを同じSDKから呼び、確信度とトークンの差を見た報告。

要点

  • 著者は架空の日本語問い合わせ24件と和暦を含む日付8件を、Jev(jev-1.13.0)と Liquid の d1(d1:free)に同じ typesafe-sdk から投げたと述べている
  • 部署振り分けと解約・返金の判定はどちらもほぼ満点。差が出たのは外れ時の確信度(Jevの方が下がる)と入力トークン(d1の方が少ない)だと報告している
  • 二重否定・皮肉・熊本弁などのひっかけも多く突破し、指示文は日本語でも英語でも精度はほぼ同じだったとしている

何が変わるか

日本語の窓口振り分けでも両モデルが使える水準だった、という著者の実測。データは架空で1回ずつの実行であり、本番判断用のベンチマークではない。d1 は Jev 互換の別社モデル。

関連ガイド

出典・参考リンク

  1. コミュニティ JevとLiquid d1を日本語の問い合わせで比べてみた — ひっかけ問題・和暦・確信度まで