NEWS / 連携・周辺ツール

Vercel AI Gateway、不確かなJev判定を別モデルで再判定

AI Gatewayにdecision fallbacksがベータで追加。Jevの確信度や確率が条件に当たったときだけ、同じ判定を別モデルでやり直せる。

要点

  • Vercelは10月6日のchangelogで、AI Gatewayのdecision fallbacks(ベータ)を告知した。providerOptions.gateway.models の先頭に条件つきの1件を置くと、主モデル(例: typesafe-ai/jev)の答えが不確かなときだけ別モデルで判定し直す
  • 条件はChoice/Scoreの confidenceBelow、Boolean(TypeSafe互換APIではNoul)の probabilityBetween、それらを組み合わせる any / all / atLeast
  • ドキュメントでは、以前の名前は「evaluation fallbacks」で、AI SDKの experimental_evaluate は非推奨の別名として残り、新しい書き方は experimental_decide だと説明されている

何が変わるか

「確信度が低いときだけ大きいモデルへ回す」段階判定を、アプリ側の分岐ではなくゲートウェイの設定として書ける。条件が当たると2段とも課金され、待ち時間も2回分になる。TypeSafe互換の /typesafe/v1/systemone でも使え、言語モデルが最終回答を出した場合は confidence: 0 と空の probabilities が「値が無い」という意味で返ると注記されている。これまでの文字列の models 指定はエラー時の代替として従来どおり動く。

関連ガイド

出典・参考リンク

  1. 一次情報 AI Gateway adds confidence-based decision fallbacks
  2. 一次情報 Decision Fallbacks — Vercel AI Gateway