要点
- Vercelは10月6日のchangelogで、AI Gatewayのdecision fallbacks(ベータ)を告知した。
providerOptions.gateway.modelsの先頭に条件つきの1件を置くと、主モデル(例:typesafe-ai/jev)の答えが不確かなときだけ別モデルで判定し直す - 条件はChoice/Scoreの
confidenceBelow、Boolean(TypeSafe互換APIではNoul)のprobabilityBetween、それらを組み合わせるany/all/atLeast - ドキュメントでは、以前の名前は「evaluation fallbacks」で、AI SDKの
experimental_evaluateは非推奨の別名として残り、新しい書き方はexperimental_decideだと説明されている
何が変わるか
「確信度が低いときだけ大きいモデルへ回す」段階判定を、アプリ側の分岐ではなくゲートウェイの設定として書ける。条件が当たると2段とも課金され、待ち時間も2回分になる。TypeSafe互換の /typesafe/v1/systemone でも使え、言語モデルが最終回答を出した場合は confidence: 0 と空の probabilities が「値が無い」という意味で返ると注記されている。これまでの文字列の models 指定はエラー時の代替として従来どおり動く。