要点
- 著者は、MLflow 3.17.0 で Jev を judge のモデルに指定する、TypeSafe SDK の呼び出しをトレースする、AI Gateway に登録する、の3つを試したと述べている
- MLflow 側のリリースノートにも、TypeSafe の judge、AI Gateway への Jev 追加、SDK の autolog などが載っている
- 著者は、
typesafe:/jev-latestを judge のモデルに渡すと、理由文の代わりに確率がメタデータに残ると報告している。Score 型や複数質問の一括送信は judge からは使えないとも述べている
何が変わるか
MLflow で評価やトレースを回しているチームは、別のラッパーを書かずに Jev を判定役として試せる。0.5 以外のしきい値で判定したい場合は、メタデータの確率を自分で読む必要がある点に注意したい。