NEWS / 活用事例

Zenn:MLflow 3.17.0のJev連携をjudgeやトレースで試した記録

MLflow 3.17.0で加わったJev連携を、評価のjudge、SDK呼び出しのトレース、AI Gatewayで動かし、できることと制約をまとめた報告。

要点

  • 著者は、MLflow 3.17.0 で Jev を judge のモデルに指定する、TypeSafe SDK の呼び出しをトレースする、AI Gateway に登録する、の3つを試したと述べている
  • MLflow 側のリリースノートにも、TypeSafe の judge、AI Gateway への Jev 追加、SDK の autolog などが載っている
  • 著者は、typesafe:/jev-latest を judge のモデルに渡すと、理由文の代わりに確率がメタデータに残ると報告している。Score 型や複数質問の一括送信は judge からは使えないとも述べている

何が変わるか

MLflow で評価やトレースを回しているチームは、別のラッパーを書かずに Jev を判定役として試せる。0.5 以外のしきい値で判定したい場合は、メタデータの確率を自分で読む必要がある点に注意したい。

関連ガイド

出典・参考リンク

  1. コード MLflow 3.17.0 release notes
  2. 参考情報 MLflow docs: TypeSafe judges
  3. コミュニティ MLflow 3.17でJevが連携されたので試してみた