SHOWCASE

WorkflowEvals:公式ワークフロー評価の再現

evals.typesafe.ai のワークフロー評価を手元で再現する公式コード。請求・CS・エージェント追跡・セキュリティなど。

何をするものか

TypeSafe 公式の評価サイト(evals.typesafe.ai)で使われているワークフロー評価を、手元で再現するための公開コード。請求処理、カスタマーサービス、エージェント追跡の可観測性、セキュリティインシデントなど複数ワークフローが含まれる。

Jev をどこでどう使っているか

既定モデルは typesafe:jev-1.13.0。typesafe_sdk の TypeSafeClient 経由で判定を実行し、他プロバイダの大規模モデルとも比較できる。データセットは Hugging Face の WorkflowEvals コレクションから取得する。

試し方

README の手順で Python 3.13+ と uv を用意し、TYPESAFE_API_KEY を設定して uv run python run.py invoice_processing --limit 5 など。このサイトでは実行確認していない。

出典・参考リンク

  1. 一次情報 typesafe-ai/WorkflowEvals