何をするものか
TypeSafe 公式の評価サイト(evals.typesafe.ai)で使われているワークフロー評価を、手元で再現するための公開コード。請求処理、カスタマーサービス、エージェント追跡の可観測性、セキュリティインシデントなど複数ワークフローが含まれる。
Jev をどこでどう使っているか
既定モデルは typesafe:jev-1.13.0。typesafe_sdk の TypeSafeClient 経由で判定を実行し、他プロバイダの大規模モデルとも比較できる。データセットは Hugging Face の WorkflowEvals コレクションから取得する。
試し方
README の手順で Python 3.13+ と uv を用意し、TYPESAFE_API_KEY を設定して uv run python run.py invoice_processing --limit 5 など。このサイトでは実行確認していない。