# WorkflowEvals：公式ワークフロー評価の再現

evals.typesafe.ai のワークフロー評価を手元で再現する公式コード。請求・CS・エージェント追跡・セキュリティなど。

- 正規URL: https://jevguide.jp/showcase/typesafe-ai-workflowevals/
- 公開: 2026-09-29T22:17:37.213Z
- 更新: 2026-09-29T22:17:37.213Z

## 何をするものか

TypeSafe 公式の評価サイト（evals.typesafe.ai）で使われているワークフロー評価を、手元で再現するための公開コード。請求処理、カスタマーサービス、エージェント追跡の可観測性、セキュリティインシデントなど複数ワークフローが含まれる。

## Jev をどこでどう使っているか

既定モデルは `typesafe:jev-1.13.0`。`typesafe_sdk` の TypeSafeClient 経由で判定を実行し、他プロバイダの大規模モデルとも比較できる。データセットは Hugging Face の WorkflowEvals コレクションから取得する。

## 試し方

README の手順で Python 3.13+ と uv を用意し、`TYPESAFE_API_KEY` を設定して `uv run python run.py invoice_processing --limit 5` など。このサイトでは実行確認していない。

## 出典

- [typesafe-ai/WorkflowEvals](https://github.com/typesafe-ai/WorkflowEvals)

---
typesafe.ai とは無関係の非公式ガイドです。
