要点
- TypeSafe AI の GitHub に system-one-adapter-python が公開された。README は、
typesafe_sdkのsystem_oneをそのまま差し替えられる実装で、裏側で TypeSafe ではなく LLM の API を呼ぶものだと説明している - 用途は、TypeSafe と LLM をコスト・速度・知能で比べること。OpenAI 互換のプロバイダと Anthropic に対応し、使うものだけを追加でインストールする
- 呼び出しごとに
providerとmodelを指定する。LLM に確率を答えさせるか、離散的な答えを出させるかをllm_answer_modeで選べる
何が変わるか
Jev に切り替えるかどうかを、自分のデータで確かめやすくなる。同じ state と questions を、Jev と手元の LLM の両方に投げて、答えの一致、かかった時間、費用を並べて比べられる。ただし、LLM が書き出す確率が、Jev の確率と同じ意味になるとは限らない。比べるときは、確率の値そのものではなく、正解の分かっているデータでの正答率と、しきい値を変えたときの振る舞いを見るのがよい。