macOS 上で、画面の OCR とアクセシビリティ情報から次の操作を選び、目標へ向かってクリックや入力を進める computer-use の実験。画像を大きな生成モデルへ送らず、短い選択肢の判定に寄せている。
Jev の使い方は typesafe_computer_use/decide.py。TypeSafeClient.system_one で kind / item / site などの Choice をまとめ、必要なら入力後の Noul 検証も行う。
試し方: macOS で clone し uv sync、.env に TYPESAFE_API_KEY を設定。uv run clicker "open the Playground" で dry-run、--act で実操作。