SHOWCASE

typesafe-computer-use: macOS 操作を Jev の Choice で進める

画面の OCR と AX 情報から次操作を選び、大きな生成モデルへスクショを送らずに目標へ進む。

computer-usemacosChoicepython

macOS 上で、画面の OCR とアクセシビリティ情報から次の操作を選び、目標へ向かってクリックや入力を進める computer-use の実験。画像を大きな生成モデルへ送らず、短い選択肢の判定に寄せている。

Jev の使い方は typesafe_computer_use/decide.py。TypeSafeClient.system_one で kind / item / site などの Choice をまとめ、必要なら入力後の Noul 検証も行う。

試し方: macOS で clone し uv sync、.env に TYPESAFE_API_KEY を設定。uv run clicker "open the Playground" で dry-run、--act で実操作。

出典・参考リンク

  1. コード awlevin/typesafe-computer-use