Awesome Computer Use
philfung/awesome-computer-use
Recursos curados sobre GUI automation com LLMs e agentes visuais
Ver no GitHubCuradoria de recursos sobre automação de interfaces gráficas via LLMs, incluindo papers acadêmicos, frameworks open-source e ferramentas práticas. Foca em qualidade sobre quantidade, cobrindo desde agentes de visão até automação de navegadores e aplicativos.
Instalação
npx convez-ai philfung/awesome-computer-use1 comando no terminal: detecta o formato do repositório (marketplace ou plugin avulso) e instala via Claude Code. Requer Node 18+ e o Claude Code instalado.
Métricas
Casos de uso
- Estudar arquitetura de agentes que interagem com UIs
- Implementar automação de fluxos desktop e web
- Pesquisar técnicas de grounding visual em LLMs
- Desenvolver bots inteligentes para tarefas repetitivas
Veredito

Referência sólida e bem organizada para quem trabalha com computer vision + LLMs em tarefas de automação GUI. Cobertura atual de papers e frameworks relevantes, com foco educacional e prático para implementadores.
README
A tradução para o português deste README ainda está na fila.
Awesome Computer Use
Curated list of papers + libraries related to computer GUI use via LLMs.
Highly opinionated, focus on quality vs quantity.
Demos
- Try computer use on your Mac in one click.
Frameworks
- Fazm - MIT-licensed, open-source voice-controlled AI agent for macOS using accessibility APIs and ScreenCaptureKit.
- Openwork - MIT-licensed, open alternative to Anthropic's Cowork with multi-LLM support for browser automation.
Papers
- WebRL: Training LLM Web Agents via Self-Evolving Online Curriculum Reinforcement Learning (Tsinghua U) (11/24)
- Anthropic Claude Computer Use API (Anthropic) (10/24)
- OmniParser for Pure Vision Based GUI Agent (code) (Microsoft) (08/24)
- ECLAIR: Enterprise sCaLe AI for woRkflows(code) (Stanford U) (05/24)
- OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments (code) (HKU) (05/24)
- Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs (code) (Apple) (04/24)
- SeeAct: GPT-4V(ision) is a Generalist Web Agent, if Grounded (code) (OSU) (01/24)
- CogAgent: A Visual Language Model for GUI Agents (ZhiPu)(12/23)
- AppAgent: Multimodal Agents as Smartphone Users (code) (TenCent) (12/23)
- SoM : Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V (code) (Microsoft) (10/23)