convez.ai
SkillAutomaçãoIntermediário
jain777

Claude Eyes

jain777/claude-eyes

Análise de vídeos com visão otimizada e geração automática de skills

Ver no GitHub
InicialPluginScore · de 0 a 100

Skill que permite ao Claude analisar vídeos com extração inteligente de frames sensível a cenas e OCR integrado. Oferece duas funcionalidades: /see para responder perguntas sobre vídeos com baixo custo de tokens, e /skillgen para gerar automaticamente skills executáveis a partir de vídeos de tutorial.

Instalação

$npx convez-ai jain777/claude-eyes

1 comando no terminal: detecta o formato do repositório (marketplace ou plugin avulso) e instala via Claude Code. Requer Node 18+ e o Claude Code instalado.

Métricas

Estrelas
4
Forks
0
Acompanhando
0
Saúde
42%
Último commit
há 5 meses
Versão
—
Issues abertas
0
Contribuidores
1

Casos de uso

  • Analisar vídeos longos respondendo perguntas sobre conteúdo específico
  • Extrair texto de vídeos com OCR para processamento eficiente
  • Gerar skills executáveis automaticamente a partir de tutoriais em vídeo
  • Resumir vídeos estáticos em contact sheets para orientação rápida

Veredito

Ferramenta robusta e bem projetada que reduz drasticamente o custo de tokens ao processar vídeos. A otimização através de deduplicação perceptual e OCR condicional é inteligente; /skillgen é um diferencial interessante, embora o suporte a múltiplas fontes de transcrição e a flexibilidade de flags tornem a curva de aprendizado moderada.

README

A tradução para o português deste README ainda está na fila.

claude-eyes

Give Claude Code smarter eyes for video. Two skills, one plugin:

  • /claude-eyes:see — watch a video (URL or local file) and answer questions about it. Scene-aware frame extraction with perceptual deduplication keeps token cost low; optional OCR replaces expensive high-res frame inspection for text-heavy content; contact-sheet preview mode summarizes long videos in a single image.
  • /claude-eyes:skillgen — watch a tutorial or demo video and scaffold a runnable Claude Code skill from it.

Designed to spend as few image tokens as possible on long or static video, while staying accurate:

CapabilityHow claude-eyes does it
Frame samplingScene-change + minimum-cadence selection after mpdecimate perceptual dedup — one ffmpeg pass, no duplicate frames in static stretches
Per-frame timestampsPTS-in-filename via -frame_pts 1, correct even when sampling is non-uniform
Long-video previewOne tile=4x6 contact sheet (~1k vision tokens) to orient before spending on full extraction
OCROptional tesseract pass; auto-on for text-related questions, so on-screen text is read cheaply instead of via high-res frames
Transcript input--transcript accepts user-supplied VTT/SRT/JSON/TXT first; falls back to captions, then Whisper
Cachesha256-keyed under ${CLAUDE_PLUGIN_DATA}/cache — re-runs skip download and extraction
Skill-from-video/skillgen scaffolds a working SKILL.md + plugin.json from a tutorial

Install

/plugin install https://github.com/jain777/claude-eyes

Or from a local clone:

git clone https://github.com/jain777/claude-eyes
/plugin install ./claude-eyes

First-run preflight installs ffmpeg and yt-dlp on macOS via Homebrew; prints exact install commands on Linux/Windows. tesseract is optional (enables --ocr). A Whisper API key (Groq preferred, OpenAI fallback) is only needed if the video has no captions AND you didn't pass --transcript.

Usage

/claude-eyes:see

/claude-eyes:see https://youtu.be/dQw4w9WgXcQ what happens at 0:30?
/claude-eyes:see ~/recording.mp4 --start 2:15 --end 2:45 summarize
/claude-eyes:see https://example.com/talk.mp4 --preview
/claude-eyes:see lecture.mp4 --transcript lecture.srt
/claude-eyes:see code-review.mp4 --ocr what does the function on screen do?

Flags: --transcript PATH, --profile {auto,tutorial,live}, --start T, --end T, --max-frames N, --resolution W, --ocr, --no-whisper, --whisper {groq,openai}, --preview, --no-cache, --out-dir DIR.

/claude-eyes:skillgen

/claude-eyes:skillgen https://youtu.be/jq-tutorial jq-helper
/claude-eyes:skillgen ~/screencast.mp4 my-tool

Watches the video with the tutorial profile + OCR, then helps Claude synthesize and scaffold a runnable skill at ${CLAUDE_PLUGIN_DATA}/generated/<name>/ for review.

License

MIT

Ver o original no GitHub

Bom para

Relacionados