convez.ai
MCP ServerAutomaçãoAvançado
fchgds

Transcrição de Áudio com Whisper Local via OpenVINO

fchgds/audio-transcribe-whisper-local-mcp

Transcrição Whisper local em Intel com aceleração GPU/NPU via OpenVINO

Ver no GitHub
InicialPluginScore · de 0 a 100

Servidor MCP que transcreve áudio para texto usando Whisper em hardware Intel (CPU, GPU, NPU) via OpenVINO, 100% local e privado. Integra-se com Claude Desktop e outros clientes MCP, oferecendo detecção de idioma, tradução, timestamps e suporte a múltiplos formatos de áudio.

Instalação

$npx convez-ai fchgds/audio-transcribe-whisper-local-mcp

1 comando no terminal: detecta o formato do repositório (marketplace ou plugin avulso) e instala via Claude Code. Requer Node 18+ e o Claude Code instalado.

Métricas

Estrelas
0
Forks
0
Acompanhando
0
Saúde
42%
Último commit
há 5 meses
Versão
—
Issues abertas
0
Contribuidores
1

Casos de uso

  • Transcrever áudio em laptops Intel sem enviar dados para nuvem
  • Processar arquivos de áudio em lote com privacidade garantida
  • Integrar transcrição em fluxos de automação local com Claude

Veredito

Solução robusta para quem precisa transcrição privada em hardware Intel. Requer conhecimento técnico para exportar modelos e configurar drivers, mas entrega integração MCP profissional com suporte a GPU/NPU via OpenVINO.

README

A tradução para o português deste README ainda está na fila.

audio-transcribe-mcp

Servidor MCP local para transcribir audio a texto con Whisper usando OpenVINO en hardware Intel.

Pensado para una laptop/PC con Intel Core Ultra, por ejemplo Ultra 7 155H, donde puedes probar:

  • CPU
  • GPU
  • NPU
  • AUTO
  • HETERO:GPU,CPU

Caracteristicas

  • 100% local y privado: el audio nunca sale de tu maquina; no hay llamadas a servicios en la nube.
  • Aceleracion Intel: ejecuta Whisper en CPU, GPU integrada o NPU via OpenVINO GenAI.
  • Cualquier cliente MCP: se integra por stdio con Claude Desktop, Claude Code y otros clientes MCP.
  • Whisper completo: deteccion de idioma, traduccion, timestamps, initial_prompt y hotwords.
  • Entrada flexible: transcribe archivos locales o audio enviado como base64.

Requisitos

  • Windows con Python 3.10 o superior.
  • Drivers Intel actualizados para GPU/NPU.
  • ffmpeg en el PATH si quieres cargar formatos como .mp3, .m4a o .mp4. Para empezar, usa .wav.
  • uv recomendado, aunque también funciona con pip.

Instalacion

cd C:\dev\mcp\audio-transcribe
python -m venv .venv
.\.venv\Scripts\Activate.ps1
python -m pip install -U pip
pip install -e ".[export]"

Las dependencias siguen las versiones que espera OpenVINO GenAI 2026.2 (su samples/export-requirements.txt). Importante: los modelos exportados con versiones antiguas de optimum-intel/transformers funcionan en CPU/GPU pero fallan en NPU con invalid unordered_map<K, T> key; si te pasa, re-exporta el modelo.

  • openvino==2026.2
  • openvino-genai==2026.2
  • openvino-tokenizers==2026.2
  • optimum-intel>=2.0.0
  • transformers>=5.0.0
  • torch>=2.12

Exportar Whisper a OpenVINO

export-whisper-openvino

Modelos utiles:

export-whisper-openvino --model openai/whisper-base --output models/whisper-base
export-whisper-openvino --model openai/whisper-tiny --output models/whisper-tiny
export-whisper-openvino --model openai/whisper-small --output models/whisper-small

Por defecto se exporta openai/whisper-large-v3-turbo en models/whisper-large-v3-turbo, que tambien es el modelo que el servidor usa si no pasas model_dir ni defines WHISPER_MODEL_DIR. Para NPU, si necesitas menor latencia o memoria, prueba tiny, base o small. El mismo export sirve para CPU, GPU y NPU.

Probar dispositivos visibles

python -c "import openvino as ov; print(ov.Core().available_devices)"

Deberias ver algo como:

['CPU', 'GPU', 'NPU']

Ejecutar el servidor MCP

audio-transcribe-mcp

El servidor usa transporte stdio, que es lo normal para clientes MCP locales.

Configuracion de cliente MCP

Usa la ruta absoluta a tu Python del venv:

{
  "mcpServers": {
    "audio-transcribe": {
      "command": "C:\\dev\\mcp\\audio-transcribe\\.venv\\Scripts\\python.exe",
      "args": ["-m", "audio_transcribe_mcp.server"]
    }
  }
}

Herramientas MCP

transcribe_audio_file

Transcribe un archivo local.

Parametros principales:

  • audio_path: ruta local del audio.
  • model_dir: ruta del modelo OpenVINO. Opcional; si se omite usa WHISPER_MODEL_DIR o models/whisper-large-v3-turbo.
  • device: CPU, GPU, NPU, AUTO, etc.
  • language: por ejemplo es, en, fr; si se omite, Whisper detecta.
  • task: transcribe o translate.
  • return_timestamps: devuelve segmentos con tiempos cuando el modelo lo soporta.
  • initial_prompt: vocabulario o estilo para guiar la transcripcion.
  • hotwords: nombres propios o terminos recurrentes para guiar toda la transcripcion.

Ejemplo de argumentos:

{
  "audio_path": "C:\\Users\\<tu-usuario>\\Downloads\\audio.wav",
  "device": "GPU",
  "language": "es",
  "return_timestamps": true,
  "hotwords": "OpenVINO, Core Ultra, Bolivia"
}

transcribe_audio_base64

Transcribe audio enviado como base64. Es util para audios pequenos; para archivos grandes usa transcribe_audio_file.

list_openvino_devices

Devuelve los dispositivos visibles por OpenVINO en el entorno Python del MCP.

clear_model_cache

Descarga el cache interno de pipelines. Sirve si cambias modelo o dispositivo y quieres liberar memoria.

Notas de rendimiento

  • Whisper trabaja internamente con audio mono a 16 kHz. El servidor lo normaliza con librosa.
  • La primera transcripcion tarda mas porque carga y compila el modelo. El servidor pasa CACHE_DIR (<model_dir>/.ov_cache) al pipeline, asi que los siguientes arranques del proceso cargan el modelo compilado desde disco.
  • AUTO deja que OpenVINO elija dispositivo.
  • En este equipo (Core Ultra 7 155H) se verifico CPU, GPU, AUTO y NPU correctamente.
  • NPU requiere un driver actualizado (verificado con 32.0.100.4778). Con el driver de fabrica de 2023 (31.0.100.1688) la compilacion falla con Cannot create ScaledDotProductAttention ... unsupported opset: opset13. Descarga: https://www.intel.com/content/www/us/en/download/794734/intel-npu-driver-windows.html
  • Si NPU falla con invalid unordered_map<K, T> key pero CPU funciona, el modelo fue exportado con optimum-intel/transformers antiguos: re-exporta con las versiones actuales del extra export.
  • Para archivos largos, Whisper usa ventanas de aproximadamente 30 segundos dentro del pipeline de OpenVINO GenAI.

Benchmark GPU vs NPU

benchmark.py mide el tiempo medio de transcripcion en GPU y NPU para un mismo audio:

python benchmark.py "C:\ruta\a\tu\audio.wav"

Tambien puedes pasar la ruta con la variable de entorno BENCHMARK_AUDIO y, opcionalmente, un model_dir como segundo argumento.

Privacidad

Todo el procesamiento ocurre en local. El audio, los modelos y las transcripciones nunca salen de tu equipo. El servidor solo descarga modelos desde Hugging Face cuando ejecutas el paso de exportacion (export-whisper-openvino); la transcripcion en si no requiere conexion a internet.

Licencia

MIT. Ver el archivo LICENSE.

Fuentes tecnicas usadas

Ver o original no GitHub

Bom para

Relacionados