TurboQuant MCP Server
ShipItAndPray/mcp-turboquant
Quantize modelos LLM para GGUF/GPTQ/AWQ com uma chamada de ferramenta
Ver no GitHubServidor MCP para quantização de modelos de IA em Python puro. Comprime qualquer modelo do HuggingFace para GGUF, GPTQ ou AWQ em uma única chamada, sem dependências externas de CLI. Inclui ferramentas para análise de hardware, recomendações e avaliação de perplexidade.
Instalação
npx convez-ai ShipItAndPray/mcp-turboquant1 comando no terminal: detecta o formato do repositório (marketplace ou plugin avulso) e instala via Claude Code. Requer Node 18+ e o Claude Code instalado.
Métricas
Casos de uso
- Comprimir modelos grandes para inferência local eficiente
- Otimizar modelos para diferentes hardwares (CPU, GPU, TPU)
- Avaliar qualidade de modelos quantizados antes de deplopar
- Automatizar pipeline de quantização e push para HuggingFace Hub
Veredito

Ferramenta especializada e bem construída para quem trabalha com otimização de modelos LLM em escala. A integração MCP nativa com Claude e backends modulares (GGUF/GPTQ/AWQ) a tornam prática, mas requer conhecimento de quantização e infraestrutura.
README
A tradução para o português deste README ainda está na fila.
mcp-turboquant
Self-contained Python MCP server for LLM quantization. Compress any HuggingFace model to GGUF, GPTQ, or AWQ format in a single tool call.
No external CLI required -- all quantization logic is embedded.
Install
pip install mcp-turboquant
Or run directly with uvx:
uvx mcp-turboquant
Optional backends
The info, check, and recommend tools work out of the box. For actual quantization, install the backend you need:
# GGUF (Ollama, llama.cpp, LM Studio)
pip install mcp-turboquant[gguf]
# GPTQ (vLLM, TGI)
pip install mcp-turboquant[gptq]
# AWQ (vLLM, TGI)
pip install mcp-turboquant[awq]
# Everything
pip install mcp-turboquant[all]
Configure
Claude Code
Add to ~/.claude/settings.json:
{
"mcpServers": {
"turboquant": {
"command": "mcp-turboquant"
}
}
}
Or with uvx (no install needed):
{
"mcpServers": {
"turboquant": {
"command": "uvx",
"args": ["mcp-turboquant"]
}
}
}
Claude Desktop
Add to claude_desktop_config.json:
{
"mcpServers": {
"turboquant": {
"command": "uvx",
"args": ["mcp-turboquant"]
}
}
}
Tools
| Tool | Description | Heavy deps? |
|---|---|---|
info | Get model info from HuggingFace (params, size, architecture) | No |
check | Check available quantization backends on the system | No |
recommend | Hardware-aware recommendation for best format + bits | No |
quantize | Quantize a model to GGUF/GPTQ/AWQ | Yes |
evaluate | Run perplexity evaluation on a quantized model | Yes |
push | Push quantized model to HuggingFace Hub | No |
Examples
Once configured, ask Claude:
"Get info on meta-llama/Llama-3.1-8B-Instruct"
"What quantization format should I use for Mistral-7B on my machine?"
"Quantize meta-llama/Llama-3.1-8B to 4-bit GGUF"
"Check which quantization backends I have installed"
"Evaluate the perplexity of my quantized model at /path/to/model.gguf"
"Push my quantized model to myuser/model-GGUF on HuggingFace"
How it works
Claude / Agent <--> MCP Protocol (stdio) <--> mcp-turboquant (Python) <--> llama-cpp-python / auto-gptq / autoawq
All quantization logic runs in-process. No external CLI tools needed.
Run directly
# As a command
mcp-turboquant
# As a module
python -m mcp_turboquant
License
MIT