convez.ai
MCP ServerDevOps & InfraestruturaAvançado
ShipItAndPray

TurboQuant MCP Server

ShipItAndPray/mcp-turboquant

Quantize modelos LLM para GGUF/GPTQ/AWQ com uma chamada de ferramenta

Ver no GitHub
InicialPluginScore · de 0 a 100

Servidor MCP para quantização de modelos de IA em Python puro. Comprime qualquer modelo do HuggingFace para GGUF, GPTQ ou AWQ em uma única chamada, sem dependências externas de CLI. Inclui ferramentas para análise de hardware, recomendações e avaliação de perplexidade.

Instalação

$npx convez-ai ShipItAndPray/mcp-turboquant

1 comando no terminal: detecta o formato do repositório (marketplace ou plugin avulso) e instala via Claude Code. Requer Node 18+ e o Claude Code instalado.

Métricas

Estrelas
5
Forks
1
Acompanhando
0
Saúde
42%
Último commit
há 7 meses
Versão
v1.0.0
Issues abertas
0
Contribuidores
1

Casos de uso

  • Comprimir modelos grandes para inferência local eficiente
  • Otimizar modelos para diferentes hardwares (CPU, GPU, TPU)
  • Avaliar qualidade de modelos quantizados antes de deplopar
  • Automatizar pipeline de quantização e push para HuggingFace Hub

Veredito

Ferramenta especializada e bem construída para quem trabalha com otimização de modelos LLM em escala. A integração MCP nativa com Claude e backends modulares (GGUF/GPTQ/AWQ) a tornam prática, mas requer conhecimento de quantização e infraestrutura.

README

A tradução para o português deste README ainda está na fila.

mcp-turboquant

Self-contained Python MCP server for LLM quantization. Compress any HuggingFace model to GGUF, GPTQ, or AWQ format in a single tool call.

No external CLI required -- all quantization logic is embedded.

Install

pip install mcp-turboquant

Or run directly with uvx:

uvx mcp-turboquant

Optional backends

The info, check, and recommend tools work out of the box. For actual quantization, install the backend you need:

# GGUF (Ollama, llama.cpp, LM Studio)
pip install mcp-turboquant[gguf]

# GPTQ (vLLM, TGI)
pip install mcp-turboquant[gptq]

# AWQ (vLLM, TGI)
pip install mcp-turboquant[awq]

# Everything
pip install mcp-turboquant[all]

Configure

Claude Code

Add to ~/.claude/settings.json:

{
  "mcpServers": {
    "turboquant": {
      "command": "mcp-turboquant"
    }
  }
}

Or with uvx (no install needed):

{
  "mcpServers": {
    "turboquant": {
      "command": "uvx",
      "args": ["mcp-turboquant"]
    }
  }
}

Claude Desktop

Add to claude_desktop_config.json:

{
  "mcpServers": {
    "turboquant": {
      "command": "uvx",
      "args": ["mcp-turboquant"]
    }
  }
}

Tools

ToolDescriptionHeavy deps?
infoGet model info from HuggingFace (params, size, architecture)No
checkCheck available quantization backends on the systemNo
recommendHardware-aware recommendation for best format + bitsNo
quantizeQuantize a model to GGUF/GPTQ/AWQYes
evaluateRun perplexity evaluation on a quantized modelYes
pushPush quantized model to HuggingFace HubNo

Examples

Once configured, ask Claude:

"Get info on meta-llama/Llama-3.1-8B-Instruct"

"What quantization format should I use for Mistral-7B on my machine?"

"Quantize meta-llama/Llama-3.1-8B to 4-bit GGUF"

"Check which quantization backends I have installed"

"Evaluate the perplexity of my quantized model at /path/to/model.gguf"

"Push my quantized model to myuser/model-GGUF on HuggingFace"

How it works

Claude / Agent  <-->  MCP Protocol (stdio)  <-->  mcp-turboquant (Python)  <-->  llama-cpp-python / auto-gptq / autoawq

All quantization logic runs in-process. No external CLI tools needed.

Run directly

# As a command
mcp-turboquant

# As a module
python -m mcp_turboquant

License

MIT

Ver o original no GitHub

Bom para

Relacionados