Pentesting Lab Multiagente
kanicus/pentesting-lab-public
Lab de pentesting multiagente observable com LLMs em infraestrutura própria isolada
Ver no GitHubSistema de laboratório de pentesting autohospedado em Proxmox que orquestra múltiplos agentes de IA (PentAGI) contra uma infraestrutura isolada com 15 CTFs. Combina routing de modelos (LiteLLM), gateway MCP (mcp-lab-server com 29 ferramentas), observabilidade de LLMs (Langfuse) e monitoramento de infraestrutura (Grafana+Prometheus) para pesquisa ofensiva defensiva e treinamento.
Instalação
npx convez-ai kanicus/pentesting-lab-public1 comando no terminal: detecta o formato do repositório (marketplace ou plugin avulso) e instala via Claude Code. Requer Node 18+ e o Claude Code instalado.
Métricas
Casos de uso
- Pesquisa ofensiva defensiva com observabilidade real de raciocínio de modelos
- Treinamento em CTFs e exploração com benchmark reproducível entre modelos locais e cloud
- Análise de decisões de IA durante pentest com rastreamento completo em Langfuse
Veredito

Projeto robusto e bem arquitetado para pesquisadores que dominam DevOps, segurança e LLMs. Oferece observabilidade rara neste domínio, mas exige infraestrutura Proxmox dedicada e expertise significativa. Altamente relevante para blue teams estudando comportamento de agentes em pentesting.
README
A tradução para o português deste README ainda está na fila.
Pentesting Lab — Multiagente autohospedado
Sistema multiagente de pentesting sobre infraestructura propia virtualizada con Proxmox. Combina PentAGI (orquestador multi-agente), LiteLLM (routing de modelos), mcp-lab-server (gateway MCP con 29 tools), Open WebUI (interfaz conversacional), Vault (gestión de secretos), Langfuse (observabilidad LLM) y Grafana+Prometheus (observabilidad de infraestructura), contra un catálogo de 15 laboratorios de pentesting aislados por pfSense.
⚠️ Uso responsable. Este repositorio está pensado para investigación defensiva, formación y ejercicios CTF en infraestructura propia y aislada. Todos los targets (
10.10.20.0/24) están segmentados por pfSense conDENY ALL outboundy solo accesibles vía VPN. No usar las técnicas, configuraciones o automatizaciones aquí descritas contra sistemas para los que no se tenga autorización explícita por escrito.
ℹ️ Snapshot público. Este repo es un snapshot del laboratorio privado del autor. Se ha eliminado el wrapper específico que invoca el CLI de Claude Code como subprocess (
despliegue/v17/litellm/handlers/claude_code.pyy configs asociadas) y las credenciales reales se han enmascarado o sustituido por variables de entorno y referencias a Vault. Las menciones al wrapper en docs comoBUILD-LOG.mdyROADMAP.mdse mantienen porque forman parte del journey de desarrollo, pero el código ejecutable no se publica.
🧭 Para quién es este repo
- Investigadores de seguridad ofensiva que quieran montar un lab reproducible y observable con LLMs.
- Estudiantes que quieran practicar con un catálogo de 15 CTFs reales (DVWA, Juice Shop, WebGoat, VAmPI, crAPI, Linux PrivEsc, AD, K8s Goat, etc.) sin depender de plataformas SaaS.
- Equipos de blue team que quieran observabilidad real de cómo razonan los modelos durante un pentest (todas las llamadas LLM se trazan automáticamente en Langfuse).
- Quien quiera comparar modelos locales vs. cloud en tareas de explotación con un benchmark reproducible en 1 comando.
🧱 Arquitectura
Router doméstico (192.168.111.1)
│
┌──────┴──────────────────────────────────────────┐
│ vmbr0 192.168.111.0/24 (WAN — red real) │
│ Proxmox host .241 pfSense WAN .99 │
└──────────────────┬──────────────────────────────┘
│
pfSense VM-FW — OpenVPN TCP/443
│
┌───────────┼──────────────────────┐
│ │ │
vmbr1 10.10.10.0/24 (LAN gestión)
│ VM-Control .100 — PentAGI · LiteLLM · Open WebUI · mcp-lab-server
│ Vault · Langfuse · Grafana+Prometheus
│ VM-Kali .110 — mcp-kali-server · Caido
vmbr2 10.10.20.0/24 (pentesting — DENY ALL outbound)
│ VM-Lab-Web .10 DVWA · Juice Shop · WebGoat · Mutillidae II
│ VM-Lab-Linux .11 SUID · sudo · cron · caps · NFS
│ VM-Lab-API .12 crAPI · VAmPI · Pixi
│ VM-Lab-Net .13 FTP · SMB · SNMP · NFS · MySQL · Apache 2.4.49
│ (sesión) .20-.23 AD · Windows · K8s · Cloud (bajo demanda)
vmbr3 10.10.30.0/24 (tools)
VM-Ollama .220 — Ollama + modelos LLM locales (GPU passthrough A4000 16GB)
Acceso a todos los servicios del lab exclusivamente por VPN (OpenVPN TCP/443).
🧩 Componentes principales
LiteLLM proxy (:4001)
Proxy OpenAI-compatible que centraliza el routing de modelos LLM. PentAGI apunta a LiteLLM en lugar de a Ollama / proveedores cloud directamente.
- Routing: modelos locales →
http://10.10.30.220:11434/v1(Ollama); modelos cloud → providers correspondientes. - Langfuse integration: todas las llamadas LLM se trazan automáticamente.
- Config:
despliegue/v17/litellm/litellm.config.yaml+litellm.provider.*.yml. - Nota del snapshot público: el handler custom que envuelve el CLI de Claude Code (
handlers/claude_code.py) y su provider yml asociado se han eliminado de este repo público. El resto de configs (variants D/E/F/G/H/I que originalmente lo usaban en algunos roles) permanece como referencia de la arquitectura.
mcp-lab-server
Servidor MCP en Python con 29 tools. Conecta Open WebUI con el resto de la infraestructura.
| Módulo | Tools | Descripción |
|---|---|---|
tools/pentagi.py | 8 | GraphQL PentAGI — lanzar flows, consultar resultados |
tools/kali_cascade.py | 6 | Recon cascade desde VM-Kali (nmap, nikto, gobuster…) |
tools/lab.py | 6 | Proxmox REST — arrancar/parar VMs, estado del lab |
tools/reports.py | 5 | Generación y consulta de reportes locales |
tools/langfuse.py | 3 | Métricas y trazas LLM vía Langfuse |
PentAGI
Orquestador multi-agente de pentesting. Recibe un task en lenguaje natural y coordina agentes especializados (primary_agent, generator, pentester, enricher, refiner, adviser, reflector, searcher, coder, installer).
- Config activa:
MAX_LIMITED_AGENT_TOOL_CALLS=50,MAX_GENERAL_AGENT_TOOL_CALLS=250. - Modelos configurados vía LiteLLM (ver
despliegue/v17/litellm/litellm.provider.yml). - GraphQL API en
https://10.10.10.100:8443/api/v1/graphql. - RAG nativo:
langchain_pg_embedding(pgvector + LangChain). La inyección de knowledge externa se hace por SQLINSERTcon embeddingsnomic-embed-text, no por tools MCP externos (PentAGI no es cliente MCP). Verdespliegue/v17/rag/README.md.
Laboratorios de ataque
| VM | Dominio | Tipo | Stack |
|---|---|---|---|
| VM-Lab-Web (110) | Web — OWASP Top 10 | Permanente | DVWA · Juice Shop · WebGoat · Mutillidae II |
| VM-Lab-Linux (111) | Linux PrivEsc | Permanente | SUID · sudo · cron · caps · NFS |
| VM-Lab-API (112) | API REST | Permanente | crAPI · VAmPI · Pixi |
| VM-Lab-Net (113) | Red / Servicios | Permanente | FTP · SMB · SNMP · NFS · MySQL · Apache 2.4.49 |
| VM-Lab-AD (120) | Active Directory | Sesión | WS2022 Eval · Kerberoasting · ACL abuse |
| VM-Lab-Win (121) | Windows workstation | Sesión | Windows 11 Eval · SMBv1 |
| VM-Lab-K8s (122) | Contenedores / K8s | Sesión | k3s · Kubernetes Goat |
| VM-Lab-Cloud (123) | Cloud local | Sesión | WrongSecrets · LocalStack |
📂 Estructura del repositorio
pentesting-lab/
├── despliegue/
│ ├── v16/ # Versión histórica (referencia)
│ └── v17/ # Versión activa
│ ├── CLAUDE.md # Contexto base para Claude Code
│ ├── ROADMAP.md # Planificación consolidada
│ ├── ESTADO-PROYECTO-PENTESTING.md # Estado operativo
│ ├── BUILD-LOG.md # Diario de ejecución con timestamps
│ ├── fase-*.md # Playbooks ejecutables por subfase
│ ├── benchmark/
│ │ ├── run.sh # Runner de benchmark (1 comando)
│ │ ├── verify.sh # Verificación de resultados CTF
│ │ ├── ctf-catalog.yaml # 15 CTFs definidos
│ │ └── results/ # CSVs/JSONs de benchmark por variante
│ ├── litellm/
│ │ ├── litellm.config.yaml # Modelos y routing LiteLLM
│ │ └── litellm.provider.*.yml # Config de roles por variante
│ ├── rag/ # ChromaDB + pgvector PentAGI nativo
│ └── mcp-lab-server/
│ ├── server.py # Punto de entrada MCP
│ ├── tools/ # 29 tools MCP
│ └── security/ # Audit log, validación Pydantic
🛣️ Fases del proyecto
| Fase | Descripción | Estado |
|---|---|---|
| 0 | Infraestructura Proxmox — pfSense, bridges, VMs base | ✅ |
| 1 | PentAGI + Mission Control + Caido | ✅ |
| 2 | Ollama + mcp-lab-server + Open WebUI | ✅ |
| 2b | Langfuse + Grafana + kali-server-mcp | ✅ |
| 2c | GPU passthrough NVIDIA A4000 16GB | ✅ |
| 2d | Vault secrets manager + integración | ✅ |
| 3 | Labs permanentes 110-113 + suite benchmark + fixes | ✅ |
| 4 | Orquestador dual (cloud / local) + LiteLLM proxy | 🟡 |
| 5 | Persistencia estructurada de findings + task-tree | ⏳ |
| 6 | RAG ciberseguridad + skills + tools nuevas | 🟡 (6.3 RAG enriquecido en curso) |
| 7 | Integración orquestador cloud automatizado | ⏳ |
| 8 | Decisión estratégica basada en datos de benchmark | ⏳ |
Ver despliegue/v17/ROADMAP.md para detalle completo.
🧪 Benchmark
Suite reproducible de CTFs en 1 comando. Valida cualquier cambio de modelo o arquitectura.
# Desde el workstation (con VPN activa)
cd despliegue/v17/benchmark
STRATEGIST_MODE=variant-F PENTAGI_MODEL_PROVIDER=custom BENCH_TIMEOUT_S=5400 \
bash run.sh > /tmp/bench.log 2>&1 &
Resultados representativos
| Configuración | Strategist | PASS/15 | Nota |
|---|---|---|---|
| baseline cloud (haiku/sonnet/opus) | LLM provider externo | 8/15 (53%) | ~$42 total |
| baseline-ollama-qwen32b | qwen2.5:32b local | 0/15 (0%) | ~3 tok/s, timeout |
| variant-F | mistral-small:24b en todos los roles | 0 + 1 fallback | Alucina IPs HTB |
| variant-G | mistral-small:24b + qwen2.5:14b aux | 0 + 1 fallback |
Hallazgo clave: sin RAG/skills/playbooks, ningún modelo local supera el baseline cloud. El bottleneck es ausencia de knowledge de metodología de ataque, no el tamaño del modelo. La Fase 6.3 ataca exactamente eso (RAG enriquecido con HackTricks, PayloadsAllTheThings, HTB writeups, PortSwigger Academy, etc.).
🌐 URLs del lab
| Servicio | URL | Requiere VPN |
|---|---|---|
| Proxmox WebUI | https://192.168.111.241:8006 | No (red doméstica) |
| PentAGI | https://10.10.10.100:8443 | Sí |
| Open WebUI | http://10.10.10.100:3001 | Sí |
| LiteLLM proxy | http://10.10.10.100:4001 | Sí |
| Langfuse | http://10.10.10.100:4000 | Sí |
| Grafana | http://10.10.10.100:3000 | Sí |
| Vault | http://10.10.10.100:8200 | Sí |
| Caido (proxy) | http://10.10.10.110:8080 | Sí |
🔐 Credenciales y secrets
Todos los secretos se gestionan con HashiCorp Vault (http://10.10.10.100:8200, requiere VPN).
export VAULT_ADDR=http://10.10.10.100:8200
export VAULT_TOKEN=$(cat /opt/vault/.vault-service-token) # desde VM-Control
vault kv get lab/proxmox
Paths disponibles: lab/anthropic, lab/proxmox, lab/pfsense, lab/ssh, lab/pentagi, lab/pentagi-token, lab/pentagi-internal, lab/grafana, lab/langfuse, lab/ollama, lab/open-webui, lab/caido, lab/vm-control.
Regenerar .env de servicios desde Vault:
~/vault/vault-env.sh all # PentAGI + Grafana + Langfuse
En este snapshot público todas las credenciales reales están enmascaradas (
********) o se leen de variables de entorno ($VAULT_TOKEN,$LAB_PASS). Nunca commitear:.env, configs VPN (.ovpn), claves SSH ni secretos planos.
💻 Hardware de referencia
- HP Z420 — E5-2697 v2 (12c/24t, 2.7/3.5 GHz), 62 GB RAM.
- GPU: NVIDIA A4000 16 GB (passthrough a VM-Ollama).
- Storage: local-lvm 130 GB (thin) + mecanico1 931 GB.
🤖 Modelos LLM disponibles (VM-Ollama)
| Modelo | VRAM | Uso |
|---|---|---|
| mistral-small:24b | 14 GB | Strategist/generator/pentester (variantes F/G) |
| qwen2.5:14b | 9 GB | Roles aux, enricher/searcher |
| qwen2.5-coder:7b | 4.7 GB | Coder/installer |
| llama3.2:3b | 2 GB | Simple/simple_json, extractor |
| qwen3:4b-nothink | 3 GB | Searcher rápido sin thinking mode |
| deepseek-coder:6.7b | 3.8 GB | Coder en variantes H/I |
📜 Licencia y disclaimer
El código de este repositorio se publica con la intención de servir como material educativo y referencia para otros laboratorios autohospedados. No incluye exploits, malware ni payloads ofensivos: solo configuración de infraestructura, orquestación de agentes y datos de benchmark.
Las herramientas de terceros que se mencionan (PentAGI, LiteLLM, DVWA, Juice Shop, etc.) tienen sus propias licencias y restricciones de uso; consulta cada proyecto upstream.
El autor no se hace responsable del uso indebido de la información o configuraciones publicadas. Solo úsalas contra sistemas que poseas o para los que tengas autorización explícita por escrito.