convez.ai
MCP ServerSegurançaAvançado
kanicus

Pentesting Lab Multiagente

kanicus/pentesting-lab-public

Lab de pentesting multiagente observable com LLMs em infraestrutura própria isolada

Ver no GitHub
InicialPluginScore · de 0 a 100

Sistema de laboratório de pentesting autohospedado em Proxmox que orquestra múltiplos agentes de IA (PentAGI) contra uma infraestrutura isolada com 15 CTFs. Combina routing de modelos (LiteLLM), gateway MCP (mcp-lab-server com 29 ferramentas), observabilidade de LLMs (Langfuse) e monitoramento de infraestrutura (Grafana+Prometheus) para pesquisa ofensiva defensiva e treinamento.

Instalação

$npx convez-ai kanicus/pentesting-lab-public

1 comando no terminal: detecta o formato do repositório (marketplace ou plugin avulso) e instala via Claude Code. Requer Node 18+ e o Claude Code instalado.

Métricas

Estrelas
0
Forks
0
Acompanhando
0
Saúde
28%
Último commit
há 5 meses
Versão
—
Issues abertas
0
Contribuidores
1

Casos de uso

  • Pesquisa ofensiva defensiva com observabilidade real de raciocínio de modelos
  • Treinamento em CTFs e exploração com benchmark reproducível entre modelos locais e cloud
  • Análise de decisões de IA durante pentest com rastreamento completo em Langfuse

Veredito

Projeto robusto e bem arquitetado para pesquisadores que dominam DevOps, segurança e LLMs. Oferece observabilidade rara neste domínio, mas exige infraestrutura Proxmox dedicada e expertise significativa. Altamente relevante para blue teams estudando comportamento de agentes em pentesting.

README

A tradução para o português deste README ainda está na fila.

Pentesting Lab — Multiagente autohospedado

Sistema multiagente de pentesting sobre infraestructura propia virtualizada con Proxmox. Combina PentAGI (orquestador multi-agente), LiteLLM (routing de modelos), mcp-lab-server (gateway MCP con 29 tools), Open WebUI (interfaz conversacional), Vault (gestión de secretos), Langfuse (observabilidad LLM) y Grafana+Prometheus (observabilidad de infraestructura), contra un catálogo de 15 laboratorios de pentesting aislados por pfSense.

⚠️ Uso responsable. Este repositorio está pensado para investigación defensiva, formación y ejercicios CTF en infraestructura propia y aislada. Todos los targets (10.10.20.0/24) están segmentados por pfSense con DENY ALL outbound y solo accesibles vía VPN. No usar las técnicas, configuraciones o automatizaciones aquí descritas contra sistemas para los que no se tenga autorización explícita por escrito.

ℹ️ Snapshot público. Este repo es un snapshot del laboratorio privado del autor. Se ha eliminado el wrapper específico que invoca el CLI de Claude Code como subprocess (despliegue/v17/litellm/handlers/claude_code.py y configs asociadas) y las credenciales reales se han enmascarado o sustituido por variables de entorno y referencias a Vault. Las menciones al wrapper en docs como BUILD-LOG.md y ROADMAP.md se mantienen porque forman parte del journey de desarrollo, pero el código ejecutable no se publica.


🧭 Para quién es este repo

  • Investigadores de seguridad ofensiva que quieran montar un lab reproducible y observable con LLMs.
  • Estudiantes que quieran practicar con un catálogo de 15 CTFs reales (DVWA, Juice Shop, WebGoat, VAmPI, crAPI, Linux PrivEsc, AD, K8s Goat, etc.) sin depender de plataformas SaaS.
  • Equipos de blue team que quieran observabilidad real de cómo razonan los modelos durante un pentest (todas las llamadas LLM se trazan automáticamente en Langfuse).
  • Quien quiera comparar modelos locales vs. cloud en tareas de explotación con un benchmark reproducible en 1 comando.

🧱 Arquitectura

  Router doméstico (192.168.111.1)
         │
  ┌──────┴──────────────────────────────────────────┐
  │   vmbr0  192.168.111.0/24  (WAN — red real)     │
  │   Proxmox host .241   pfSense WAN .99           │
  └──────────────────┬──────────────────────────────┘
                     │
           pfSense VM-FW — OpenVPN TCP/443
                     │
         ┌───────────┼──────────────────────┐
         │           │                      │

  vmbr1 10.10.10.0/24 (LAN gestión)
  │  VM-Control .100  — PentAGI · LiteLLM · Open WebUI · mcp-lab-server
  │                     Vault · Langfuse · Grafana+Prometheus
  │  VM-Kali    .110  — mcp-kali-server · Caido

  vmbr2 10.10.20.0/24 (pentesting — DENY ALL outbound)
  │  VM-Lab-Web    .10   DVWA · Juice Shop · WebGoat · Mutillidae II
  │  VM-Lab-Linux  .11   SUID · sudo · cron · caps · NFS
  │  VM-Lab-API    .12   crAPI · VAmPI · Pixi
  │  VM-Lab-Net    .13   FTP · SMB · SNMP · NFS · MySQL · Apache 2.4.49
  │  (sesión)  .20-.23   AD · Windows · K8s · Cloud (bajo demanda)

  vmbr3 10.10.30.0/24 (tools)
     VM-Ollama .220  — Ollama + modelos LLM locales (GPU passthrough A4000 16GB)

Acceso a todos los servicios del lab exclusivamente por VPN (OpenVPN TCP/443).


🧩 Componentes principales

LiteLLM proxy (:4001)

Proxy OpenAI-compatible que centraliza el routing de modelos LLM. PentAGI apunta a LiteLLM en lugar de a Ollama / proveedores cloud directamente.

  • Routing: modelos locales → http://10.10.30.220:11434/v1 (Ollama); modelos cloud → providers correspondientes.
  • Langfuse integration: todas las llamadas LLM se trazan automáticamente.
  • Config: despliegue/v17/litellm/litellm.config.yaml + litellm.provider.*.yml.
  • Nota del snapshot público: el handler custom que envuelve el CLI de Claude Code (handlers/claude_code.py) y su provider yml asociado se han eliminado de este repo público. El resto de configs (variants D/E/F/G/H/I que originalmente lo usaban en algunos roles) permanece como referencia de la arquitectura.

mcp-lab-server

Servidor MCP en Python con 29 tools. Conecta Open WebUI con el resto de la infraestructura.

MóduloToolsDescripción
tools/pentagi.py8GraphQL PentAGI — lanzar flows, consultar resultados
tools/kali_cascade.py6Recon cascade desde VM-Kali (nmap, nikto, gobuster…)
tools/lab.py6Proxmox REST — arrancar/parar VMs, estado del lab
tools/reports.py5Generación y consulta de reportes locales
tools/langfuse.py3Métricas y trazas LLM vía Langfuse

PentAGI

Orquestador multi-agente de pentesting. Recibe un task en lenguaje natural y coordina agentes especializados (primary_agent, generator, pentester, enricher, refiner, adviser, reflector, searcher, coder, installer).

  • Config activa: MAX_LIMITED_AGENT_TOOL_CALLS=50, MAX_GENERAL_AGENT_TOOL_CALLS=250.
  • Modelos configurados vía LiteLLM (ver despliegue/v17/litellm/litellm.provider.yml).
  • GraphQL API en https://10.10.10.100:8443/api/v1/graphql.
  • RAG nativo: langchain_pg_embedding (pgvector + LangChain). La inyección de knowledge externa se hace por SQL INSERT con embeddings nomic-embed-text, no por tools MCP externos (PentAGI no es cliente MCP). Ver despliegue/v17/rag/README.md.

Laboratorios de ataque

VMDominioTipoStack
VM-Lab-Web (110)Web — OWASP Top 10PermanenteDVWA · Juice Shop · WebGoat · Mutillidae II
VM-Lab-Linux (111)Linux PrivEscPermanenteSUID · sudo · cron · caps · NFS
VM-Lab-API (112)API RESTPermanentecrAPI · VAmPI · Pixi
VM-Lab-Net (113)Red / ServiciosPermanenteFTP · SMB · SNMP · NFS · MySQL · Apache 2.4.49
VM-Lab-AD (120)Active DirectorySesiónWS2022 Eval · Kerberoasting · ACL abuse
VM-Lab-Win (121)Windows workstationSesiónWindows 11 Eval · SMBv1
VM-Lab-K8s (122)Contenedores / K8sSesiónk3s · Kubernetes Goat
VM-Lab-Cloud (123)Cloud localSesiónWrongSecrets · LocalStack

📂 Estructura del repositorio

pentesting-lab/
├── despliegue/
│   ├── v16/                              # Versión histórica (referencia)
│   └── v17/                              # Versión activa
│       ├── CLAUDE.md                     # Contexto base para Claude Code
│       ├── ROADMAP.md                    # Planificación consolidada
│       ├── ESTADO-PROYECTO-PENTESTING.md # Estado operativo
│       ├── BUILD-LOG.md                  # Diario de ejecución con timestamps
│       ├── fase-*.md                     # Playbooks ejecutables por subfase
│       ├── benchmark/
│       │   ├── run.sh                    # Runner de benchmark (1 comando)
│       │   ├── verify.sh                 # Verificación de resultados CTF
│       │   ├── ctf-catalog.yaml          # 15 CTFs definidos
│       │   └── results/                  # CSVs/JSONs de benchmark por variante
│       ├── litellm/
│       │   ├── litellm.config.yaml       # Modelos y routing LiteLLM
│       │   └── litellm.provider.*.yml    # Config de roles por variante
│       ├── rag/                          # ChromaDB + pgvector PentAGI nativo
│       └── mcp-lab-server/
│           ├── server.py                 # Punto de entrada MCP
│           ├── tools/                    # 29 tools MCP
│           └── security/                 # Audit log, validación Pydantic

🛣️ Fases del proyecto

FaseDescripciónEstado
0Infraestructura Proxmox — pfSense, bridges, VMs base✅
1PentAGI + Mission Control + Caido✅
2Ollama + mcp-lab-server + Open WebUI✅
2bLangfuse + Grafana + kali-server-mcp✅
2cGPU passthrough NVIDIA A4000 16GB✅
2dVault secrets manager + integración✅
3Labs permanentes 110-113 + suite benchmark + fixes✅
4Orquestador dual (cloud / local) + LiteLLM proxy🟡
5Persistencia estructurada de findings + task-tree⏳
6RAG ciberseguridad + skills + tools nuevas🟡 (6.3 RAG enriquecido en curso)
7Integración orquestador cloud automatizado⏳
8Decisión estratégica basada en datos de benchmark⏳

Ver despliegue/v17/ROADMAP.md para detalle completo.


🧪 Benchmark

Suite reproducible de CTFs en 1 comando. Valida cualquier cambio de modelo o arquitectura.

# Desde el workstation (con VPN activa)
cd despliegue/v17/benchmark
STRATEGIST_MODE=variant-F PENTAGI_MODEL_PROVIDER=custom BENCH_TIMEOUT_S=5400 \
  bash run.sh > /tmp/bench.log 2>&1 &

Resultados representativos

ConfiguraciónStrategistPASS/15Nota
baseline cloud (haiku/sonnet/opus)LLM provider externo8/15 (53%)~$42 total
baseline-ollama-qwen32bqwen2.5:32b local0/15 (0%)~3 tok/s, timeout
variant-Fmistral-small:24b en todos los roles0 + 1 fallbackAlucina IPs HTB
variant-Gmistral-small:24b + qwen2.5:14b aux0 + 1 fallback

Hallazgo clave: sin RAG/skills/playbooks, ningún modelo local supera el baseline cloud. El bottleneck es ausencia de knowledge de metodología de ataque, no el tamaño del modelo. La Fase 6.3 ataca exactamente eso (RAG enriquecido con HackTricks, PayloadsAllTheThings, HTB writeups, PortSwigger Academy, etc.).


🌐 URLs del lab

ServicioURLRequiere VPN
Proxmox WebUIhttps://192.168.111.241:8006No (red doméstica)
PentAGIhttps://10.10.10.100:8443Sí
Open WebUIhttp://10.10.10.100:3001Sí
LiteLLM proxyhttp://10.10.10.100:4001Sí
Langfusehttp://10.10.10.100:4000Sí
Grafanahttp://10.10.10.100:3000Sí
Vaulthttp://10.10.10.100:8200Sí
Caido (proxy)http://10.10.10.110:8080Sí

🔐 Credenciales y secrets

Todos los secretos se gestionan con HashiCorp Vault (http://10.10.10.100:8200, requiere VPN).

export VAULT_ADDR=http://10.10.10.100:8200
export VAULT_TOKEN=$(cat /opt/vault/.vault-service-token)   # desde VM-Control
vault kv get lab/proxmox

Paths disponibles: lab/anthropic, lab/proxmox, lab/pfsense, lab/ssh, lab/pentagi, lab/pentagi-token, lab/pentagi-internal, lab/grafana, lab/langfuse, lab/ollama, lab/open-webui, lab/caido, lab/vm-control.

Regenerar .env de servicios desde Vault:

~/vault/vault-env.sh all      # PentAGI + Grafana + Langfuse

En este snapshot público todas las credenciales reales están enmascaradas (********) o se leen de variables de entorno ($VAULT_TOKEN, $LAB_PASS). Nunca commitear: .env, configs VPN (.ovpn), claves SSH ni secretos planos.


💻 Hardware de referencia

  • HP Z420 — E5-2697 v2 (12c/24t, 2.7/3.5 GHz), 62 GB RAM.
  • GPU: NVIDIA A4000 16 GB (passthrough a VM-Ollama).
  • Storage: local-lvm 130 GB (thin) + mecanico1 931 GB.

🤖 Modelos LLM disponibles (VM-Ollama)

ModeloVRAMUso
mistral-small:24b14 GBStrategist/generator/pentester (variantes F/G)
qwen2.5:14b9 GBRoles aux, enricher/searcher
qwen2.5-coder:7b4.7 GBCoder/installer
llama3.2:3b2 GBSimple/simple_json, extractor
qwen3:4b-nothink3 GBSearcher rápido sin thinking mode
deepseek-coder:6.7b3.8 GBCoder en variantes H/I

📜 Licencia y disclaimer

El código de este repositorio se publica con la intención de servir como material educativo y referencia para otros laboratorios autohospedados. No incluye exploits, malware ni payloads ofensivos: solo configuración de infraestructura, orquestación de agentes y datos de benchmark.

Las herramientas de terceros que se mencionan (PentAGI, LiteLLM, DVWA, Juice Shop, etc.) tienen sus propias licencias y restricciones de uso; consulta cada proyecto upstream.

El autor no se hace responsable del uso indebido de la información o configuraciones publicadas. Solo úsalas contra sistemas que poseas o para los que tengas autorización explícita por escrito.

Ver o original no GitHub

Bom para

Relacionados