convez.ai
SkillFinanceiroIntermediário
paidaxing1234

Quant Backtest Guard

paidaxing1234/quant-backtest-guard

Audita backtests para viés antecipado, overfitting e custos não modelados

Ver no GitHub
InicialPluginScore · de 0 a 100

Skill para Claude Code que audita código de backtests quantitativos, identificando armadilhas que inflam resultados: viés de antecipação (lookahead), overfitting e custos não modelados. Gera relatório de diagnóstico por severidade (crítico/alto/aviso) com arquivo e linha específicos dos problemas encontrados.

Instalação

$npx convez-ai paidaxing1234/quant-backtest-guard

1 comando no terminal: detecta o formato do repositório (marketplace ou plugin avulso) e instala via Claude Code. Requer Node 18+ e o Claude Code instalado.

Métricas

Estrelas
1
Forks
1
Acompanhando
0
Saúde
42%
Último commit
há 5 meses
Versão
—
Issues abertas
0
Contribuidores
1

Casos de uso

  • Revisar código de estratégias quantitativas antes de deployment em produção
  • Validar fidedignidade de resultados de backtest antes de aportar capital real
  • Identificar data leakage em pipelines de ML para trading

Veredito

Ferramenta de valor real para traders e quants: substitui review manual exaustivo de três classes de bugs crônicos em backtests (lookahead, overfitting, custos). Limitação importante: audita implementação, não viabilidade econômica da estratégia—relatório limpo não garante lucro, apenas maior confiança nos números.

README em português

quant-backtest-guard

简体中文 | English

Seu backtest com Sharpe de 3.2, mas perde dinheiro na prática? Provavelmente o seu backtest está te enganando. Esta skill do Claude Code é especializada em identificar as armadilhas que inflacionam indevidamente os resultados dos seus backtests e lhe entrega um "laudo médico" vermelho para a sua estratégia de backtesting.

License: MIT Claude Code Don't trust


Pré-visualização do Resultado

Entregue o código da sua estratégia a ele. Ele não vai te elogiar, apenas apontará os erros:

🔴 回测体检报告 — 致命 2 / 高危 3 / 提示 4
────────────────────────────────────────────
✗ [致命] 未来函数      strategy.py:88
          用 close[i+1] 预测 close[i],回测里你已经偷看了明天
✗ [致命] 标签泄漏      features.py:42
          归一化用了全样本 mean/std,未来信息泄进了训练集
✗ [高危] 未建模手续费   backtest.py:120
          下单零成本,高频策略实盘每笔吃掉的费率被忽略
✗ [高危] 未建模滑点     backtest.py:124
          全部以收盘价成交,没有滑点/冲击成本,成交假设过于理想
✗ [高危] 参数过拟合     optimize.py:31
          网格搜索 4000 组参数只报最优一组,无样本外验证
────────────────────────────────────────────
结论:夏普 3.2 在当前实现下不可信。
      剔除上述偏差后,这类回测的夏普通常大幅缩水。
      实盘上线前,请先修掉 2 个致命项。

Ele não vai dizer que essa estratégia lucra. Ele só diz: quanto daquela aparente rentabilidade é real.

O Que É Isso

O quant-backtest-guard é uma skill do Claude Code. Você entrega o código de backtesting quantitativo a ele, e ele age como um auditor de risco ou revisor de engenharia extremamente exigente, examinando linha por linha para identificar as armadilhas que inflacionam indevidamente a curva do seu backtest mas se revelam na prática. Por fim, ele gera um "laudo médico" de backtesting classificado (Crítico / Alto Risco / Aviso).

Por Que Você Precisa Disso

Curvas bonitas de backtest são as mentiras mais caras no mundo quantitativo.

Sharpe 3, rentabilidade anualizada de 200%, drawdown máximo de 5% — esses números fazem o coração acelerar, mas uma parte significativa deles é bugs na implementação e não alpha: vazamento de dados futuros (look-ahead), custos calculados como zero ou otimização excessiva dos parâmetros no mesmo conjunto de dados até que eles fiquem "brilhantes". Quando você coloca dinheiro real em operação, a curva vira as costas imediatamente.

Fazer uma revisão manual desses problemas é cansativo e propenso a erros de omissão, além do fato de que quem escreve a estratégia geralmente é quem menos quer admitir que há algo errado no backtest. O valor desta skill é: ser um revisor sem emoção, focado em encontrar falhas, para te dar uma ducha fria antes que você invista dinheiro.

Quais Três Tipos de Armadilhas Ele Detecta

CategoriaEm Uma FraseManifestação Típica
1. Funções Futuras / Viés de Olhar à Frente (Look-ahead)Vazamento de informações que não estavam disponíveis naquele momento no backtestUsar close[i+1] para prever close[i], usar estatísticas da amostra completa para normalização, sinais entrando em vigor "antes" do fechamento da vela, vazamento de rótulos nas features.
2. Overfitting / Vazamento de Dados (Overfitting)Ajustar parâmetros no mesmo histórico até a perfeição sem validação fora da amostraBusca exaustiva em grade reportando apenas o melhor conjunto, ausência de walk-forward ou validação fora da amostra, ajuste repetido dos parâmetros na mesma fatia de dados, divisão entre treino/teste que cruza no tempo.
3. Custos Ignorados (Custos & Atritos)Tratar atritos reais do mercado como zeroNão modelar taxas de corretagem, não modelar slippage e custos de impacto, negociar a preços ideais (preço de fechamento/preço médio), ignorar o menor valor negociável, assumir liquidez infinita.

Essas três categorias são os principais vilões que transformam um backtest em uma lenda e devolvem à realidade quando se opera com dinheiro real.

Estrutura do Projeto

quant-backtest-guard/
├── backtest-guard/
│   ├── SKILL.md                          # skill 主入口:审查流程与报告格式
│   └── references/
│       └── backtest-pitfalls.md          # 陷阱清单与检测规则(知识库)
├── LICENSE                               # MIT
├── README.md
└── README.en.md

Instalação

Pré-requisitos: Claude Code já instalado.

# 1. 克隆仓库
git clone https://github.com/paidaxing1234/quant-backtest-guard.git
cd quant-backtest-guard

# 2. 把 skill 拷进 Claude Code 的 skills 目录
cp -r backtest-guard ~/.claude/skills/backtest-guard

Usuários Windows: a pasta skills está em C:\Users\<SeuNomeDeUsuário>\.claude\skills\. Basta copiar o diretório inteiro de backtest-guard para lá (pode usar cópia e colagem no Explorador ou Copy-Item -Recurse no PowerShell).

Após a instalação, reinicie o Claude Code para que ele recarregue as skills.

Uso

Abra seu projeto quantitativo com o Claude Code e escolha uma das opções:

  • Gatilho por Linguagem Natural: Entregue o código da estratégia ou do backtest e diga

    "Use a espelho de backtesting para auditar essa estratégia"

  • Chamada Explícita da Skill:

    /backtest-guard

Ele varrerá seu código relacionado ao backtest, emitirá um laudo classificado em três níveis (Crítico / Alto Risco / Aviso) e apontará o nome do arquivo e número de linha onde cada problema está localizado, facilitando que você pule direto para corrigi-lo.

Isenção de Responsabilidade

  • Esta é uma ferramenta de auditoria de engenharia, revisando a corretude da implementação do código de backtest, não a capacidade lucrativa da estratégia em si.
  • Ela não constitui aconselhamento financeiro, não prevê movimentos de mercado e não recomenda nenhum ativo, estratégia ou parâmetro.
  • Ela não promete qualquer retorno. Um relatório "limpo" significa apenas que ela não encontrou armadilhas comuns de implementação dessas categorias; isso não representa garantia de lucro da estratégia e muito menos segurança na operação real.
  • A revisão estática/heurística tem seus limites, podendo gerar falsos positivos ou negativos. O julgamento final e todas as decisões de negociação/risco financeiro são por sua conta e risco.
  • Antes de colocar dinheiro real em operação, certifique-se sempre de fazer validação fora da amostra, testes em ambiente simulado/com capital reduzido e implementar controle de riscos independente.

Contribuição

Bem-vindos PRs (Pull Requests) e issues:

  • Encontrar novos padrões de armadilhas no backtest → adicione regras para backtest-guard/references/backtest-pitfalls.md.
  • Reportar falsos positivos/negativos → abra uma issue, anexando um trecho mínimo de código que reproduz o problema.
  • Melhorar o formato do relatório ou adicionar verificações específicas para frameworks (como backtrader / vectorbt / zipline) → envie diretamente como PR.

Antes de enviar, certifique-se de que as alterações são focadas e descreva claramente os cenários de reprodução.

Licença

MIT

Ver o original no GitHub

Bom para

Relacionados