AB Test — Design & Análise Estatística
nastyabir/ab-test-skill
Design e análise estatística rigorosa de testes A/B com metodologia experiment-fest
Ver no GitHubSkill para Claude Code que implementa design e análise rigorosa de testes A/B seguindo a metodologia experiment-fest. Orienta o agente para procedimentos estatisticamente corretos, evitando abordagens ingênuas como t-testes padrão.
Instalação
npx convez-ai nastyabir/ab-test-skill1 comando no terminal: detecta o formato do repositório (marketplace ou plugin avulso) e instala via Claude Code. Requer Node 18+ e o Claude Code instalado.
Métricas
Casos de uso
- Calcular tamanho amostral por grupo com effect sizes (Cohen's h/d)
- Escolher entre teste de horizonte fixo vs. sequential (mSPRT)
- Análise descritiva com diagnósticos de normalidade (Shapiro–Wilk) e homocedasticidade
- Comparação de decis e detecção de efeitos heterogêneos/canibalização
- Correção para múltiplas comparações (Benjamini–Hochberg, Bonferroni)
Veredito

Ferramenta sólida para quem precisa ir além de t-testes ingênuos em testes A/B. A implementação é técnica e metodologicamente correta, mas requer compreensão de estatística; textos em russo podem limitar acessibilidade para alguns usuários brasileiros.
README
A tradução para o português deste README ainda está na fila.
ab-test — A/B test design & analysis (Claude Code skill)
A Claude Code slash command for rigorous A/B-test design and statistical analysis, based on the experiment-fest methodology. The skill steers the agent toward statistically correct procedures instead of a naive default t-test.
Modes
- design — collects experiment parameters and computes per-group sample size (Cohen's h/d effect sizes), recommends fixed-horizon vs. sequential (mSPRT) testing, handles multiple-variant α correction, and emits a pre-launch design card with a randomization checklist.
- analyze — descriptive stats, normality (Shapiro–Wilk / KS) and variance-homogeneity (Levene) diagnostics, correct test selection (z-test of proportions, Welch t-test, Mann–Whitney, bootstrap), bucketing for >1M observations, decile comparison for heterogeneous effects / cannibalization, multiple-comparison correction (BH/Bonferroni), and post-hoc power analysis — then a verdict and recommendations.
Includes a reference of formulas and definitions (standard errors, confidence intervals, effect sizes, the Benjamini–Hochberg procedure, and mSPRT).
Install
Copy ab-test.md into your project's .claude/commands/ directory, then run
/ab-test design or /ab-test analyze in Claude Code.
Notes
- The skill text and outputs are in Russian.
- Methodology: the experiment-fest A/B-testing guidebook.
- Licensed under MIT.