convez.ai
SkillDados & AnalyticsAvançado
nastyabir

AB Test — Design & Análise Estatística

nastyabir/ab-test-skill

Design e análise estatística rigorosa de testes A/B com metodologia experiment-fest

Ver no GitHub
InicialPluginScore · de 0 a 100

Skill para Claude Code que implementa design e análise rigorosa de testes A/B seguindo a metodologia experiment-fest. Orienta o agente para procedimentos estatisticamente corretos, evitando abordagens ingênuas como t-testes padrão.

Instalação

$npx convez-ai nastyabir/ab-test-skill

1 comando no terminal: detecta o formato do repositório (marketplace ou plugin avulso) e instala via Claude Code. Requer Node 18+ e o Claude Code instalado.

Métricas

Estrelas
0
Forks
0
Acompanhando
0
Saúde
42%
Último commit
há 5 meses
Versão
—
Issues abertas
0
Contribuidores
1

Casos de uso

  • Calcular tamanho amostral por grupo com effect sizes (Cohen's h/d)
  • Escolher entre teste de horizonte fixo vs. sequential (mSPRT)
  • Análise descritiva com diagnósticos de normalidade (Shapiro–Wilk) e homocedasticidade
  • Comparação de decis e detecção de efeitos heterogêneos/canibalização
  • Correção para múltiplas comparações (Benjamini–Hochberg, Bonferroni)

Veredito

Ferramenta sólida para quem precisa ir além de t-testes ingênuos em testes A/B. A implementação é técnica e metodologicamente correta, mas requer compreensão de estatística; textos em russo podem limitar acessibilidade para alguns usuários brasileiros.

README

A tradução para o português deste README ainda está na fila.

ab-test — A/B test design & analysis (Claude Code skill)

A Claude Code slash command for rigorous A/B-test design and statistical analysis, based on the experiment-fest methodology. The skill steers the agent toward statistically correct procedures instead of a naive default t-test.

Modes

  • design — collects experiment parameters and computes per-group sample size (Cohen's h/d effect sizes), recommends fixed-horizon vs. sequential (mSPRT) testing, handles multiple-variant α correction, and emits a pre-launch design card with a randomization checklist.
  • analyze — descriptive stats, normality (Shapiro–Wilk / KS) and variance-homogeneity (Levene) diagnostics, correct test selection (z-test of proportions, Welch t-test, Mann–Whitney, bootstrap), bucketing for >1M observations, decile comparison for heterogeneous effects / cannibalization, multiple-comparison correction (BH/Bonferroni), and post-hoc power analysis — then a verdict and recommendations.

Includes a reference of formulas and definitions (standard errors, confidence intervals, effect sizes, the Benjamini–Hochberg procedure, and mSPRT).

Install

Copy ab-test.md into your project's .claude/commands/ directory, then run /ab-test design or /ab-test analyze in Claude Code.

Notes

  • The skill text and outputs are in Russian.
  • Methodology: the experiment-fest A/B-testing guidebook.
  • Licensed under MIT.
Ver o original no GitHub

Bom para

Relacionados