convez.ai
PluginProdutividadeIntermediário
hstefanov1

Prompt Smith

hstefanov1/prompt-smith

Engenharia e avaliação sistemática de prompts com versionamento integrado

Ver no GitHub
InicialPluginScore · de 0 a 100

Toolkit completo para engenharia, versionamento e avaliação de prompts com Claude. Permite definir objetivos de sucesso para seus prompts, iterar versões e rastrear resultados de forma estruturada através de arquivos JSON.

Instalação

$npx convez-ai hstefanov1/prompt-smith

1 comando no terminal: detecta o formato do repositório (marketplace ou plugin avulso) e instala via Claude Code. Requer Node 18+ e o Claude Code instalado.

Métricas

Estrelas
0
Forks
0
Acompanhando
0
Saúde
42%
Último commit
há 5 dias
Versão
v0.1.0
Issues abertas
0
Contribuidores
1

Casos de uso

  • Otimizar prompts através de iterações versionadas com métricas claras
  • Definir e medir objetivos de sucesso para diferentes casos de uso com Claude
  • Rastrear histórico completo de versões de prompts e seus resultados

Veredito

Ferramenta prática para quem trabalha intensivamente com prompts e precisa de rigor na iteração e avaliação. Abordagem estruturada com versionamento automático e rastreabilidade clara entre prompts e resultados, sem overhead desnecessário.

README

A tradução para o português deste README ainda está na fila.

PROMPT-SMITH

A toolkit for engineering, versioning, and evaluating prompts with Claude.

Requirements

Quick Start

bun run verify # Install dependencies and run tests

prompts/

Each file in this directory is a .json that contains the prompt itself and the list of goals it must achieve. This is your starting point — define your prompt and what success looks like before running any eval.

Each iteration of a prompt is saved as a new file (v1, v2, v3...), with the version also reflected inside the file. The goals stay the same across versions. Only the prompt changes as you refine it.

{
  "version": 1,
  "prompt": "Explain quantum computing in simple terms.",
  "goals": [
    { "goal": "The response must be under 100 words" },
    { "goal": "The response must not use technical jargon" }
  ]
}

results/

Each file in this directory is a .json that contains the result of an eval run. Each result file mirrors its prompt version by name (e.g. prompts/quantum-explanation-v1.json → results/quantum-explanation-v1.json), so you can always trace back which prompt produced which result and compare them over time.

{
  "version": 1,
  "prompt": "Explain quantum computing in simple terms.",
  "score": 6,
  "passed": false,
  "goals": [
    { "goal": "The response must be under 100 words", "score": 8 },
    { "goal": "The response must not use technical jargon", "score": 4 }
  ]
}

Usage

Add your prompt file to prompts/, then run the suite by passing the prompt filename as the [suite] argument.

If [suite] is not provided, the script will prompt you to choose from available suites.

./smith-run.sh   # Prompt you to choose a suite to run
./smith-debug.sh # Prompt you to choose a suite to debug

./smith-run.sh   [suite] # Run a specific suite
./smith-debug.sh [suite] # Debug a specific suite

Example:

./smith-run.sh quantum-explanation-v1.json
./smith-debug.sh quantum-explanation-v1.json

License

MIT — free to use, modify, and distribute.

Ver o original no GitHub

Bom para

Relacionados