convez.ai
AgenteAutomaçãoIntermediário
ScraperHub

Crawlbase + LangChain ReAct Agent

ScraperHub/how-to-use-crawlbase-with-langchain-for-ai-data-pipelines

Agent ReAct com Claude + web scraping inteligente via Crawlbase

Ver no GitHub
InicialPluginScore · de 0 a 100

Agente ReAct (LangGraph) que integra Claude com Crawlbase para extração de dados web em tempo real. Converte páginas HTML em Markdown e oferece suporte a renderização JavaScript, criando um pipeline de IA para processamento estruturado de conteúdo web.

Instalação

$npx convez-ai ScraperHub/how-to-use-crawlbase-with-langchain-for-ai-data-pipelines

1 comando no terminal: detecta o formato do repositório (marketplace ou plugin avulso) e instala via Claude Code. Requer Node 18+ e o Claude Code instalado.

Métricas

Estrelas
0
Forks
0
Acompanhando
0
Saúde
28%
Último commit
há 5 meses
Versão
—
Issues abertas
0
Contribuidores
2

Casos de uso

  • Pesquisa e análise de dados web automatizada com LLM
  • Extração de conteúdo de SPAs e sites dinâmicos
  • Pipelines de dados que combinam scraping com raciocínio de IA

Veredito

Implementação prática e bem documentada de um agent ReAct que resolve o caso real de buscar e processar dados web com inteligência. Ideal para quem quer integrar scraping inteligente em pipelines de IA, com suporte a JS rendering e markdown estruturado.

README

A tradução para o português deste README ainda está na fila.

Crawlbase + LangChain sample

Small CLI demo: a LangGraph ReAct agent (Anthropic Claude) with langchain-crawlbase tools that pull live web pages as Markdown for grounding.

Setup

Python 3.11+ recommended.

cd code
python -m venv .venv
.venv\Scripts\activate   # Windows
# source .venv/bin/activate   # macOS / Linux
pip install -r requirements.txt

Copy .env.example to .env in this folder (or use a .env in the parent directory; the agent loads both).

VariableRequiredPurpose
ANTHROPIC_API_KEYYesClaude API
CRAWLBASE_TOKENYesCrawlbase normal (non-JS) requests via crawlbase_fetch
CRAWLBASE_JS_TOKENFor JS rendersOptional second tool crawlbase_fetch_js for SPA pages
ANTHROPIC_MODELNoOverrides default claude-sonnet-4-20250514

Run

python main.py What is the title of https://example.com/ ?

Or pipe a prompt:

echo "Summarize https://example.com/" | python main.py

Layout

FileRole
main.pyCLI entrypoint
agent.pyReAct agent + CrawlbaseTool wiring
scripts/smoke_crawlbase.pyOptional live Crawlbase check (no LLM)

Web fetching is handled by the official langchain-crawlbase package (CrawlbaseTool, CrawlbaseLoader, CrawlbaseRetriever).

Optional: live Crawlbase check

To verify tokens against the real API (no LLM):

set RUN_CRAWLBASE_LIVE=1
python scripts\smoke_crawlbase.py

On macOS/Linux use export RUN_CRAWLBASE_LIVE=1. Optional: CRAWLBASE_SMOKE_URL to change the target URL (default https://example.com/).

Ver o original no GitHub

Bom para

Relacionados