Crawlbase + LangChain ReAct Agent
ScraperHub/how-to-use-crawlbase-with-langchain-for-ai-data-pipelines
Agent ReAct com Claude + web scraping inteligente via Crawlbase
Ver no GitHubAgente ReAct (LangGraph) que integra Claude com Crawlbase para extração de dados web em tempo real. Converte páginas HTML em Markdown e oferece suporte a renderização JavaScript, criando um pipeline de IA para processamento estruturado de conteúdo web.
Instalação
npx convez-ai ScraperHub/how-to-use-crawlbase-with-langchain-for-ai-data-pipelines1 comando no terminal: detecta o formato do repositório (marketplace ou plugin avulso) e instala via Claude Code. Requer Node 18+ e o Claude Code instalado.
Métricas
Casos de uso
- Pesquisa e análise de dados web automatizada com LLM
- Extração de conteúdo de SPAs e sites dinâmicos
- Pipelines de dados que combinam scraping com raciocínio de IA
Veredito

Implementação prática e bem documentada de um agent ReAct que resolve o caso real de buscar e processar dados web com inteligência. Ideal para quem quer integrar scraping inteligente em pipelines de IA, com suporte a JS rendering e markdown estruturado.
README
A tradução para o português deste README ainda está na fila.
Crawlbase + LangChain sample
Small CLI demo: a LangGraph ReAct agent (Anthropic Claude) with langchain-crawlbase tools that pull live web pages as Markdown for grounding.
Setup
Python 3.11+ recommended.
cd code
python -m venv .venv
.venv\Scripts\activate # Windows
# source .venv/bin/activate # macOS / Linux
pip install -r requirements.txt
Copy .env.example to .env in this folder (or use a .env in the parent directory; the agent loads both).
| Variable | Required | Purpose |
|---|---|---|
ANTHROPIC_API_KEY | Yes | Claude API |
CRAWLBASE_TOKEN | Yes | Crawlbase normal (non-JS) requests via crawlbase_fetch |
CRAWLBASE_JS_TOKEN | For JS renders | Optional second tool crawlbase_fetch_js for SPA pages |
ANTHROPIC_MODEL | No | Overrides default claude-sonnet-4-20250514 |
Run
python main.py What is the title of https://example.com/ ?
Or pipe a prompt:
echo "Summarize https://example.com/" | python main.py
Layout
| File | Role |
|---|---|
main.py | CLI entrypoint |
agent.py | ReAct agent + CrawlbaseTool wiring |
scripts/smoke_crawlbase.py | Optional live Crawlbase check (no LLM) |
Web fetching is handled by the official langchain-crawlbase package (CrawlbaseTool, CrawlbaseLoader, CrawlbaseRetriever).
Optional: live Crawlbase check
To verify tokens against the real API (no LLM):
set RUN_CRAWLBASE_LIVE=1
python scripts\smoke_crawlbase.py
On macOS/Linux use export RUN_CRAWLBASE_LIVE=1. Optional: CRAWLBASE_SMOKE_URL to change the target URL (default https://example.com/).