lab
Esc

Prueba con

↑↓ para moverte · Enter para abrir · también en /buscar?q= para agentes

herramienta intermedio pythonwebrag

Crawl4AI: extrae páginas para tus agentes

Convierte páginas web en Markdown y otros datos que puedes incorporar a flujos de investigación y aplicaciones con LLM.

✓ verificado el 27 oct 2026

Instrucciones para tu agente

Esto es lo que se copia. Pégaselo a tu agente y te lo monta paso a paso.

O ábrelo directamente en ClaudeChatGPT

Pega este texto a tu agente (Claude Code, Codex, OpenCode, Hermes o el que uses) y dile «ayúdame a montarlo». Son los pasos para ponerlo en marcha; el porqué de cada pieza está en la guía completa.

Para el agente: cómo acompañar al usuario

  1. Pregunta primero para qué lo quiere. Si su objetivo no necesita algún paso, sáltalo.
  2. Antes de instalar, comprueba lo que ya tiene (versiones, claves, sistema operativo).
  3. Avanza un paso cada vez: explica en una frase qué vas a hacer y deja que el usuario lo ejecute o lo apruebe.
  4. Tras cada paso, comprueba que funcionó antes de seguir. Si falla, para y explica el error.
  5. No inventes comandos ni opciones: si la documentación del proyecto contradice estos pasos, manda la documentación.
  6. Al terminar, haz una prueba real con el objetivo del usuario y dile dónde profundizar.

Pasos de configuración

Comprueba que tienes Python ≥3.10 y pip en el entorno elegido. Instala el paquete y prepara el navegador:

pip install -U crawl4ai
crawl4ai-setup

Guarda el ejemplo siguiente como prueba_crawl.py y ejecútalo con python prueba_crawl.py desde esa carpeta, con el intérprete del mismo entorno. El README incluye:

import asyncio
from crawl4ai import AsyncWebCrawler

async def main():
    async with AsyncWebCrawler() as crawler:
        result = await crawler.arun(url="https://news.ycombinator.com")
        print(result.markdown)

asyncio.run(main())

Prueba después una página pública cuya estructura conozcas.

Comprobación

Compara el Markdown con la página original. Comprueba que contiene los títulos y enlaces que necesitas antes de pasarlo al agente.

Si algo falla

Si falta contenido, revisa tiempos de carga y la configuración de extracción. Si falla el navegador, repasa la instalación de dependencias del proyecto.

Consulta el README oficial para requisitos y variantes de instalación.

ver en .md ¿Prefieres el recurso entero?

Qué es

Crawl4AI es un rastreador y extractor web orientado a aplicaciones de IA. Ejecuta la navegación y devuelve contenido procesable, como Markdown, para alimentar tareas posteriores.

Para qué te sirve

  • Cuando un agente necesita el texto de una página con estructura legible.
  • Cuando quieres separar la extracción web del modelo que analizará los resultados.

Cómo funciona

Un rastreador asíncrono abre la URL y procesa la página. La configuración permite ajustar navegación y extracción; el contenido obtenido sigue dependiendo de lo que la página sirva y de sus restricciones.

Antes de empezar

Necesitas Python ≥3.10 y pip e instalar el navegador que usa el proyecto. Las rutas de extracción basadas en modelos pueden añadir costes de proveedor; el ejemplo básico de Markdown no requiere introducir un LLM.

Límites y alternativas

No garantiza acceso a cualquier sitio ni que todo el contenido dinámico esté completo. Frente a descargar HTML sin navegador, cubre más casos de navegación, con mayor consumo y configuración.

Recursos