#web-crawler Repositorios
Descubre 39 repositorios activos de código abierto de GitHub etiquetados con #web-crawler, que acumulan 470,326 estrellas en total (una media de 12,059 estrellas por proyecto). El líder de este tema es firecrawl/firecrawl, con 205,758 estrellas.
39 repositorios en total
Infraestructura de conocimiento para hacer más inteligentes a sus agentes. Busque, extraiga y acceda a más de 550 proveedores de datos a través de una sola API.
Crawl4AI Cloud oficial: una API alojada de scraping web, extracción y búsqueda para agentes de IA. Clave API gratuita, 1.000 créditos al mes y sin tarjeta. Totalmente de código abierto: este repositorio contiene el rastreador Apache-2.0 que lo hace posible, y puedes alojarlo por tu cuenta.
Crawlee—Una biblioteca de web scraping y automatización de navegadores para Node.js para construir rastreadores confiables. En JavaScript y TypeScript. Extrae datos para IA, LLMs, RAG o GPTs. Descarga HTML, PDF, JPG, PNG y otros archivos de sitios web. Funciona con Puppeteer, Playwright, Cheerio, JSDOM y HTTP puro. Tanto en modo con cabeza como sin cabeza. Con rotación de proxies.
El mejor navegador sin interfaz gráfica para agentes de IA. Ligero, rápido y altamente compatible. Desarrollado en Rust
Plataforma de administración distribuida para rastreadores web para la gestión de arañas independientemente de los idiomas y marcos de trabajo. 分布式爬虫管理平台,支持任何语言和框架
Crawlee: una biblioteca de scraping web y automatización de navegadores para Python con la que crear rastreadores fiables. Extrae datos estructurados con LLM mediante Pydantic AI o controla el navegador en lenguaje natural con Stagehand. Compatible con BeautifulSoup, Parsel, Playwright y HTTP sin procesar. Descarga HTML, PDF, imágenes y otros archivos. Incluye rotación de proxies.
Ingiera, analice y optimice cualquier formato de datos ➡️ desde documentos hasta multimedia ➡️ para una mejor compatibilidad con los marcos de GenAI
Servidor MCP oficial de Firecrawl, la API de contexto para agentes de IA: busca, extrae e interactúa con la web, además de analizar, rastrear, mapear y usar Agent y Monitor desde cualquier cliente MCP.
Una colección de excelentes web crawlers y spiders en diferentes idiomas
La web de referencia para su agente de codificación de IA: búsqueda local, obtención, rastreo e investigación a través de MCP. Sin claves API, sin nube, $0/consulta. Beta pública.
API de web scraping de código abierto. Convierte cualquier sitio web en Markdown limpio o JSON estructurado. Navegador anti-detección, selección automática de proxy, autohospedado. Un solo comando: make up
Rastrea un sitio web a partir de una URL, encuentra páginas relevantes y extrae datos, todo guiado por tu indicación en lenguaje natural.
Extracción rápida de contenido web local-first para LLMs. Extrae, rastrea, extrae datos estructurados — todo desde Rust. CLI, REST API y servidor MCP.
Framework de rastreo web C# multiplataforma creado para la velocidad y la flexibilidad. ¡Por favor, dale una estrella a este proyecto! +1.
Motor de búsqueda de Internet para sitios web orientados al texto. Indexación de la web pequeña, antigua y extraña.
Herramienta CLI para guardar una copia fiel de una página web completa en un único archivo HTML (basado en SingleFile)
20 de nov. de 2017 -- Un motor de búsqueda distribuido de código abierto y araña/crawler escrito en C/C++ para Linux en Intel/AMD. De gigablast dot com, que tiene binarios para descargar. Consulta el archivo README.md en la parte inferior de esta página para instrucciones.
Apóyate en los hombros de los gigantes — Crea habilidades de IA basadas en metodologías probadas de expertos de dominio.
Verificador de enlaces rotos que rastrea sitios web y valida enlaces. Encuentre enlaces rotos, enlaces muertos y URL no válidas en sitios web, documentación y archivos locales. Perfecto para auditorías de SEO y CI/CD.
Alternativa rápida y ligera a Firecrawl/Tavily escrita en Rust. API de web scraping, rastreo y búsqueda con servidor MCP para agentes de IA. API compatible con Firecrawl (/scrape, /crawl, /search). 2.3 veces más rápida que Tavily y 1.5 veces más rápida que Firecrawl en pruebas de 1K URL. 6 MB de RAM, binario único. Autohospedaje o uso en la nube gestionada.
Ejecute un rastreador de archivo web basado en navegador de alta fidelidad en un solo contenedor Docker
Crawler SEO de escritorio gratuito - alternativa open source a Screaming Frog y herramientas similares. Explora sitios web, analiza enlaces, extrae datos SEO y exporta resultados sin cuotas de suscripción. Totalmente personalizable y extensible.
Scripts escalables de scraping web en Python para más de 80 dominios populares
🔥 Este repositorio contiene ejemplos completos de aplicaciones, incluidos sitios web y otros proyectos, desarrollados con Firecrawl.
Una biblioteca versátil de Ruby para rastreo web que puede rastrear un sitio, múltiples dominios, ciertos enlaces o infinitamente. Spidr está diseñado para ser rápido y fácil de usar.
🔍 Motor de búsqueda de Internet de código abierto desarrollado en Go, con el tutorial "Crea tu propio motor de búsqueda de Internet"
Una extensión de navegador diseñada para la recopilación de información de páginas en escenarios de descubrimiento de vulnerabilidades SRC, que recopila automáticamente información sensible y pistas sospechosas de páginas y recursos relacionados, compatible con escaneo básico, escaneo recursivo profundo, pruebas de API masivas, exportación de resultados y configuración de expresiones regulares personalizadas.
Script de Python que permite a personas sin conocimientos de programación generar prospectos de calidad a gran escala. Este repositorio estará compuesto por diversas técnicas versátiles utilizadas en la generación de prospectos.
Repositorio oficial para "Craw4LLM: Rastreo web eficiente para preentrenamiento de LLM"
Infraestructura web de código abierto para IA. Raspado, rastreo y automatización de la web, limpieza de markdown, sesiones de navegador, listo para tus agentes.
El único kit de herramientas de código abierto que puede descargar informes financieros SEC EDGAR y extraer datos textuales de secciones de elementos específicos en archivos JSON estructurados, limpios y agradables. Presentado en WWW 2025 @ Sídney, Australia (https://dl.acm.org/doi/10.1145/3701716.3715289)
Preguntas frecuentes
¿Cuál es el repositorio de #web-crawler más popular en GitHub?
El proyecto de código abierto de #web-crawler mejor posicionado en GitHub es firecrawl/firecrawl, con 205,758 estrellas. Infraestructura de conocimiento para hacer más inteligentes a sus agentes. Busque, extraiga y acceda a más de 550 proveedores de datos a través de una sola API.
¿Qué lenguajes de programación se utilizan más en los repositorios de #web-crawler?
Entre los proyectos de #web-crawler mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, TypeScript, Rust, Go.
¿Cómo se calcula la clasificación de los repositorios de #web-crawler?
Seguimos 39 repositorios activos de código abierto etiquetados con #web-crawler (500+ estrellas), que suman un total de 470,326 estrellas, con una media de 12,059 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.