#web-crawling Repositorios
Descubre 38 repositorios activos de código abierto de GitHub etiquetados con #web-crawling, que acumulan 211,837 estrellas en total (una media de 5,574 estrellas por proyecto). El líder de este tema es unclecode/crawl4ai, con 87,627 estrellas.
38 repositorios en total
Crawl4AI Cloud oficial: una API alojada de scraping web, extracción y búsqueda para agentes de IA. Clave API gratuita, 1.000 créditos al mes y sin tarjeta. Totalmente de código abierto: este repositorio contiene el rastreador Apache-2.0 que lo hace posible, y puedes alojarlo por tu cuenta.
Crawlee—Una biblioteca de web scraping y automatización de navegadores para Node.js para construir rastreadores confiables. En JavaScript y TypeScript. Extrae datos para IA, LLMs, RAG o GPTs. Descarga HTML, PDF, JPG, PNG y otros archivos de sitios web. Funciona con Puppeteer, Playwright, Cheerio, JSDOM y HTTP puro. Tanto en modo con cabeza como sin cabeza. Con rotación de proxies.
El mejor navegador sin interfaz gráfica para agentes de IA. Ligero, rápido y altamente compatible. Desarrollado en Rust
Crawlee: una biblioteca de scraping web y automatización de navegadores para Python con la que crear rastreadores fiables. Extrae datos estructurados con LLM mediante Pydantic AI o controla el navegador en lenguaje natural con Stagehand. Compatible con BeautifulSoup, Parsel, Playwright y HTTP sin procesar. Descarga HTML, PDF, imágenes y otros archivos. Incluye rotación de proxies.
Servidor Node que utiliza Headless Chrome para renderizar una página renderizada con JavaScript como HTML. Para ser utilizado en conjunto con middleware de prerender.
Lenguaje de automatización de datos declarativo y tiempo de ejecución de Go para flujos de trabajo de extracción estructurada.
El repositorio contiene el analizador y el coincidente de robots.txt de Google como una biblioteca de C++ (compatible con C++11).
WebCollector es un framework de rastreo web de código abierto basado en Java. Proporciona algunas interfaces sencillas para rastrear la Web, puede configurar un rastreador web multihilo en menos de 5 minutos.
Un potente servidor Model Context Protocol (MCP) que proporciona una solución todo en uno para el acceso a la web pública.
Servidor MCP listo para producción con búsqueda en tiempo real, extracción, mapeo y rastreo.
Obtener información de los resultados de búsqueda de Weibo, la búsqueda puede ser una búsqueda por palabra clave de Weibo o una búsqueda por tema de Weibo
Capacidades de rastreo web y RAG para agentes de IA y asistentes de codificación de IA
Un framework de rastreo Java simple, ágil y distribuido compatible con Spring Boot; Un framework de rastreo ágil y distribuido.
🔥 Motor de búsqueda de IA de código abierto similar a Perplexity con citas en tiempo real, respuestas en streaming y datos en vivo impulsado por Firecrawl
Una herramienta Python utilizada para descubrir endpoints, parámetros potenciales, una lista de palabras específica para un objetivo y secretos.
datos de Xiaohongshu, recopilación de datos de XHS, ingeniería inversa de Xiaohongshu, ingeniería inversa de XS de Xiaohongshu, scraper de Xiaohongshu, datos de Xiaohongshu
Servidor de interfaz API de código abierto para web scraping de plataformas como Douyin (a_bogus última versión), Kuaishou, Bilibili, Xiaohongshu, Taobao, JD.com, Weibo, etc. Rápida implementación con Docker con un solo clic.
📖 Servidor MCP para obtener deepwiki.com y obtener el conocimiento más reciente en Cursor y otros editores de código
Un marco de automatización de IA impulsado por la comunidad que se basa en el increíble trabajo de la comunidad de código abierto. Nuestro objetivo es combinar modelos de lenguaje con herramientas especializadas para tareas como la búsqueda web, el rastreo y la ejecución de código Python, al tiempo que retribuimos a la comunidad que lo hizo posible.
☁️ El convertidor de HTML a markdown más rápido en GitHub. Optimizado para LLMs y admite streaming.
Motor Chromium sigiloso que evita que los scrapers y los agentes de navegador sean bloqueados con un solo cambio de línea de código.
Un sistema de IA automatizado (framework Python) diseñado para analizar cualquier tipo de contenido de sitio web y generar informes estructurados utilizando la API Claude 3.5 Sonnet y Firecrawl. Si bien actualmente está configurada para estudios de casos de IA empresariales, la arquitectura se puede adaptar a diversas necesidades de análisis de contenido.
Repositorio oficial para "Craw4LLM: Rastreo web eficiente para preentrenamiento de LLM"
Recuperar páginas web utilizando headless Chrome, almacenando todos los recursos recuperados, incluidos los archivos de JavaScript. Ejecutar JavaScript arbitrario en muchas páginas web y ver los valores devueltos
🔥 ¡Genera los archivos llms.txt y llms-full.txt para cualquier sitio web!
🎉🎈 El ≪ 📧 Servicio de Suscripción por Correo Electrónico de Eventos de Desarrollo ≫ que recibe semanalmente por correo electrónico
Preguntas frecuentes
¿Cuál es el repositorio de #web-crawling más popular en GitHub?
El proyecto de código abierto de #web-crawling mejor posicionado en GitHub es unclecode/crawl4ai, con 87,627 estrellas. Crawl4AI Cloud oficial: una API alojada de scraping web, extracción y búsqueda para agentes de IA. Clave API gratuita, 1.000 créditos al mes y sin tarjeta. Totalmente de código abierto: este repositorio contiene el rastreador Apache-2.0 que lo hace posible, y puedes alojarlo por tu cuenta.
¿Qué lenguajes de programación se utilizan más en los repositorios de #web-crawling?
Entre los proyectos de #web-crawling mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, TypeScript, JavaScript, Go.
¿Cómo se calcula la clasificación de los repositorios de #web-crawling?
Seguimos 38 repositorios activos de código abierto etiquetados con #web-crawling (500+ estrellas), que suman un total de 211,837 estrellas, con una media de 5,574 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.