#crawling Repositorios
Descubre 39 repositorios activos de código abierto de GitHub etiquetados con #crawling, que acumulan 335,438 estrellas en total (una media de 8,600 estrellas por proyecto). El líder de este tema es D4Vinci/Scrapling, con 104,760 estrellas.
39 repositorios en total
🕷️ ¡El MEJOR framework de web scraping, capaz de gestionar desde una sola solicitud hasta un rastreo a gran escala! No seas tímido: únete aquí https://discord.gg/EMgGbDceNQ y síguenos aquí para recibir consejos y trucos a diario: https://x.com/Scrapling_dev
Crawlee—Una biblioteca de web scraping y automatización de navegadores para Node.js para construir rastreadores confiables. En JavaScript y TypeScript. Extrae datos para IA, LLMs, RAG o GPTs. Descarga HTML, PDF, JPG, PNG y otros archivos de sitios web. Funciona con Puppeteer, Playwright, Cheerio, JSDOM y HTTP puro. Tanto en modo con cabeza como sin cabeza. Con rotación de proxies.
Convierte cualquier sitio web en una API estructurada. Extrae, automatiza, busca y supervisa la web.
newspaper3k es una extracción de noticias, texto completo y metadatos de artículos en Python 3. Documentación avanzada:
Crawlee: una biblioteca de scraping web y automatización de navegadores para Python con la que crear rastreadores fiables. Extrae datos estructurados con LLM mediante Pydantic AI o controla el navegador en lenguaje natural con Stagehand. Compatible con BeautifulSoup, Parsel, Playwright y HTTP sin procesar. Descarga HTML, PDF, imágenes y otros archivos. Incluye rotación de proxies.
Lista de bibliotecas, herramientas y APIs para web scraping y procesamiento de datos.
Un controlador del Protocolo de Herramientas para Desarrolladores de Chrome para automatización web y scraping.
Web crawler simple y rápido diseñado para el fácil y rápido descubrimiento de endpoints y activos dentro de una aplicación web
Tome una lista de dominios, rastree URL y escanee en busca de puntos finales, secretos, claves de API, extensiones de archivo, tokens y más.
📅🇨🇳 Datos de días festivos estatutarios de China Recopilados automáticamente diariamente de los anuncios del Consejo de Estado
Blue Sky Collector es un sistema de rastreo de código abierto y gratuito que solo requiere hacer clic y editar reglas para recopilar datos. Puede ejecutarse localmente, en un host virtual o en un servidor en la nube, y puede rastrear casi todo tipo de páginas web. Se integra perfectamente con varios programas de creación de sitios web CMS, publica datos en tiempo real sin iniciar sesión y sin intervención humana. ¡Es un sistema de rastreo en la nube completamente multiplataforma en el software de recopilación de big data web.
Colección de parches para puppeteer y playwright para evitar la detección de automatización y fugas. Ayuda a evitar las páginas CAPTCHA de Cloudflare y DataDome. Fácil de parchear/desparchear, se puede habilitar/deshabilitar bajo demanda.
Ejecute un rastreador de archivo web basado en navegador de alta fidelidad en un solo contenedor Docker
Este es el código de ejemplo de <6개월 치 업무를 하루 만에 끝내는 업무 자동화(생능출판사, 2020)>. Este ejemplo está pensado para quienes nunca han aprendido Python y ofrece ejemplos de diferentes campos relacionados con la automatización de tareas, desde Excel hasta diseño, macros y crawling.
Obtención, búsqueda y rastreo web para agentes de IA. Creado desde cero en Rust. Sin claves, sin cuentas. AGPL v3.
Scripts escalables de scraping web en Python para más de 80 dominios populares
Crawly, un framework de alto nivel para web crawling y scraping para Elixir.
SiteOne Crawler es un rastreador y analizador de sitios web multiplataforma para la optimización de SEO, seguridad, accesibilidad y rendimiento, ideal para desarrolladores, DevOps, ingenieros de control de calidad y consultores. Soporta Windows, macOS y Linux (x64 y arm64).
Middleware de Scrapy para manejar páginas de JavaScript usando Selenium
Código de tutorial simple pero útil para web scraping en Python.
🕵️♂️ Scraper de perfiles de LinkedIn que devuelve datos de perfil estructurados en JSON.
100% gratuito y alternativa open-source completa a Firecrawl edge con mejor extracción de enlaces para agentes - que puedes desplegar tú mismo en Cloudflare o Vercel.
Repositorio oficial para "Craw4LLM: Rastreo web eficiente para preentrenamiento de LLM"
Script de Python 3 para volcar/extraer/extraer empleados de empresas de la API de LinkedIn
Un framework confiable de alto nivel para web crawling y scraping para Node.js.
Preguntas frecuentes
¿Cuál es el repositorio de #crawling más popular en GitHub?
El proyecto de código abierto de #crawling mejor posicionado en GitHub es D4Vinci/Scrapling, con 104,760 estrellas. 🕷️ ¡El MEJOR framework de web scraping, capaz de gestionar desde una sola solicitud hasta un rastreo a gran escala! No seas tímido: únete aquí https://discord.gg/EMgGbDceNQ y síguenos aquí para recibir consejos y trucos a diario: https://x.com/Scrapling_dev
¿Qué lenguajes de programación se utilizan más en los repositorios de #crawling?
Entre los proyectos de #crawling mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, TypeScript, Go, JavaScript.
¿Cómo se calcula la clasificación de los repositorios de #crawling?
Seguimos 39 repositorios activos de código abierto etiquetados con #crawling (500+ estrellas), que suman un total de 335,438 estrellas, con una media de 8,600 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.