#web-scraping Repositorios
Descubre 381 repositorios activos de código abierto de GitHub etiquetados con #web-scraping, que acumulan 2,147,590 estrellas en total (una media de 5,636 estrellas por proyecto). El líder de este tema es firecrawl/firecrawl, con 205,758 estrellas.
382 repositorios en total
Infraestructura de conocimiento para hacer más inteligentes a sus agentes. Busque, extraiga y acceda a más de 550 proveedores de datos a través de una sola API.
Programa de línea de comandos para descargar videos de YouTube.com y otros sitios de video
Biblioteca de Python de código abierto para agentes de navegador con IA, además de Browser Use Cloud: navegadores sigilosos y una API de agentes alojada.
🕷️ ¡El MEJOR framework de web scraping, capaz de gestionar desde una sola solicitud hasta un rastreo a gran escala! No seas tímido: únete aquí https://discord.gg/EMgGbDceNQ y síguenos aquí para recibir consejos y trucos a diario: https://x.com/Scrapling_dev
Crawl4AI Cloud oficial: una API alojada de scraping web, extracción y búsqueda para agentes de IA. Clave API gratuita, 1.000 créditos al mes y sin tarjeta. Totalmente de código abierto: este repositorio contiene el rastreador Apache-2.0 que lo hace posible, y puedes alojarlo por tu cuenta.
Nota Xiaohongshu | Crawler de comentarios, Video Douyin | Crawler de comentarios, Video Kuaishou | Crawler de comentarios, Video Bilibili | Crawler de comentarios, Publicación de Weibo | Crawler de comentarios, Publicación de Baidu Tieba | Crawler de respuestas a comentarios de Baidu Tieba | Artículo de Preguntas y Respuestas de Zhihu | Crawler de comentarios
Lector de libros Legado 3.0 con controles potentes y funciones completas ❤️ Lectura 3.0, Lectura es una herramienta que permite fuentes personalizadas para leer contenido en línea, proporcionando a los amantes de la literatura en línea una experiencia de prueba de lectura conveniente, rápida y cómoda.
Clona cualquier sitio web con un solo comando usando agentes de codificación con IA
La mejor y más sencilla herramienta para detectar cambios en sitios web, supervisar páginas web y recibir alertas de cambios. Ideal para seguir cambios de contenido, bajadas de precio, avisos de reposición y detectar alteraciones en sitios web. ¡Incluye MCP! Todo gratis o disfruta de nuestro plan SaaS.
Chromium sigiloso que supera todas las pruebas de detección de bots. Sustituto directo de Playwright con parches de huella digital a nivel de código fuente. Más de 50 pruebas superadas.
Crawlee—Una biblioteca de web scraping y automatización de navegadores para Node.js para construir rastreadores confiables. En JavaScript y TypeScript. Extrae datos para IA, LLMs, RAG o GPTs. Descarga HTML, PDF, JPG, PNG y otros archivos de sitios web. Funciona con Puppeteer, Playwright, Cheerio, JSDOM y HTTP puro. Tanto en modo con cabeza como sin cabeza. Con rotación de proxies.
El SDK para extraer datos e interactuar con cualquier sitio web. Empieza con Claude Code, Codex, Eve, Mastra y mucho más.
El mejor navegador sin interfaz gráfica para agentes de IA. Ligero, rápido y altamente compatible. Desarrollado en Rust
🚀 API autoalojada para recopilar datos de Douyin, TikTok y Bilibili y descargar vídeos sin marca de agua. Compatible con llamadas de agentes de IA mediante MCP y con transcripción de voz sin conexión. Despliegue de Docker con un solo clic. | Extractor autoalojado de TikTok, Douyin y Bilibili y descargador de vídeos sin marca de agua: API REST asíncrona, servidor MCP para agentes de IA, CLI y consola web, además de transcripción de voz sin conexión para los vídeos descargados. Grupo de identidades con autorrecuperación, archivo PostgreSQL y puesta en marcha con un solo `docker compose up`.
Convierte cualquier sitio web en una API estructurada. Extrae, automatiza, busca y supervisa la web.
Alternativa de código abierto a NotebookLM, aislada de redes y centrada en la privacidad. Un agente de IA que investiga, transforma y edita tus documentos. Únete a nuestro Discord: https://discord.gg/ejRNvftDp9
Convierta sitios web de documentación, repositorios de GitHub y archivos PDF en habilidades de Claude AI con detección automática de conflictos
🚂 Asistente de compra de boletos 12306, soporta clúster, múltiples cuentas, compra de boletos multitarea y gestión de páginas web
Agente de IA de código abierto para la automatización web. Usa tu navegador real con sesión iniciada para automatizar las tareas diarias.
Automatización de navegador rápida y fiable para pruebas de extremo a extremo, extracción de datos y navegación sigilosa. Evita la detección de bots con el modo CDP. Se integra con pytest, Playwright y MCP.
Un descargador práctico de Douyin para descargar tanto elementos individuales como lotes completos de perfiles, con visualización del progreso, reintentos, deduplicación mediante SQLite y compatibilidad con el modo de respaldo del navegador. Herramienta de descarga por lotes de Douyin compatible con vídeos, álbumes de imágenes, recopilaciones y música (audio original).
Navegador headless sigiloso para agentes de IA — evita Cloudflare, detección de bots y anti-scraping. Reemplazo drop-in de Puppeteer/Playwright.
jsoup: el analizador HTML de Java, diseñado para la edición, limpieza, extracción y seguridad contra XSS en HTML.
Solucionador automático de CAPTCHA para su navegador. Funciona con Selenium, Puppeteer, Playwright y más.
Puente de automatización de navegador de alto rendimiento y orquestador multiinstancia con inyección furtiva avanzada y panel de control en tiempo real.
Crawlee: una biblioteca de scraping web y automatización de navegadores para Python con la que crear rastreadores fiables. Extrae datos estructurados con LLM mediante Pydantic AI o controla el navegador en lenguaje natural con Stagehand. Compatible con BeautifulSoup, Parsel, Playwright y HTTP sin procesar. Descarga HTML, PDF, imágenes y otros archivos. Incluye rotación de proxies.
FreeAskInternet es un agregador de búsqueda y generador de respuestas completamente gratuito, PRIVADO y que se ejecuta LOCALMENTE, utilizando MÚLTIPLES LLM, sin necesidad de GPU. El usuario puede hacer una pregunta y el sistema realizará una búsqueda multien engine y combinará el resultado de la búsqueda con un LLM para generar la respuesta basada en los resultados de la búsqueda. ¡Todo es GRATUITO de usar!
Recopilación de datos mediante rastreador de Xiaohongshu (RED), ingeniería inversa de Xiaohongshu, mensajes privados, transmisión en vivo y soluciones de operación integral en Xiaohongshu
Este repositorio de GitHub es una potente colección de APIs que puedes empezar a usar inmediatamente para construir de todo, desde automatizaciones simples hasta aplicaciones a gran escala. Una de las listas de APIs más valiosas en GitHub, punto. 💪
extraer datos de Google Maps. Extrae datos como el nombre, dirección, número de teléfono, URL del sitio web, calificación, número de reseñas, latitud y longitud, reseñas, correo electrónico y más para cada lugar
Lista de bibliotecas, herramientas y APIs para web scraping y procesamiento de datos.
Servidor MCP oficial de Firecrawl, la API de contexto para agentes de IA: busca, extrae e interactúa con la web, además de analizar, rastrear, mapear y usar Agent y Monitor desde cualquier cliente MCP.
Compra automática de entradas de cebada, admite la selección de personal, ciudades, series de fechas y precios
Un controlador del Protocolo de Herramientas para Desarrolladores de Chrome para automatización web y scraping.
Herramienta de Python y línea de comandos para recopilar texto y metadatos en la Web: Rastreo, raspado, extracción, salida como CSV, JSON, HTML, MD, TXT, XML
Pydoll es una biblioteca para automatizar navegadores basados en Chromium sin WebDriver, que ofrece interacciones realistas.
Binding de Python para la bifurcación de curl-impersonate a través de cffi. Un cliente http que puede suplantar las huellas digitales TLS/ja3/http2 del navegador.
CLI de automatización de navegador construida para agentes de IA. Supere barreras anti-bot, transfiera a humanos en múltiples plataformas cuando esté atascado. Ejecución paralela de múltiples tareas, operación independiente de múltiples sesiones, navegación aislada de múltiples cuentas.
Un clon de investigación profunda de código abierto. Agente de IA que razona sobre grandes cantidades de datos web extraídos con Firecrawl.
Lenguaje de automatización de datos declarativo y tiempo de ejecución de Go para flujos de trabajo de extracción estructurada.
EyeWitness está diseñado para tomar capturas de pantalla de sitios web, proporcionar información sobre las cabeceras del servidor e identificar credenciales predeterminadas si es posible.
Preguntas frecuentes
¿Cuál es el repositorio de #web-scraping más popular en GitHub?
El proyecto de código abierto de #web-scraping mejor posicionado en GitHub es firecrawl/firecrawl, con 205,758 estrellas. Infraestructura de conocimiento para hacer más inteligentes a sus agentes. Busque, extraiga y acceda a más de 550 proveedores de datos a través de una sola API.
¿Qué lenguajes de programación se utilizan más en los repositorios de #web-scraping?
Entre los proyectos de #web-scraping mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, TypeScript, JavaScript, Go.
¿Cómo se calcula la clasificación de los repositorios de #web-scraping?
Seguimos 381 repositorios activos de código abierto etiquetados con #web-scraping (500+ estrellas), que suman un total de 2,147,590 estrellas, con una media de 5,636 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.