#scraper Repositorios
Descubre 128 repositorios activos de código abierto de GitHub etiquetados con #scraper, que acumulan 792,441 estrellas en total (una media de 6,190 estrellas por proyecto). El líder de este tema es firecrawl/firecrawl, con 205,758 estrellas.
128 repositorios en total
Infraestructura de conocimiento para hacer más inteligentes a sus agentes. Busque, extraiga y acceda a más de 550 proveedores de datos a través de una sola API.
Crawl4AI Cloud oficial: una API alojada de scraping web, extracción y búsqueda para agentes de IA. Clave API gratuita, 1.000 créditos al mes y sin tarjeta. Totalmente de código abierto: este repositorio contiene el rastreador Apache-2.0 que lo hace posible, y puedes alojarlo por tu cuenta.
Crea agentes que monitoreen y actúen en tu nombre. ¡Tus agentes están listos para actuar!
Un crawler/spider web visual sin código: un software de automatización de navegador, recopilación de datos y web scraping visual que permite diseñar y ejecutar tareas de rastreo sin necesidad de código. Alias: ServiceWrapper, un sistema inteligente de encapsulación de servicios para aplicaciones web.
Crawlee—Una biblioteca de web scraping y automatización de navegadores para Node.js para construir rastreadores confiables. En JavaScript y TypeScript. Extrae datos para IA, LLMs, RAG o GPTs. Descarga HTML, PDF, JPG, PNG y otros archivos de sitios web. Funciona con Puppeteer, Playwright, Cheerio, JSDOM y HTTP puro. Tanto en modo con cabeza como sin cabeza. Con rotación de proxies.
🚀 API autoalojada para recopilar datos de Douyin, TikTok y Bilibili y descargar vídeos sin marca de agua. Compatible con llamadas de agentes de IA mediante MCP y con transcripción de voz sin conexión. Despliegue de Docker con un solo clic. | Extractor autoalojado de TikTok, Douyin y Bilibili y descargador de vídeos sin marca de agua: API REST asíncrona, servidor MCP para agentes de IA, CLI y consola web, además de transcripción de voz sin conexión para los vídeos descargados. Grupo de identidades con autorrecuperación, archivo PostgreSQL y puesta en marcha con un solo `docker compose up`.
Convierte cualquier sitio web en una API estructurada. Extrae, automatiza, busca y supervisa la web.
newspaper3k es una extracción de noticias, texto completo y metadatos de artículos en Python 3. Documentación avanzada:
Solucionador automático de CAPTCHA para su navegador. Funciona con Selenium, Puppeteer, Playwright y más.
Sistema de gestión de películas AV, avmoo, javbus, javlibrary Crawler, Biblioteca de películas AV en línea, Base de datos de enlaces de imanes AV, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database
Crawlee: una biblioteca de scraping web y automatización de navegadores para Python con la que crear rastreadores fiables. Extrae datos estructurados con LLM mediante Pydantic AI o controla el navegador en lenguaje natural con Stagehand. Compatible con BeautifulSoup, Parsel, Playwright y HTTP sin procesar. Descarga HTML, PDF, imágenes y otros archivos. Incluye rotación de proxies.
Un controlador del Protocolo de Herramientas para Desarrolladores de Chrome para automatización web y scraping.
Una colección de excelentes web crawlers y spiders en diferentes idiomas
💡 Descarga el código fuente completo de cualquier sitio web (incluyendo todos los assets). [ Javascripts, Stylesheets, Images ] usando Node.js
Análisis de sistemas de protección contra bots con contramedidas disponibles 🚿. ¿Cómo derrotar al sistema anti-bot 👻 y eludir los scripts de huellas digitales del navegador 🕵️♂️ al extraer datos de la web?
Extractor de API de Twitter | Sin clave de API | API Interna de Twitter | Gratis | Extractor de Twitter | Bot de Twitter
Herramienta multiusos para raspar y extraer datos de activos en línea, hecha para hackers
Una forma impulsada por la comunidad para leer y chatear con bots de IA, impulsada por chatGPT.
Rastreador de datos centrado actualmente en contenido para adultos (OnlyFans, etc.): se actualiza periódicamente
Tome una lista de dominios, rastree URL y escanee en busca de puntos finales, secretos, claves de API, extensiones de archivo, tokens y más.
API de web scraping de código abierto. Convierte cualquier sitio web en Markdown limpio o JSON estructurado. Navegador anti-detección, selección automática de proxy, autohospedado. Un solo comando: make up
Un plugin de scraper para películas japonesas de Emby/Jellyfin que obtiene información de películas de ciertos sitios web.
¿Quieres APRENDER COSAS NUEVAS GRATIS? No te preocupes, con el poder del web-scraping y la automatización, este script encontrará los cupones de Udemy necesarios y te inscribirá en CURSOS DE UDEMY DE PAGO, ¡ABSOLUTAMENTE GRATIS!
Biblioteca de Python y CLI para el scraping de X/Twitter con rotación de múltiples cuentas y manejo integrado de límites de velocidad.
Aprenda paso a paso cómo extraer datos de Google Trends y comparar resultados usando Python y la API SERP de Oxylabs. Extraiga palabras clave, su popularidad, desglose por región, consultas relacionadas y mucho más.
Geziyor, framework de web crawling y scraping ultrarrápido para Go. Soporta renderizado JS.
Extraiga metadatos de cualquier URL utilizando Open Graph, JSON-LD, etiquetas meta HTML y mecanismos de respaldo inteligentes.
:spider: ¡El framework de crawler PHP progresivo! Framework de recolección PHP progresivo elegante.
API de TikTok LIVE para Node.js: una biblioteca no oficial para recibir eventos de transmisiones en vivo (comentarios, regalos, etc.) en tiempo real desde TikTok LIVE.
Servidor MCP de documentación técnica completamente gratuito, privado y basado en UI. Diseñado pensando en programadores y desarrolladores de software. Fácil integración en Cursor, Windsurf, Cline, Roo Code, Claude Desktop App
La biblioteca principal de NewPipe para extraer datos de sitios de streaming
Herramienta OSINT gratuita para correos electrónicos, más de 5000 plataformas, agrupación de identidades y detección de filtraciones. No se requieren claves de API. pip install mailaccess
Scraper de BOSS Zhipin / Herramienta de extracción de datos de empleo de BOSS Zhipin, basada en el protocolo Chrome CDP para reutilizar sesiones de inicio de sesión reales, eludir la protección anti-scraping de fuentes y generar JSON/CSV de salarios en texto plano + análisis de habilidades salariales.
Descargar sitio web a directorio local (incluyendo todos los css, imágenes, js, etc.)
Aprenda a crear su propio scraper de Google Jobs que extrae simultáneamente ofertas de Google Jobs para múltiples consultas de búsqueda y ubicaciones geográficas con Python y la API Google Jobs Scraper de Oxylabs. https://oxylabs.io/blog/how-to-scrape-google-jobs
Extractor de Google Play para recopilar detalles públicos sobre aplicaciones, juegos, películas y programas de televisión, libros y más.
Preguntas frecuentes
¿Cuál es el repositorio de #scraper más popular en GitHub?
El proyecto de código abierto de #scraper mejor posicionado en GitHub es firecrawl/firecrawl, con 205,758 estrellas. Infraestructura de conocimiento para hacer más inteligentes a sus agentes. Busque, extraiga y acceda a más de 550 proveedores de datos a través de una sola API.
¿Qué lenguajes de programación se utilizan más en los repositorios de #scraper?
Entre los proyectos de #scraper mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, TypeScript, Go, JavaScript.
¿Cómo se calcula la clasificación de los repositorios de #scraper?
Seguimos 128 repositorios activos de código abierto etiquetados con #scraper (500+ estrellas), que suman un total de 792,441 estrellas, con una media de 6,190 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.