#spider Repositorios
Descubre 92 repositorios activos de código abierto de GitHub etiquetados con #spider, que acumulan 325,814 estrellas en total (una media de 3,541 estrellas por proyecto). El líder de este tema es NaiboWang/EasySpider, con 44,801 estrellas.
92 repositorios en total
Un crawler/spider web visual sin código: un software de automatización de navegador, recopilación de datos y web scraping visual que permite diseñar y ejecutar tareas de rastreo sin necesidad de código. Alias: ServiceWrapper, un sistema inteligente de encapsulación de servicios para aplicaciones web.
Algunos ejemplos muy interesantes de rastreadores de Python, amigables para principiantes, principalmente para rastrear sitios web como Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ, etc. (Some interesting examples of python crawlers that are friendly to beginners.)
Plataforma de administración distribuida para rastreadores web para la gestión de arañas independientemente de los idiomas y marcos de trabajo. 分布式爬虫管理平台,支持任何语言和框架
Software de grabación en vivo con servicio cíclico y grabación multijugador, compatible con la grabación de transmisiones en vivo de más de 40 plataformas como Douyin, TikTok, Youtube, Kuaishou, Huya, Douyu, Bilibili, Xiaohongshu, pandatv, sooplive, flextv, popkontv, twitcasting, winktv, Baidu, Weibo, Kugou, 17Live, Twitch, Acfun, CHZZK, Shopee, etc.
Sistema de gestión de películas AV, avmoo, javbus, javlibrary Crawler, Biblioteca de películas AV en línea, Base de datos de enlaces de imanes AV, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database
INFO-SPIDER es una caja de herramientas de rastreo🧰 que integra numerosas fuentes de datos, diseñada para ayudar a los usuarios a recuperar sus datos de forma segura y rápida. El código de la herramienta es de código abierto y el proceso es transparente. Las fuentes de datos admitidas incluyen GitHub, QQ Mail, Netease Mail, Ali Mail, Sina Mail, Hotmail, Outlook, JD, Taobao, Alipay, China Mobile, China Unicom, China Telecom, Zhihu, Bilibili, Netease Cloud Music, QQ Friends, QQ Groups, Generación de álbumes de WeChat Moments, Historial de navegación del navegador, 12306, CSDN Blog, OSCHINA Blog, JianShu.
Lista de bibliotecas, herramientas y APIs para web scraping y procesamiento de datos.
Pholcus es un software de crawler distribuido de alta concurrencia escrito en puro golang
Una colección de excelentes web crawlers y spiders en diferentes idiomas
Sincronización de artículos con un solo clic en múltiples plataformas de contenido, soporta Toutiao, WordPress, Zhihu, JianShu, Juejin, CSDN, Typecho y otras grandes plataformas. Una publicación para publicar en múltiples plataformas simultáneamente. Libera la productividad personal.
novel-plus es un CMS de novelas con numerosas funciones y compatible con múltiples plataformas (PC, WAP, aplicación y miniprograma). Incluye recomendaciones, búsqueda y clasificaciones de novelas; lectura, estanterías, reseñas y listas de lectura; extracción de contenido de novelas de sitios web; un centro de miembros y una sección para escritores; recargas y suscripciones, y publicación de noticias.
Llamadas API comunes de Bilibili. Soporta funciones como videos, animes, usuarios, canales, audio, etc. Dirección del repositorio original: https://github.com/MoyuScript/bilibili-api
🚀🚀🚀feapder es un framework de rastreo fácil de usar y potente | feapder es un framework de rastreo de Python fácil de usar y potente. Incorpora cuatro tipos de rastreadores: AirSpider, Spider, TaskSpider y BatchSpider para satisfacer las necesidades de diferentes escenarios. Admite funciones como la reanudación de puntos de interrupción, monitoreo y alertas, renderizado de navegador y deduplicación de grandes cantidades de datos. Además, el potente sistema de gestión de rastreadores feaplat proporciona una implementación y programación convenientes.
Marco de Gestión de Crawlers Distribuido Basado en Scrapy, Scrapyd, Django y Vue.js
Aplicación web para la gestión de clústeres Scrapyd, análisis y visualización de logs de Scrapy, empaquetado automático, tareas programadas, monitoreo y alertas, y UI móvil. Docs documentación :point_right:
Eliminador de marcas de agua de videos cortos: Douyin, Pipixia, Huoshan, Weishi, Weibo, Oasis, Zuiyou, Qingshipin, Kuaishou, Quanmin Xiaoshipin, Película de Barcelona, Momo, Before Bifeng, Kaiyan, Vue Vlog Xiaokuxiu, Pipixia Funny, Quanmin K Ge, Video Xigua, Doupai, Huya, 6 Habitaciones, Video Li, Xinpianchang, acfun, Meipai...
DecryptLogin: APIs para iniciar sesión en algunos sitios web usando requests.
Geziyor, framework de web crawling y scraping ultrarrápido para Go. Soporta renderizado JS.
Tutorial de ejemplos en Go desde principiante hasta avanzado, incluyendo uso de bibliotecas básicas, patrones de diseño, puntos fáciles de error en entrevistas, clases utilitarias, integración con terceros, etc.
:spider: ¡El framework de crawler PHP progresivo! Framework de recolección PHP progresivo elegante.
🕷 CrawlerDetect es una clase PHP para detectar bots/crawlers/spiders a través del agente de usuario
Descargar imágenes de Google, Bing, Baidu. Descarga de imágenes de Google, Baidu, Bing.
Framework de rastreo web C# multiplataforma creado para la velocidad y la flexibilidad. ¡Por favor, dale una estrella a este proyecto! +1.
Blue Sky Collector es un sistema de rastreo de código abierto y gratuito que solo requiere hacer clic y editar reglas para recopilar datos. Puede ejecutarse localmente, en un host virtual o en un servidor en la nube, y puede rastrear casi todo tipo de páginas web. Se integra perfectamente con varios programas de creación de sitios web CMS, publica datos en tiempo real sin iniciar sesión y sin intervención humana. ¡Es un sistema de rastreo en la nube completamente multiplataforma en el software de recopilación de big data web.
Asistente de exportación de QQ Space, utilizado para hacer copias de seguridad en archivos de las publicaciones, diarios, diarios privados, álbumes, vídeos, tablones de mensajes, amigos de QQ, favoritos, contenidos compartidos y visitantes recientes de QQ Space, facilitando su migración y conservación.
Un escáner de aplicaciones web basado en Python para recopilar OSINT y realizar fuzzing para vulnerabilidades OWASP en un sitio web objetivo.
Scraper de BOSS Zhipin / Herramienta de extracción de datos de empleo de BOSS Zhipin, basada en el protocolo Chrome CDP para reutilizar sesiones de inicio de sesión reales, eludir la protección anti-scraping de fuentes y generar JSON/CSV de salarios en texto plano + análisis de habilidades salariales.
Crawler de Douyin: recopilación de datos públicos como la página de perfil de la cuenta, me gusta, colecciones, audio original de música, temas, búsqueda, colecciones, obras, seguido, seguidores, etc.
El rastreador web del archivero: salida WARC, panel de control para todos los rastreos, patrones de ignoración dinámicos
Rastreadores de Python, inventario actual: Extracción de canciones de NetEase Cloud Music, Extracción de videos de Bilibili, Extracción de preguntas y respuestas de Zhihu, Extracción de fondos de pantalla, Extracción de videos de xvideos, Extracción de audiolibros, Rastreador de Weibo, Extracción de información de Anjuke + visualización de datos, Extractor de portadas de videos de Bilibili, Encapsulado de pool de proxies IP, Rastreador de usuarios de nivel millón de Zhihu + análisis de datos, Rastreador de usuarios de GitHub
Resumen de excelentes artículos de ingeniería inversa, vale la pena echarle un vistazo
📰 Diarios oficiales brasileños accesibles para todos | 📰 Gacetas gubernamentales brasileñas, accesibles para todos.
Compartición de código de web scraping del Hermano K, ingeniería inversa de JS, web scraping avanzado. Sigue la cuenta pública de WeChat: Web scraping del Hermano K
Preguntas frecuentes
¿Cuál es el repositorio de #spider más popular en GitHub?
El proyecto de código abierto de #spider mejor posicionado en GitHub es NaiboWang/EasySpider, con 44,801 estrellas. Un crawler/spider web visual sin código: un software de automatización de navegador, recopilación de datos y web scraping visual que permite diseñar y ejecutar tareas de rastreo sin necesidad de código. Alias: ServiceWrapper, un sistema inteligente de encapsulación de servicios para aplicaciones web.
¿Qué lenguajes de programación se utilizan más en los repositorios de #spider?
Entre los proyectos de #spider mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Go, PHP, TypeScript.
¿Cómo se calcula la clasificación de los repositorios de #spider?
Seguimos 92 repositorios activos de código abierto etiquetados con #spider (500+ estrellas), que suman un total de 325,814 estrellas, con una media de 3,541 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.