#scrapy Repositorios
Descubre 38 repositorios activos de código abierto de GitHub etiquetados con #scrapy, que acumulan 84,191 estrellas en total (una media de 2,215 estrellas por proyecto). El líder de este tema es crawlab-team/crawlab, con 12,301 estrellas.
38 repositorios en total
Plataforma de administración distribuida para rastreadores web para la gestión de arañas independientemente de los idiomas y marcos de trabajo. 分布式爬虫管理平台,支持任何语言和框架
Interfaz de crawler de cuentas públicas de WeChat basada en la búsqueda de WeChat de Sogou
Práctica 🐍 de múltiples sitios web, rastreadores de datos de comercio electrónico 🕷. Incluye 🕸: Productos de Taobao, cuentas públicas de WeChat, Dianping, Qichacha, sitios web de empleo, Xianyu, tareas de Ali, Cnblogs, Weibo, Baidu Tieba, películas de Douban, Baotu.com, Quan jing wang, música de Douban, oficina de supervisión de medicamentos de alguna provincia, noticias de Sohu, recolección de texto de aprendizaje automático, recolección de activos fofa, Autohome, Oficina Nacional de Estadísticas, número de inclusión de palabras clave de Baidu, directorio general de arañas, Toutiao, reseñas de películas de Douban, Ctrip, tienda de aplicaciones de Xiaomi, Anjuke, hospedaje de Tujia ❤️❤️❤️. Proyecto de demostración de rastreador de WeChat:
🚀🚀🚀feapder es un framework de rastreo fácil de usar y potente | feapder es un framework de rastreo de Python fácil de usar y potente. Incorpora cuatro tipos de rastreadores: AirSpider, Spider, TaskSpider y BatchSpider para satisfacer las necesidades de diferentes escenarios. Admite funciones como la reanudación de puntos de interrupción, monitoreo y alertas, renderizado de navegador y deduplicación de grandes cantidades de datos. Además, el potente sistema de gestión de rastreadores feaplat proporciona una implementación y programación convenientes.
Aplicación web para la gestión de clústeres Scrapyd, análisis y visualización de logs de Scrapy, empaquetado automático, tareas programadas, monitoreo y alertas, y UI móvil. Docs documentación :point_right:
Proyecto histórico de aprendizaje: recomendaciones de películas con Spark, web scraping, aplicación web y backend. El desarrollo continuo de la nueva versión está en cinematch-recommender.
Obtener información de los resultados de búsqueda de Weibo, la búsqueda puede ser una búsqueda por palabra clave de Weibo o una búsqueda por tema de Weibo
Descargar imágenes de Google, Bing, Baidu. Descarga de imágenes de Google, Baidu, Bing.
Traducir documentos de Python al chino para una referencia conveniente En pocas palabras, aquí es donde se guardan esos queridos documentos de Python, y haremos todo lo posible para traducirlos al chino ~~
El repositorio del proyecto abierto de web scraping tiene como objetivo compartir conocimientos y experiencias sobre web scraping con Python.
advertools - herramientas de productividad y análisis para marketing online
Escribe web scrapers en Ruby usando un DSL limpio y asistido por IA. Kimurai emplea IA para determinar dónde se encuentran los datos, luego almacena en caché los selectores y realiza scraping con Ruby puro. Obtén la inteligencia de un LLM sin la latencia por solicitud ni los costos de tokens.
Douyin, Kuaishou, Huoshan, Pipixia, programa para eliminar marcas de agua de video
Middleware de Scrapy para manejar páginas de JavaScript usando Selenium
API (interfaz) de solución de Captcha (solucionador de códigos de verificación) de alto rendimiento asíncrono para Douyin (抖音), TikTok, Xiaohongshu (小红书), Kuaishou (快手), Weibo (微博), Instagram, YouTube (油管), Twitter (X) con correo temporal (Temp Mail).
Un framework de rastreador multi-hilo con muchos rastreadores de imágenes incorporados proporcionados.
Rastreador de Xianyu, desarrollado sobre el cliente web de Xianyu. Proporciona una API de búsqueda de productos creada con FastAPI, compatible con solicitudes asíncronas concurrentes y con la deduplicación y el almacenamiento automatizados de datos. Ahora también admite el inicio de sesión.
Un conjunto de spiders y scrapers para extraer información de ubicación de lugares que publican su ubicación en internet.
Código de tutorial simple pero útil para web scraping en Python.
Un potente script de Python que te permite extraer mensajes y medios de canales de Telegram utilizando la biblioteca Telethon. Las características incluyen raspado continuo en tiempo real, descarga de medios y capacidades de exportación de datos.
Proyecto empresarial de código abierto de rastreo de noticias de opinión pública: admite la ejecución con un clic de cualquier número de rastreadores, tareas programadas de rastreadores, eliminación por lotes de rastreadores; implementación con un clic de rastreadores; visualización de monitoreo de rastreadores; configuración de estrategia de asignación de rastreadores en clúster; 👉 La documentación de implementación Docker lista ya ha resuelto los problemas por ti.
Extraer noticias de Toutiao, NetEase, Tencent, etc., y construir un motor de búsqueda simple
spider-admin-pro Una herramienta de gestión visual para la visualización de proyectos de rastreadores Scrapy+Scrapyd y la programación temporizada de tareas de rastreadores, la versión mejorada de SpiderAdmin
Preguntas frecuentes
¿Cuál es el repositorio de #scrapy más popular en GitHub?
El proyecto de código abierto de #scrapy mejor posicionado en GitHub es crawlab-team/crawlab, con 12,301 estrellas. Plataforma de administración distribuida para rastreadores web para la gestión de arañas independientemente de los idiomas y marcos de trabajo. 分布式爬虫管理平台,支持任何语言和框架
¿Qué lenguajes de programación se utilizan más en los repositorios de #scrapy?
Entre los proyectos de #scrapy mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Go, Java, Shell.
¿Cómo se calcula la clasificación de los repositorios de #scrapy?
Seguimos 38 repositorios activos de código abierto etiquetados con #scrapy (500+ estrellas), que suman un total de 84,191 estrellas, con una media de 2,215 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.