#data-collection Repositorios
Descubre 52 repositorios activos de código abierto de GitHub etiquetados con #data-collection, que acumulan 268,114 estrellas en total (una media de 5,156 estrellas por proyecto). El líder de este tema es NanmiCoder/MediaCrawler, con 71,528 estrellas.
52 repositorios en total
Nota Xiaohongshu | Crawler de comentarios, Video Douyin | Crawler de comentarios, Video Kuaishou | Crawler de comentarios, Video Bilibili | Crawler de comentarios, Publicación de Weibo | Crawler de comentarios, Publicación de Baidu Tieba | Crawler de respuestas a comentarios de Baidu Tieba | Artículo de Preguntas y Respuestas de Zhihu | Crawler de comentarios
Un crawler/spider web visual sin código: un software de automatización de navegador, recopilación de datos y web scraping visual que permite diseñar y ejecutar tareas de rastreo sin necesidad de código. Alias: ServiceWrapper, un sistema inteligente de encapsulación de servicios para aplicaciones web.
Movimiento de datos de código abierto para pipelines ELT y agentes de IA — de APIs, bases de datos y archivos a almacenes, lagos y aplicaciones de IA. Tanto autoalojado como Cloud.
🚀 API autoalojada para recopilar datos de Douyin, TikTok y Bilibili y descargar vídeos sin marca de agua. Compatible con llamadas de agentes de IA mediante MCP y con transcripción de voz sin conexión. Despliegue de Docker con un solo clic. | Extractor autoalojado de TikTok, Douyin y Bilibili y descargador de vídeos sin marca de agua: API REST asíncrona, servidor MCP para agentes de IA, CLI y consola web, además de transcripción de voz sin conexión para los vídeos descargados. Grupo de identidades con autorrecuperación, archivo PostgreSQL y puesta en marcha con un solo `docker compose up`.
Este repositorio de GitHub es una potente colección de APIs que puedes empezar a usar inmediatamente para construir de todo, desde automatizaciones simples hasta aplicaciones a gran escala. Una de las listas de APIs más valiosas en GitHub, punto. 💪
Servidor MCP oficial de Firecrawl, la API de contexto para agentes de IA: busca, extrae e interactúa con la web, además de analizar, rastrear, mapear y usar Agent y Monitor desde cualquier cliente MCP.
Pipelines de datos para la configuración en la nube y los datos de seguridad. Desarrolle soluciones de inventario de activos en la nube, CSPM, FinOps y gestión de vulnerabilidades. Extracción de datos de AWS, Azure, GCP y más de 70 fuentes cloud y SaaS.
ResearchKit es un framework de software de código abierto que facilita la creación de aplicaciones para investigación médica o para otros proyectos de investigación.
Jitsu es una alternativa de código abierto a Segment. Motor de ingesta de datos totalmente programable para equipos de datos modernos. Configure un pipeline de datos en tiempo real en minutos, no en días
Requisitos y detalles que las universidades de todo el país no especifican en el momento de la admisión, pero que en la práctica afectan la calidad de la vida universitaria
Ejemplos de código del libro Web Scraping with Python http://shop.oreilly.com/product/0636920034391.do
Reingeniería inversa de TikTok, rastreador de TikTok, todas las API de TikTok, mensajes privados, monitoreo de salas de transmisión en vivo
Biblioteca de Python y CLI para el scraping de X/Twitter con rotación de múltiples cuentas y manejo integrado de límites de velocidad.
Proporcionar métodos de monitoreo para proyectos frontend: 【rastreo, comportamiento, rendimiento, excepciones, solicitudes, recursos, rutas, impresiones, grabación de pantalla】
Un potente servidor Model Context Protocol (MCP) que proporciona una solución todo en uno para el acceso a la web pública.
Real-World Masked Face Dataset, conjunto de datos de rostros enmascarados del mundo real
Analizador inteligente para el catálogo «Chitai-Gorod». Recolección y estructuración de datos de alta velocidad basada en cualquier parámetro especificado: desde el ISBN hasta la dinámica de descuentos.
El SDK oficial de seguimiento de Sensors Data para Android es un SDK ligero para la recolección de datos y seguimiento en el lado de Android, que incluye funciones de seguimiento de código, seguimiento completo, mapas de clics y seguimiento completo visual. El seguimiento completo se implementa mediante la integración con el plugin oficial de seguimiento de Sensors Data para Android. El plugin oficial de seguimiento de Sensors Data para Android utiliza tecnología de instrumentación de bytecode (ASM) para implementar el seguimiento completo en el lado de Android (sin seguimiento, seguimiento sin código, seguimiento sin huella, seguimiento automático).
IoT DC3 — Conecta el mundo físico con la IA. Un runtime de IoT industrial de código abierto para la IA física: 36 controladores de protocolos, entrega de datos del borde a la nube y una pasarela de herramientas MCP para que los agentes de IA actúen sobre los dispositivos mediante un ciclo seguro, controlable y trazable.
Proxies residenciales rotativos HTTP(S)/SOCKS5 - ejemplos de código e información general.
Habilidad de investigación de X/Twitter para Claude Code y OpenClaw. Búsqueda agentica, seguimiento de hilos, profundizaciones, briefings con fuentes.
The Washington Post está compilando una base de datos de cada tiroteo fatal en Estados Unidos por un oficial de policía en el cumplimiento del deber desde 2015.
Plugin de Análisis de Jugadores para plataformas de servidores de Minecraft - Visualiza la actividad de los jugadores de tu servidor con facilidad. :calendar:
🌊 Sincronice continuamente los sistemas donde residen sus datos con los sistemas donde _desea_ que residan, gestionando sus flujos de datos con Estuary. 🌊
El SDK oficial de seguimiento Web JavaScript de Shence Data es un SDK ligero de recolección de datos y seguimiento para plataformas Web y H5. Utiliza tecnología JavaScript nativa para implementar funciones como seguimiento basado en código, seguimiento completo, seguimiento completo visual, mapas de calor web y mapas de alcance.
Cómo enviar formularios HTML a Google Sheets. (Actualizado para el Editor de Script 2026)
Una lista completa de herramientas que se pueden utilizar para encontrar información relacionada con un vehículo específico.
SOAPHound es una herramienta de recopilación de datos .NET desarrollada a medida que se puede utilizar para enumerar entornos de Active Directory a través del protocolo Active Directory Web Services (ADWS).
Integra las fuentes existentes de Xiangse Guguan en la web, el rastreador actualiza automáticamente las fuentes de libros semanalmente
ODK Collect es una aplicación para Android para rellenar formularios. Se ha utilizado para recopilar miles de millones de puntos de datos en entornos desafiantes en todo el mundo. ¡Contribuye y haz del mundo un lugar mejor! ✨📋✨
Proxies residenciales, de centros de datos, ISP y móviles con más de 90 millones de IP en más de 200 países, además de API de scraping y SERP. Ejemplos de código en Python, Node.js, PHP, Go, Java, C#, Ruby y curl.
La herramienta de pool de proxies Deadpool puede obtener proxies socks5 de alta calidad de plataformas de mapeo del ciberespacio como Hunter, Quake, Fofa, o importar proxies socks5 localmente, y utilizar los proxies de forma rotativa para el reenvío de tráfico.
Cuando Augur alcanzó su límite, creamos Aveloxis: una recopilación fiable de datos de métricas de OSS. Recopilar 40.000 repositorios en 3 días está bien, ¿verdad?
Weibo-COV: Un conjunto de datos a gran escala de redes sociales sobre COVID-19 de Weibo
Un paquete para trabajar con datos de la SEC. Incorpora endpoints de Datamule.
Módulo de Node.js para ayudarte a entender cómo se está utilizando tu herramienta al reportar métricas de uso de manera anónima a Google Analytics
Recopilación de big data, plataforma de extracción, zdh_web es la plataforma de gestión visual para los servicios de la serie zdh, que incluye módulos como recopilación de datos, programación, permisos, flujo de aprobación, marketing de dominio privado, etc.
Preguntas frecuentes
¿Cuál es el repositorio de #data-collection más popular en GitHub?
El proyecto de código abierto de #data-collection mejor posicionado en GitHub es NanmiCoder/MediaCrawler, con 71,528 estrellas. Nota Xiaohongshu | Crawler de comentarios, Video Douyin | Crawler de comentarios, Video Kuaishou | Crawler de comentarios, Video Bilibili | Crawler de comentarios, Publicación de Weibo | Crawler de comentarios, Publicación de Baidu Tieba | Crawler de respuestas a comentarios de Baidu Tieba | Artículo de Preguntas y Respuestas de Zhihu | Crawler de comentarios
¿Qué lenguajes de programación se utilizan más en los repositorios de #data-collection?
Entre los proyectos de #data-collection mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, JavaScript, Java, Go.
¿Cómo se calcula la clasificación de los repositorios de #data-collection?
Seguimos 52 repositorios activos de código abierto etiquetados con #data-collection (500+ estrellas), que suman un total de 268,114 estrellas, con una media de 5,156 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.