#data-collection Repositórios
Descubra 52 repositórios ativos de código aberto no GitHub marcados com #data-collection, acumulando um total de 268,114 estrelas (uma média de 5,156 por projeto). O líder deste tópico é NanmiCoder/MediaCrawler, com 71,528 estrelas.
52 repositórios no total
Nota do Xiaohongshu | Web scraping de comentários, Vídeo do Douyin | Web scraping de comentários, Vídeo do Kuaishou | Web scraping de comentários, Vídeo do Bilibili | Web scraping de comentários, Postagem do Weibo | Web scraping de comentários, Postagem do Baidu Tieba | Web scraping de respostas de comentários do Baidu Tieba | Artigo de perguntas e respostas do Zhihu | Web scraping de comentários
Um crawler/spider web visual sem código: um software de automação de navegador, coleta de dados e web scraping que permite projetar e executar tarefas de rastreamento graficamente, sem escrever código. Alias: ServiceWrapper, um sistema inteligente de encapsulamento de serviços para aplicações web.
Movimentação de dados open-source para pipelines ELT e agentes de IA — de APIs, bancos de dados e arquivos para data warehouses, lagos de dados e aplicações de IA. Tanto self-hosted quanto Cloud.
🚀 API auto-hospedada para coletar dados do Douyin, TikTok e Bilibili e baixar vídeos sem marca-d'água. Compatível com chamadas de agentes de IA via MCP e transcrição de fala offline. Implantação Docker com um clique. | Extrator auto-hospedado para TikTok, Douyin e Bilibili e baixador de vídeos sem marca-d'água — API REST assíncrona, servidor MCP para agentes de IA, CLI e console web, além de transcrição de fala offline para os vídeos baixados. Pool de identidades autorreparável, arquivo PostgreSQL e inicialização com um único `docker compose up`.
Este repositório do GitHub é uma poderosa coleção de APIs que você pode começar a usar imediatamente para construir tudo, desde automações simples até aplicativos em grande escala. Uma das listas de APIs mais valiosas do GitHub — ponto final. 💪
Servidor MCP oficial do Firecrawl, a API de contexto para agentes de IA: pesquise, extraia conteúdo e interaja com a web, além de analisar, rastrear e mapear sites e usar Agent e Monitor em qualquer cliente MCP.
Pipelines de dados para configuração de nuvem e dados de segurança. Crie soluções de inventário de ativos em nuvem, CSPM, FinOps e gerenciamento de vulnerabilidades. Extraia dados da AWS, Azure, GCP e mais de 70 fontes de nuvem e SaaS.
ResearchKit é um framework de software de código aberto que facilita a criação de aplicativos para pesquisa médica ou para outros projetos de pesquisa.
Jitsu é uma alternativa de código aberto ao Segment. Um motor de ingestão de dados totalmente scriptável para equipes de dados modernas. Configure um pipeline de dados em tempo real em minutos, não em dias
Coleta de requisitos e detalhes que não são explicitados no processo de admissão das universidades de todo o país, mas que influenciam substancialmente a qualidade da vida universitária
Amostras de código do livro Web Scraping with Python http://shop.oreilly.com/product/0636920034391.do
Engenharia reversa do TikTok, rastreador do TikTok, todas as APIs do TikTok, mensagens privadas, monitoramento de salas de transmissão ao vivo
Biblioteca Python e CLI para scraping de X/Twitter com rotação de múltiplas contas e tratamento integrado de limites de taxa.
Oferecer recursos de monitoramento para projetos de frontend: rastreamento de eventos, comportamento, desempenho, exceções, requisições, recursos, roteamento, impressões e gravação de tela.
Um servidor poderoso de Protocolo de Contexto de Modelo (MCP) que fornece uma solução completa para acesso público à web.
Real-World Masked Face Dataset, Conjunto de Dados de Rostos Mascarados
Analisador inteligente para o catálogo "Chitai-Gorod". Coleta e estruturação de dados de alta velocidade baseada em quaisquer parâmetros especificados: do ISBN à dinâmica de descontos.
O SDK oficial de rastreamento de eventos do Sensors Data para Android é um SDK leve para coleta de dados de eventos em dispositivos Android, incluindo rastreamento de eventos por código, rastreamento automático de eventos, mapas de cliques e rastreamento automático de eventos visual. O rastreamento automático de eventos é alcançado em conjunto com o plugin oficial de rastreamento de eventos do Sensors Data para Android, que utiliza a tecnologia de instrumentação de bytecode (ASM) para implementar o rastreamento automático de eventos (sem rastreamento, rastreamento sem código, rastreamento sem atrito, rastreamento automático) no lado do Android.
IoT DC3 — Conecte o mundo físico à IA. Um runtime de IoT industrial de código aberto para Physical AI: 36 drivers de protocolos, entrega de dados da borda à nuvem e um gateway de ferramentas MCP para que agentes de IA atuem nos dispositivos em um ciclo seguro, controlável e rastreável.
Proxies residenciais rotativos HTTP(S)/SOCKS5 - exemplos de código e informações gerais.
Habilidade de pesquisa X/Twitter para Claude Code e OpenClaw. Busca agente, seguimento de threads, mergulhos profundos, briefings de fontes.
O Washington Post está compilando um banco de dados de todos os tiroteios fatais nos Estados Unidos por um policial em serviço desde 2015.
Plugin de Análise de Jogadores para plataformas de Servidores Minecraft - Visualize a atividade dos jogadores do seu servidor com facilidade. :calendar:
🌊 Sincronize continuamente os sistemas onde seus dados residem com os sistemas onde você _deseja_ que eles residam, gerenciando seus fluxos de dados com o Estuary. 🌊
O SDK oficial de web JavaScript de rastreamento de dados da Sensors Data é um SDK leve para coleta de dados de rastreamento em ambientes Web e H5. Ele utiliza tecnologia JavaScript nativa para implementar o rastreamento por código, rastreamento total, rastreamento visual total, mapas de calor de página e mapas de toque, entre outras funcionalidades.
Como enviar formulários HTML para o Google Sheets. (Atualizado para o Editor de Script 2026)
Uma lista abrangente de ferramentas que podem ser usadas para encontrar informações relacionadas a um veículo específico.
SOAPHound é uma ferramenta de coleta de dados desenvolvida sob medida em .NET que pode ser usada para enumerar ambientes do Active Directory através do protocolo Active Directory Web Services (ADWS).
Integra as fontes existentes de 'Xiang Se Gui Ge' (Salas de Donzelas Perfumadas) na internet, com o web crawler atualizando as fontes automaticamente toda semana
ODK Collect é um aplicativo Android para preencher formulários. Ele tem sido usado para coletar bilhões de pontos de dados em ambientes desafiadores ao redor do mundo. Contribua e torne o mundo um lugar melhor! ✨📋✨
Proxies residenciais, de datacenter, ISP e móveis com mais de 90 milhões de IPs em mais de 200 países — além de APIs de scraping e SERP. Exemplos de código em Python, Node.js, PHP, Go, Java, C#, Ruby e curl.
A ferramenta de pool de proxies deadpool pode obter proxies socks5 de alta qualidade de plataformas de mapeamento de ciberespaço, como hunter, quake e fofa, ou importar proxies socks5 localmente, utilizando-os em esquema de rodízio para o encaminhamento de tráfego.
Quando o Augur atingiu o seu limite, criámos o Aveloxis: uma recolha fiável de dados de métricas OSS. Recolher 40.000 repositórios em 3 dias é bom, não é?
Weibo-COV: Um Conjunto de Dados de Mídia Social em Larga Escala sobre COVID-19 do Weibo
Um pacote para trabalhar com dados da SEC. Incorpora endpoints do Datamule.
Módulo Node.js para ajudar você a entender como sua ferramenta está sendo usada, relatando anonimamente métricas de uso ao Google Analytics
zdh_web, uma plataforma de coleta e extração de big data, é a plataforma de gerenciamento visual para os serviços da série zdh, incluindo módulos como coleta de dados, agendamento, permissões, fluxo de aprovação e marketing de domínio privado, entre outros.
Perguntas Frequentes
Qual é o repositório de #data-collection mais popular no GitHub?
O projeto de código aberto de #data-collection mais bem classificado no GitHub é NanmiCoder/MediaCrawler, com 71,528 estrelas. Nota do Xiaohongshu | Web scraping de comentários, Vídeo do Douyin | Web scraping de comentários, Vídeo do Kuaishou | Web scraping de comentários, Vídeo do Bilibili | Web scraping de comentários, Postagem do Weibo | Web scraping de comentários, Postagem do Baidu Tieba | Web scraping de respostas de comentários do Baidu Tieba | Artigo de perguntas e respostas do Zhihu | Web scraping de comentários
Quais linguagens de programação são mais usadas nos repositórios de #data-collection?
Entre os projetos de #data-collection mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, JavaScript, Java, Go.
Como é calculada a classificação dos repositórios de #data-collection?
Acompanhamos 52 repositórios ativos de código aberto marcados com #data-collection (com mais de 500 estrelas), totalizando 268,114 estrelas e uma média de 5,156 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.