Git Stars Git Stars

#data-collection Repositórios

Descubra 52 repositórios ativos de código aberto no GitHub marcados com #data-collection, acumulando um total de 268,114 estrelas (uma média de 5,156 por projeto). O líder deste tópico é NanmiCoder/MediaCrawler, com 71,528 estrelas.

52
Total de Repositórios
268,114
Total de estrelas
5,156
Média de Estrelas/Repositório

52 repositórios no total

1
NanmiCoder/MediaCrawler

Nota do Xiaohongshu | Web scraping de comentários, Vídeo do Douyin | Web scraping de comentários, Vídeo do Kuaishou | Web scraping de comentários, Vídeo do Bilibili | Web scraping de comentários, Postagem do Weibo | Web scraping de comentários, Postagem do Baidu Tieba | Web scraping de respostas de comentários do Baidu Tieba | Artigo de perguntas e respostas do Zhihu | Web scraping de comentários

NanmiCoder
⭐ 71,528 Python 👤 NanmiCoder User 🕐 Atualizado 2026-11-21 📅 Criado 2023-06-09
2
NaiboWang/EasySpider

Um crawler/spider web visual sem código: um software de automação de navegador, coleta de dados e web scraping que permite projetar e executar tarefas de rastreamento graficamente, sem escrever código. Alias: ServiceWrapper, um sistema inteligente de encapsulamento de serviços para aplicações web.

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 Atualizado 2026-11-16 📅 Criado 2020-07-18
3
airbytehq/airbyte

Movimentação de dados open-source para pipelines ELT e agentes de IA — de APIs, bancos de dados e arquivos para data warehouses, lagos de dados e aplicações de IA. Tanto self-hosted quanto Cloud.

airbytehq
⭐ 22,426 Python 👤 airbytehq Organization 🕐 Atualizado 2026-11-21 📅 Criado 2020-07-27
4
Evil0ctal/Douyin_TikTok_Download_API

🚀 API auto-hospedada para coletar dados do Douyin, TikTok e Bilibili e baixar vídeos sem marca-d'água. Compatível com chamadas de agentes de IA via MCP e transcrição de fala offline. Implantação Docker com um clique. | Extrator auto-hospedado para TikTok, Douyin e Bilibili e baixador de vídeos sem marca-d'água — API REST assíncrona, servidor MCP para agentes de IA, CLI e console web, além de transcrição de fala offline para os vídeos baixados. Pool de identidades autorreparável, arquivo PostgreSQL e inicialização com um único `docker compose up`.

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 Atualizado 2026-11-20 📅 Criado 2021-11-07
5
cporter202/API-mega-list

Este repositório do GitHub é uma poderosa coleção de APIs que você pode começar a usar imediatamente para construir tudo, desde automações simples até aplicativos em grande escala. Uma das listas de APIs mais valiosas do GitHub — ponto final. 💪

cporter202
⭐ 8,406 JavaScript 👤 cporter202 User 🕐 Atualizado 2026-11-19 📅 Criado 2025-12-09
6
firecrawl/firecrawl-mcp-server

Servidor MCP oficial do Firecrawl, a API de contexto para agentes de IA: pesquise, extraia conteúdo e interaja com a web, além de analisar, rastrear e mapear sites e usar Agent e Monitor em qualquer cliente MCP.

firecrawl
⭐ 7,871 JavaScript 👤 firecrawl Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-12-06
7
snowplow/snowplow

O líder em Infraestrutura de Dados do Cliente

snowplow
⭐ 7,052 Scala 👤 snowplow Organization 🕐 Atualizado 2026-10-19 📅 Criado 2012-03-01
8
cloudquery/cloudquery

Pipelines de dados para configuração de nuvem e dados de segurança. Crie soluções de inventário de ativos em nuvem, CSPM, FinOps e gerenciamento de vulnerabilidades. Extraia dados da AWS, Azure, GCP e mais de 70 fontes de nuvem e SaaS.

cloudquery
⭐ 6,561 Go 👤 cloudquery Organization 🕐 Atualizado 2026-11-21 📅 Criado 2020-11-18
9
ResearchKit/ResearchKit

ResearchKit é um framework de software de código aberto que facilita a criação de aplicativos para pesquisa médica ou para outros projetos de pesquisa.

ResearchKit
⭐ 5,758 Objective-C 👤 ResearchKit Organization 🕐 Atualizado 2026-09-23 📅 Criado 2015-03-10
10
jitsucom/jitsu

Jitsu é uma alternativa de código aberto ao Segment. Um motor de ingestão de dados totalmente scriptável para equipes de dados modernas. Configure um pipeline de dados em tempo real em minutos, não em dias

jitsucom
⭐ 5,138 TypeScript 👤 jitsucom Organization 🕐 Atualizado 2026-11-20 📅 Criado 2020-08-04
11
CollegesChat/university-information

Coleta de requisitos e detalhes que não são explicitados no processo de admissão das universidades de todo o país, mas que influenciam substancialmente a qualidade da vida universitária

CollegesChat
⭐ 5,105 👤 CollegesChat Organization 🕐 Atualizado 2026-10-18 📅 Criado 2021-06-25
12
REMitchell/python-scraping

Amostras de código do livro Web Scraping with Python http://shop.oreilly.com/product/0636920034391.do

REMitchell
⭐ 4,669 Jupyter Notebook 👤 REMitchell User 🕐 Atualizado 2024-06-01 📅 Criado 2015-06-14
13
php-debugbar/php-debugbar

Barra de depuração para PHP

php-debugbar
⭐ 4,380 PHP 👤 php-debugbar Organization 🕐 Atualizado 2026-10-25 📅 Criado 2013-06-07
14
cv-cat/DouYin_Spider

Engenharia reversa do TikTok, rastreador do TikTok, todas as APIs do TikTok, mensagens privadas, monitoramento de salas de transmissão ao vivo

cv-cat
⭐ 3,711 Python 👤 cv-cat User 🕐 Atualizado 2026-10-23 📅 Criado 2023-10-17
15
Gioman101/FlipperAmiibo

Feito para ser usado com o Flipper, basta arrastar a pasta para NFC

Gioman101
⭐ 3,422 Python 👤 Gioman101 User 🕐 Atualizado 2024-08-15 📅 Criado 2022-04-22
16
scrapy/scrapyd

Um daemon de serviço para executar spiders do Scrapy

scrapy
⭐ 3,100 Python 👤 scrapy Organization 🕐 Atualizado 2026-10-23 📅 Criado 2013-02-01
17
vladkens/twscrape

Biblioteca Python e CLI para scraping de X/Twitter com rotação de múltiplas contas e tratamento integrado de limites de taxa.

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 Atualizado 2026-11-19 📅 Criado 2023-05-05
18
M-cheng-web/web-tracing

Oferecer recursos de monitoramento para projetos de frontend: rastreamento de eventos, comportamento, desempenho, exceções, requisições, recursos, roteamento, impressões e gravação de tela.

M-cheng-web
⭐ 2,950 TypeScript 👤 M-cheng-web User 🕐 Atualizado 2026-09-21 📅 Criado 2021-12-24
19
brightdata/brightdata-mcp

Um servidor poderoso de Protocolo de Contexto de Modelo (MCP) que fornece uma solução completa para acesso público à web.

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 Atualizado 2026-11-18 📅 Criado 2025-04-15
20
SPX372928/MyIPTV

Fonte de transmissão ao vivo móvel por protocolo padrão

SPX372928
⭐ 2,704 👤 SPX372928 User 🕐 Atualizado 2026-02-19 📅 Criado 2020-04-07
22
X-zhangyang/Real-World-Masked-Face-Dataset

Real-World Masked Face Dataset, Conjunto de Dados de Rostos Mascarados

X-zhangyang
⭐ 2,030 Python 👤 X-zhangyang User 🕐 Atualizado 2024-11-20 📅 Criado 2020-02-13
23
KEV0143/Parser-Chitai-Gorod

Analisador inteligente para o catálogo "Chitai-Gorod". Coleta e estruturação de dados de alta velocidade baseada em quaisquer parâmetros especificados: do ISBN à dinâmica de descontos.

KEV0143
⭐ 1,979 Python 👤 KEV0143 User 🕐 Atualizado 2026-09-17 📅 Criado 2025-05-18
24
pyper-dev/pyper

Python Concorrente Simplificado

pyper-dev
⭐ 1,521 Python 👤 pyper-dev User 🕐 Atualizado 2025-02-04 📅 Criado 2024-05-22
25
sensorsdata/sa-sdk-android

O SDK oficial de rastreamento de eventos do Sensors Data para Android é um SDK leve para coleta de dados de eventos em dispositivos Android, incluindo rastreamento de eventos por código, rastreamento automático de eventos, mapas de cliques e rastreamento automático de eventos visual. O rastreamento automático de eventos é alcançado em conjunto com o plugin oficial de rastreamento de eventos do Sensors Data para Android, que utiliza a tecnologia de instrumentação de bytecode (ASM) para implementar o rastreamento automático de eventos (sem rastreamento, rastreamento sem código, rastreamento sem atrito, rastreamento automático) no lado do Android.

sensorsdata
⭐ 1,374 Java 👤 sensorsdata Organization 🕐 Atualizado 2026-11-04 📅 Criado 2015-11-06
26
pnoker/iot-dc3

IoT DC3 — Conecte o mundo físico à IA. Um runtime de IoT industrial de código aberto para Physical AI: 36 drivers de protocolos, entrega de dados da borda à nuvem e um gateway de ferramentas MCP para que agentes de IA atuem nos dispositivos em um ciclo seguro, controlável e rastreável.

pnoker
⭐ 1,274 Java 👤 pnoker User 🕐 Atualizado 2026-11-11 📅 Criado 2018-08-28
27
Decodo/Decodo

Proxies residenciais rotativos HTTP(S)/SOCKS5 - exemplos de código e informações gerais.

Decodo
⭐ 1,264 Java 👤 Decodo Organization 🕐 Atualizado 2026-11-11 📅 Criado 2019-01-07
28
rohunvora/x-research-skill

Habilidade de pesquisa X/Twitter para Claude Code e OpenClaw. Busca agente, seguimento de threads, mergulhos profundos, briefings de fontes.

rohunvora
⭐ 1,248 TypeScript 👤 rohunvora User 🕐 Atualizado 2026-02-19 📅 Criado 2026-02-08
29
washingtonpost/data-police-shootings

O Washington Post está compilando um banco de dados de todos os tiroteios fatais nos Estados Unidos por um policial em serviço desde 2015.

washingtonpost
⭐ 1,147 👤 washingtonpost Organization 🕐 Atualizado 2026-10-14 📅 Criado 2015-06-30
31
plan-player-analytics/Plan

Plugin de Análise de Jogadores para plataformas de Servidores Minecraft - Visualize a atividade dos jogadores do seu servidor com facilidade. :calendar:

plan-player-analytics
⭐ 1,041 Java 👤 plan-player-analytics Organization 🕐 Atualizado 2026-11-21 📅 Criado 2016-12-08
32
estuary/flow

🌊 Sincronize continuamente os sistemas onde seus dados residem com os sistemas onde você _deseja_ que eles residam, gerenciando seus fluxos de dados com o Estuary. 🌊

estuary
⭐ 995 Rust 👤 estuary Organization 🕐 Atualizado 2026-11-21 📅 Criado 2020-02-13
33
sensorsdata/sa-sdk-javascript

O SDK oficial de web JavaScript de rastreamento de dados da Sensors Data é um SDK leve para coleta de dados de rastreamento em ambientes Web e H5. Ele utiliza tecnologia JavaScript nativa para implementar o rastreamento por código, rastreamento total, rastreamento visual total, mapas de calor de página e mapas de toque, entre outras funcionalidades.

sensorsdata
⭐ 956 JavaScript 👤 sensorsdata Organization 🕐 Atualizado 2026-11-12 📅 Criado 2015-11-06
34
levinunnink/html-form-to-google-sheet

Como enviar formulários HTML para o Google Sheets. (Atualizado para o Editor de Script 2026)

levinunnink
⭐ 948 JavaScript 👤 levinunnink User 🕐 Atualizado 2026-01-14 📅 Criado 2021-09-20
35
TheBurnsy/Vehicle-OSINT-Collection

Uma lista abrangente de ferramentas que podem ser usadas para encontrar informações relacionadas a um veículo específico.

TheBurnsy
⭐ 912 👤 TheBurnsy User 🕐 Atualizado 2024-11-20 📅 Criado 2022-11-16
36
Cl0udG0d/Fofa-hack

Membro não pago, ferramenta de coleta de dados fofa

Cl0udG0d
⭐ 882 Python 👤 Cl0udG0d User 🕐 Atualizado 2025-10-28 📅 Criado 2022-09-15
37
FalconForceTeam/SOAPHound

SOAPHound é uma ferramenta de coleta de dados desenvolvida sob medida em .NET que pode ser usada para enumerar ambientes do Active Directory através do protocolo Active Directory Web Services (ADWS).

FalconForceTeam
⭐ 840 C# 👤 FalconForceTeam Organization 🕐 Atualizado 2024-02-03 📅 Criado 2024-01-25
38
zqzess/MyWebStorage

Integra as fontes existentes de 'Xiang Se Gui Ge' (Salas de Donzelas Perfumadas) na internet, com o web crawler atualizando as fontes automaticamente toda semana

zqzess
⭐ 813 HTML 👤 zqzess User 🕐 Atualizado 2026-11-16 📅 Criado 2021-05-18
39
getodk/collect

ODK Collect é um aplicativo Android para preencher formulários. Ele tem sido usado para coletar bilhões de pontos de dados em ambientes desafiadores ao redor do mundo. Contribua e torne o mundo um lugar melhor! ✨📋✨

getodk
⭐ 807 Kotlin 👤 getodk Organization 🕐 Atualizado 2026-11-20 📅 Criado 2015-08-04
40
quantumproxies/quantumproxies.io

Proxies residenciais, de datacenter, ISP e móveis com mais de 90 milhões de IPs em mais de 200 países — além de APIs de scraping e SERP. Exemplos de código em Python, Node.js, PHP, Go, Java, C#, Ruby e curl.

quantumproxies
⭐ 780 Java 👤 quantumproxies User 🕐 Atualizado 2026-09-06 📅 Criado 2025-11-17
41
LAION-AI/audio-dataset

Conjunto de Dados de Áudio para treinar CLAP e outros modelos

LAION-AI
⭐ 750 Python 👤 LAION-AI Organization 🕐 Atualizado 2026-01-08 📅 Criado 2022-03-07
42
thinkoaa/Deadpool

A ferramenta de pool de proxies deadpool pode obter proxies socks5 de alta qualidade de plataformas de mapeamento de ciberespaço, como hunter, quake e fofa, ou importar proxies socks5 localmente, utilizando-os em esquema de rodízio para o encaminhamento de tráfego.

thinkoaa
⭐ 741 Go 👤 thinkoaa User 🕐 Atualizado 2026-05-06 📅 Criado 2024-08-26
43
augurlabs/augur

Quando o Augur atingiu o seu limite, criámos o Aveloxis: uma recolha fiável de dados de métricas OSS. Recolher 40.000 repositórios em 3 dias é bom, não é?

augurlabs
⭐ 695 Go 👤 augurlabs Organization 🕐 Atualizado 2026-08-04 📅 Criado 2017-01-05
44
bangumi-data/bangumi-data

Dados brutos de anime japonês

bangumi-data
⭐ 665 JavaScript 👤 bangumi-data Organization 🕐 Atualizado 2026-11-17 📅 Criado 2016-09-04
45
ohyicong/Google-Image-Scraper

Uma biblioteca para fazer raspagem de imagens do Google

ohyicong
⭐ 636 Python 👤 ohyicong User 🕐 Atualizado 2025-02-16 📅 Criado 2020-07-18
46
nghuyong/weibo-cov

Weibo-COV: Um Conjunto de Dados de Mídia Social em Larga Escala sobre COVID-19 do Weibo

nghuyong
⭐ 626 👤 nghuyong User 🕐 Atualizado 2025-08-23 📅 Criado 2020-02-20
⭐ 625 Python 👤 Robotics-Ark Organization 🕐 Atualizado 2026-06-20 📅 Criado 2025-06-25
48
john-friedman/datamule-python

Um pacote para trabalhar com dados da SEC. Incorpora endpoints do Datamule.

john-friedman
⭐ 560 Python 👤 john-friedman User 🕐 Atualizado 2026-08-14 📅 Criado 2024-09-06
49
sindresorhus/insight

Módulo Node.js para ajudar você a entender como sua ferramenta está sendo usada, relatando anonimamente métricas de uso ao Google Analytics

sindresorhus
⭐ 553 JavaScript 👤 sindresorhus User 🕐 Atualizado 2026-09-18 📅 Criado 2012-12-12
50
zhaoyachao/zdh_web

zdh_web, uma plataforma de coleta e extração de big data, é a plataforma de gerenciamento visual para os serviços da série zdh, incluindo módulos como coleta de dados, agendamento, permissões, fluxo de aprovação e marketing de domínio privado, entre outros.

zhaoyachao
⭐ 536 HTML 👤 zhaoyachao User 🕐 Atualizado 2026-06-07 📅 Criado 2020-02-03

Perguntas Frequentes

1

Qual é o repositório de #data-collection mais popular no GitHub?

O projeto de código aberto de #data-collection mais bem classificado no GitHub é NanmiCoder/MediaCrawler, com 71,528 estrelas. Nota do Xiaohongshu | Web scraping de comentários, Vídeo do Douyin | Web scraping de comentários, Vídeo do Kuaishou | Web scraping de comentários, Vídeo do Bilibili | Web scraping de comentários, Postagem do Weibo | Web scraping de comentários, Postagem do Baidu Tieba | Web scraping de respostas de comentários do Baidu Tieba | Artigo de perguntas e respostas do Zhihu | Web scraping de comentários

2

Quais linguagens de programação são mais usadas nos repositórios de #data-collection?

Entre os projetos de #data-collection mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, JavaScript, Java, Go.

3

Como é calculada a classificação dos repositórios de #data-collection?

Acompanhamos 52 repositórios ativos de código aberto marcados com #data-collection (com mais de 500 estrelas), totalizando 268,114 estrelas e uma média de 5,156 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.