Git Stars Git Stars

#data-collection Repository

Scopri 52 repository GitHub open source attivi contrassegnati con #data-collection, che raccolgono un totale di 268,114 stelle (con una media di 5,156 stelle per progetto). Il progetto leader di questo argomento è NanmiCoder/MediaCrawler, con 71,528 stelle.

52
Totale Repository
268,114
Totale stelle
5,156
Media Stelle/Repo

52 repository in totale

1
NanmiCoder/MediaCrawler

Nota Xiaohongshu | Commenti Crawler, Video Douyin | Commenti Crawler, Video Kuaishou | Commenti Crawler, Video Bilibili | Post Weibo | Commenti Crawler, Post Baidu Tieba | Crawler Risposte Commenti Baidu Tieba | Articolo Domande e Risposte Zhihu | Commenti Crawler

NanmiCoder
⭐ 71,528 Python 👤 NanmiCoder User 🕐 Aggiornato 2026-11-21 📅 Creato 2023-06-09
2
NaiboWang/EasySpider

Un crawler/spider web visuale no-code: un software di automazione del browser, raccolta dati e web scraping che consente di progettare ed eseguire attività di crawling in modo grafico senza scrivere codice. Alias: ServiceWrapper, un sistema intelligente di incapsulamento dei servizi per applicazioni web.

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 Aggiornato 2026-11-16 📅 Creato 2020-07-18
3
airbytehq/airbyte

Movimento di dati open-source per pipeline ELT e agenti AI — da API, database e file a data warehouse, data lake e applicazioni AI. Sia self-hosted che Cloud.

airbytehq
⭐ 22,426 Python 👤 airbytehq Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2020-07-27
4
Evil0ctal/Douyin_TikTok_Download_API

🚀 API self-hosted per raccogliere dati da Douyin, TikTok e Bilibili e scaricare video senza filigrana. Supporta le chiamate degli agenti IA tramite MCP e la trascrizione vocale offline. Distribuzione Docker con un clic. | Scraper self-hosted per TikTok, Douyin e Bilibili e downloader di video senza filigrana: API REST asincrona, server MCP per agenti IA, CLI e console web, oltre alla trascrizione vocale offline dei video scaricati. Pool di identità autoriparante, archivio PostgreSQL e avvio con un solo `docker compose up`.

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 Aggiornato 2026-11-20 📅 Creato 2021-11-07
5
cporter202/API-mega-list

Questa repository GitHub è una potente collezione di API che puoi iniziare a usare immediatamente per costruire qualsiasi cosa, dalle semplici automazioni alle applicazioni su vasta scala. Una delle liste API più preziose su GitHub, punto. 💪

cporter202
⭐ 8,406 JavaScript 👤 cporter202 User 🕐 Aggiornato 2026-11-19 📅 Creato 2025-12-09
6
firecrawl/firecrawl-mcp-server

Server MCP ufficiale di Firecrawl, l’API di contesto per gli agenti IA: cerca, estrai contenuti e interagisci con il web, oltre a eseguire parsing, crawling e mappatura e a usare Agent e Monitor da qualsiasi client MCP.

firecrawl
⭐ 7,871 JavaScript 👤 firecrawl Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2024-12-06
7
snowplow/snowplow

Il leader nell'Infrastruttura dei Dati del Cliente

snowplow
⭐ 7,052 Scala 👤 snowplow Organization 🕐 Aggiornato 2026-10-19 📅 Creato 2012-03-01
8
cloudquery/cloudquery

Pipeline di dati per i dati di configurazione e sicurezza del cloud. Creazione di soluzioni per l'inventario degli asset cloud, CSPM, FinOps e la gestione delle vulnerabilità. Estrazione da AWS, Azure, GCP e oltre 70 fonti cloud e SaaS.

cloudquery
⭐ 6,561 Go 👤 cloudquery Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2020-11-18
9
ResearchKit/ResearchKit

ResearchKit è un framework software open source che semplifica la creazione di app per la ricerca medica o per altri progetti di ricerca.

ResearchKit
⭐ 5,758 Objective-C 👤 ResearchKit Organization 🕐 Aggiornato 2026-09-23 📅 Creato 2015-03-10
10
jitsucom/jitsu

Jitsu è un'alternativa open-source a Segment. Motore di ingestione dati completamente scriptabile per team di dati moderni. Imposta una pipeline dati in tempo reale in pochi minuti, non giorni

jitsucom
⭐ 5,138 TypeScript 👤 jitsucom Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2020-08-04
11
CollegesChat/university-information

Requisiti e dettagli che le università di tutto il paese non indicano al momento dell'ammissione, ma che influiscono concretamente sulla qualità della vita universitaria

CollegesChat
⭐ 5,105 👤 CollegesChat Organization 🕐 Aggiornato 2026-10-18 📅 Creato 2021-06-25
12
REMitchell/python-scraping

Esempi di codice dal libro Web Scraping with Python http://shop.oreilly.com/product/0636920034391.do

REMitchell
⭐ 4,669 Jupyter Notebook 👤 REMitchell User 🕐 Aggiornato 2024-06-01 📅 Creato 2015-06-14
13
php-debugbar/php-debugbar

Barra di debug per PHP

php-debugbar
⭐ 4,380 PHP 👤 php-debugbar Organization 🕐 Aggiornato 2026-10-25 📅 Creato 2013-06-07
14
cv-cat/DouYin_Spider

Ingegneria inversa di TikTok, crawler di TikTok, tutte le API di TikTok, messaggi privati, monitoraggio sale live

cv-cat
⭐ 3,711 Python 👤 cv-cat User 🕐 Aggiornato 2026-10-23 📅 Creato 2023-10-17
15
Gioman101/FlipperAmiibo

Realizzato per essere utilizzato con Flipper, basta trascinare la cartella in NFC

Gioman101
⭐ 3,422 Python 👤 Gioman101 User 🕐 Aggiornato 2024-08-15 📅 Creato 2022-04-22
16
scrapy/scrapyd

Un demone di servizio per eseguire spider di Scrapy

scrapy
⭐ 3,100 Python 👤 scrapy Organization 🕐 Aggiornato 2026-10-23 📅 Creato 2013-02-01
17
vladkens/twscrape

Libreria Python e CLI per lo scraping di X/Twitter con rotazione multi-account e gestione integrata dei limiti di velocità.

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 Aggiornato 2026-11-19 📅 Creato 2023-05-05
18
M-cheng-web/web-tracing

Fornire metodi di monitoraggio per progetti frontend: 【tracciamento, comportamento, prestazioni, eccezioni, richieste, risorse, route, impressioni, registrazione dello schermo】

M-cheng-web
⭐ 2,950 TypeScript 👤 M-cheng-web User 🕐 Aggiornato 2026-09-21 📅 Creato 2021-12-24
19
brightdata/brightdata-mcp

Un potente server Model Context Protocol (MCP) che fornisce una soluzione all-in-one per l'accesso al web pubblico.

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 Aggiornato 2026-11-18 📅 Creato 2025-04-15
20
SPX372928/MyIPTV

Sorgente live mobile con protocollo standard

SPX372928
⭐ 2,704 👤 SPX372928 User 🕐 Aggiornato 2026-02-19 📅 Creato 2020-04-07
22
X-zhangyang/Real-World-Masked-Face-Dataset

Real-World Masked Face Dataset, set di dati di volti con maschera nel mondo reale

X-zhangyang
⭐ 2,030 Python 👤 X-zhangyang User 🕐 Aggiornato 2024-11-20 📅 Creato 2020-02-13
23
KEV0143/Parser-Chitai-Gorod

Parser intelligente per il catalogo "Chitai-Gorod". Raccolta e strutturazione dei dati ad alta velocità basate su qualsiasi parametro specificato: dall'ISBN alle dinamiche di sconto.

KEV0143
⭐ 1,979 Python 👤 KEV0143 User 🕐 Aggiornato 2026-09-17 📅 Creato 2025-05-18
24
pyper-dev/pyper

Python concorrente reso semplice

pyper-dev
⭐ 1,521 Python 👤 pyper-dev User 🕐 Aggiornato 2025-02-04 📅 Creato 2024-05-22
25
sensorsdata/sa-sdk-android

L'SDK ufficiale di tracking Sensors Data per Android è un SDK leggero per la raccolta e il tracking dei dati sul lato Android, che include funzioni di tracking del codice, tracking completo, mappe di clic e tracking completo visuale. Il tracking completo viene implementato attraverso l'integrazione con il plugin ufficiale di tracking Sensors Data per Android. Il plugin ufficiale di tracking Sensors Data per Android utilizza la tecnologia di instrumentazione del bytecode (ASM) per implementare il tracking completo sul lato Android (senza tracking, tracking no-code, tracking senza tracce, tracking automatico).

sensorsdata
⭐ 1,374 Java 👤 sensorsdata Organization 🕐 Aggiornato 2026-11-04 📅 Creato 2015-11-06
26
pnoker/iot-dc3

IoT DC3 — Collega il mondo fisico all’IA. Un runtime open source per l’IoT industriale e la Physical AI: 36 driver di protocollo, distribuzione dei dati dall’edge al cloud e un gateway di strumenti MCP, affinché gli agenti IA possano agire sui dispositivi in un ciclo sicuro, controllabile e tracciabile.

pnoker
⭐ 1,274 Java 👤 pnoker User 🕐 Aggiornato 2026-11-11 📅 Creato 2018-08-28
27
Decodo/Decodo

Proxy residenziali rotanti HTTP(S)/SOCKS5 - esempi di codice e informazioni generali.

Decodo
⭐ 1,264 Java 👤 Decodo Organization 🕐 Aggiornato 2026-11-11 📅 Creato 2019-01-07
28
rohunvora/x-research-skill

Abilità di ricerca X/Twitter per Claude Code e OpenClaw. Ricerca autonoma, tracciamento dei thread, analisi approfondite, briefing di fonti.

rohunvora
⭐ 1,248 TypeScript 👤 rohunvora User 🕐 Aggiornato 2026-02-19 📅 Creato 2026-02-08
29
washingtonpost/data-police-shootings

The Washington Post sta compilando un database di ogni sparatoria fatale negli Stati Uniti da parte di un poliziotto nell'adempimento del dovere dal 2015.

washingtonpost
⭐ 1,147 👤 washingtonpost Organization 🕐 Aggiornato 2026-10-14 📅 Creato 2015-06-30
31
plan-player-analytics/Plan

Plugin Player Analytics per piattaforme server Minecraft - Visualizza l'attività dei giocatori del tuo server con facilità. :calendar:

plan-player-analytics
⭐ 1,041 Java 👤 plan-player-analytics Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2016-12-08
32
estuary/flow

🌊 Sincronizza continuamente i sistemi in cui risiedono i tuoi dati con i sistemi in cui _vuoi_ che risiedano, gestendo i tuoi flussi di dati con Estuary. 🌊

estuary
⭐ 995 Rust 👤 estuary Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2020-02-13
33
sensorsdata/sa-sdk-javascript

L'SDK ufficiale di tracking Web JavaScript di Shence Data è un SDK leggero per la raccolta dati e il tracking per Web e H5. Utilizza tecnologia JavaScript nativa per implementare funzioni come tracking basato su codice, tracking completo, tracking completo visualizzato, mappe di calore web e mappe di reach.

sensorsdata
⭐ 956 JavaScript 👤 sensorsdata Organization 🕐 Aggiornato 2026-11-12 📅 Creato 2015-11-06
34
levinunnink/html-form-to-google-sheet

Come inviare moduli HTML a Google Sheets. (Aggiornato per l'Editor Script 2026)

levinunnink
⭐ 948 JavaScript 👤 levinunnink User 🕐 Aggiornato 2026-01-14 📅 Creato 2021-09-20
35
TheBurnsy/Vehicle-OSINT-Collection

Un elenco completo di strumenti che possono essere utilizzati per trovare informazioni relative a un veicolo specifico.

TheBurnsy
⭐ 912 👤 TheBurnsy User 🕐 Aggiornato 2024-11-20 📅 Creato 2022-11-16
36
Cl0udG0d/Fofa-hack

Membro non pagante, strumento di raccolta dati FOFA

Cl0udG0d
⭐ 882 Python 👤 Cl0udG0d User 🕐 Aggiornato 2025-10-28 📅 Creato 2022-09-15
37
FalconForceTeam/SOAPHound

SOAPHound è uno strumento di raccolta dati .NET sviluppato su misura che può essere utilizzato per enumerare gli ambienti Active Directory tramite il protocollo Active Directory Web Services (ADWS).

FalconForceTeam
⭐ 840 C# 👤 FalconForceTeam Organization 🕐 Aggiornato 2024-02-03 📅 Creato 2024-01-25
38
zqzess/MyWebStorage

Integra le fonti esistenti di Xiangse Guguan sul web, il crawler aggiorna automaticamente le fonti dei libri settimanalmente

zqzess
⭐ 813 HTML 👤 zqzess User 🕐 Aggiornato 2026-11-16 📅 Creato 2021-05-18
39
getodk/collect

ODK Collect è un'app Android per compilare moduli. È stata utilizzata per raccogliere miliardi di punti dati in ambienti difficili in tutto il mondo. Contribuisci e rendi il mondo un posto migliore! ✨📋✨

getodk
⭐ 807 Kotlin 👤 getodk Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2015-08-04
40
quantumproxies/quantumproxies.io

Proxy residenziali, per datacenter, ISP e mobili con oltre 90 milioni di IP in più di 200 paesi, oltre ad API per scraping e SERP. Esempi di codice in Python, Node.js, PHP, Go, Java, C#, Ruby e curl.

quantumproxies
⭐ 780 Java 👤 quantumproxies User 🕐 Aggiornato 2026-09-06 📅 Creato 2025-11-17
41
LAION-AI/audio-dataset

Dataset audio per l'addestramento di CLAP e altri modelli

LAION-AI
⭐ 750 Python 👤 LAION-AI Organization 🕐 Aggiornato 2026-01-08 📅 Creato 2022-03-07
42
thinkoaa/Deadpool

Lo strumento pool di proxy Deadpool può recuperare proxy socks5 di alta qualità da piattaforme di mappatura di spazi di rete come Hunter, Quake e Fofa, o importare proxy socks5 localmente, e utilizzare i proxy in modo ciclico per l'inoltro del traffico.

thinkoaa
⭐ 741 Go 👤 thinkoaa User 🕐 Aggiornato 2026-05-06 📅 Creato 2024-08-26
43
augurlabs/augur

Quando Augur ha raggiunto il suo limite, abbiamo creato Aveloxis: una raccolta affidabile di dati sulle metriche OSS. Raccogliere 40.000 repository in 3 giorni è un buon risultato, giusto?

augurlabs
⭐ 695 Go 👤 augurlabs Organization 🕐 Aggiornato 2026-08-04 📅 Creato 2017-01-05
44
bangumi-data/bangumi-data

Dati grezzi per Anime giapponese

bangumi-data
⭐ 665 JavaScript 👤 bangumi-data Organization 🕐 Aggiornato 2026-11-17 📅 Creato 2016-09-04
45
ohyicong/Google-Image-Scraper

Una libreria per raschiare immagini da Google

ohyicong
⭐ 636 Python 👤 ohyicong User 🕐 Aggiornato 2025-02-16 📅 Creato 2020-07-18
46
nghuyong/weibo-cov

Weibo-COV: Un set di dati su larga scala di social media relativi al COVID-19 da Weibo

nghuyong
⭐ 626 👤 nghuyong User 🕐 Aggiornato 2025-08-23 📅 Creato 2020-02-20
47
Robotics-Ark
⭐ 625 Python 👤 Robotics-Ark Organization 🕐 Aggiornato 2026-06-20 📅 Creato 2025-06-25
48
john-friedman/datamule-python

Un pacchetto per lavorare con i dati SEC. Include endpoint Datamule.

john-friedman
⭐ 560 Python 👤 john-friedman User 🕐 Aggiornato 2026-08-14 📅 Creato 2024-09-06
49
sindresorhus/insight

Modulo Node.js per aiutarti a comprendere come viene utilizzato il tuo strumento riportando metriche di utilizzo in modo anonimo a Google Analytics

sindresorhus
⭐ 553 JavaScript 👤 sindresorhus User 🕐 Aggiornato 2026-09-18 📅 Creato 2012-12-12
50
zhaoyachao/zdh_web

Raccolta big data, piattaforma di estrazione, zdh_web è la piattaforma di gestione visuale per i servizi della serie zdh, che include moduli come raccolta dati, pianificazione, autorizzazioni, flusso di approvazione, marketing del dominio privato, ecc.

zhaoyachao
⭐ 536 HTML 👤 zhaoyachao User 🕐 Aggiornato 2026-06-07 📅 Creato 2020-02-03

Domande frequenti

1

Qual è il repository #data-collection più popolare su GitHub?

Il progetto open source #data-collection più alto in classifica su GitHub è NanmiCoder/MediaCrawler, con 71,528 stelle. Nota Xiaohongshu | Commenti Crawler, Video Douyin | Commenti Crawler, Video Kuaishou | Commenti Crawler, Video Bilibili | Post Weibo | Commenti Crawler, Post Baidu Tieba | Crawler Risposte Commenti Baidu Tieba | Articolo Domande e Risposte Zhihu | Commenti Crawler

2

Quali linguaggi di programmazione sono più utilizzati nei repository #data-collection?

Tra i progetti #data-collection più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, JavaScript, Java, Go.

3

Come viene calcolata la classifica dei repository #data-collection?

Monitoriamo 52 repository open source attivi contrassegnati con #data-collection (500+ stelle), per un totale di 268,114 stelle e una media di 5,156 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.