#data-collection Repository
Scopri 52 repository GitHub open source attivi contrassegnati con #data-collection, che raccolgono un totale di 268,114 stelle (con una media di 5,156 stelle per progetto). Il progetto leader di questo argomento è NanmiCoder/MediaCrawler, con 71,528 stelle.
52 repository in totale
Nota Xiaohongshu | Commenti Crawler, Video Douyin | Commenti Crawler, Video Kuaishou | Commenti Crawler, Video Bilibili | Post Weibo | Commenti Crawler, Post Baidu Tieba | Crawler Risposte Commenti Baidu Tieba | Articolo Domande e Risposte Zhihu | Commenti Crawler
Un crawler/spider web visuale no-code: un software di automazione del browser, raccolta dati e web scraping che consente di progettare ed eseguire attività di crawling in modo grafico senza scrivere codice. Alias: ServiceWrapper, un sistema intelligente di incapsulamento dei servizi per applicazioni web.
Movimento di dati open-source per pipeline ELT e agenti AI — da API, database e file a data warehouse, data lake e applicazioni AI. Sia self-hosted che Cloud.
🚀 API self-hosted per raccogliere dati da Douyin, TikTok e Bilibili e scaricare video senza filigrana. Supporta le chiamate degli agenti IA tramite MCP e la trascrizione vocale offline. Distribuzione Docker con un clic. | Scraper self-hosted per TikTok, Douyin e Bilibili e downloader di video senza filigrana: API REST asincrona, server MCP per agenti IA, CLI e console web, oltre alla trascrizione vocale offline dei video scaricati. Pool di identità autoriparante, archivio PostgreSQL e avvio con un solo `docker compose up`.
Questa repository GitHub è una potente collezione di API che puoi iniziare a usare immediatamente per costruire qualsiasi cosa, dalle semplici automazioni alle applicazioni su vasta scala. Una delle liste API più preziose su GitHub, punto. 💪
Server MCP ufficiale di Firecrawl, l’API di contesto per gli agenti IA: cerca, estrai contenuti e interagisci con il web, oltre a eseguire parsing, crawling e mappatura e a usare Agent e Monitor da qualsiasi client MCP.
Pipeline di dati per i dati di configurazione e sicurezza del cloud. Creazione di soluzioni per l'inventario degli asset cloud, CSPM, FinOps e la gestione delle vulnerabilità. Estrazione da AWS, Azure, GCP e oltre 70 fonti cloud e SaaS.
ResearchKit è un framework software open source che semplifica la creazione di app per la ricerca medica o per altri progetti di ricerca.
Jitsu è un'alternativa open-source a Segment. Motore di ingestione dati completamente scriptabile per team di dati moderni. Imposta una pipeline dati in tempo reale in pochi minuti, non giorni
Requisiti e dettagli che le università di tutto il paese non indicano al momento dell'ammissione, ma che influiscono concretamente sulla qualità della vita universitaria
Esempi di codice dal libro Web Scraping with Python http://shop.oreilly.com/product/0636920034391.do
Ingegneria inversa di TikTok, crawler di TikTok, tutte le API di TikTok, messaggi privati, monitoraggio sale live
Realizzato per essere utilizzato con Flipper, basta trascinare la cartella in NFC
Libreria Python e CLI per lo scraping di X/Twitter con rotazione multi-account e gestione integrata dei limiti di velocità.
Fornire metodi di monitoraggio per progetti frontend: 【tracciamento, comportamento, prestazioni, eccezioni, richieste, risorse, route, impressioni, registrazione dello schermo】
Un potente server Model Context Protocol (MCP) che fornisce una soluzione all-in-one per l'accesso al web pubblico.
Real-World Masked Face Dataset, set di dati di volti con maschera nel mondo reale
Parser intelligente per il catalogo "Chitai-Gorod". Raccolta e strutturazione dei dati ad alta velocità basate su qualsiasi parametro specificato: dall'ISBN alle dinamiche di sconto.
L'SDK ufficiale di tracking Sensors Data per Android è un SDK leggero per la raccolta e il tracking dei dati sul lato Android, che include funzioni di tracking del codice, tracking completo, mappe di clic e tracking completo visuale. Il tracking completo viene implementato attraverso l'integrazione con il plugin ufficiale di tracking Sensors Data per Android. Il plugin ufficiale di tracking Sensors Data per Android utilizza la tecnologia di instrumentazione del bytecode (ASM) per implementare il tracking completo sul lato Android (senza tracking, tracking no-code, tracking senza tracce, tracking automatico).
IoT DC3 — Collega il mondo fisico all’IA. Un runtime open source per l’IoT industriale e la Physical AI: 36 driver di protocollo, distribuzione dei dati dall’edge al cloud e un gateway di strumenti MCP, affinché gli agenti IA possano agire sui dispositivi in un ciclo sicuro, controllabile e tracciabile.
Proxy residenziali rotanti HTTP(S)/SOCKS5 - esempi di codice e informazioni generali.
Abilità di ricerca X/Twitter per Claude Code e OpenClaw. Ricerca autonoma, tracciamento dei thread, analisi approfondite, briefing di fonti.
The Washington Post sta compilando un database di ogni sparatoria fatale negli Stati Uniti da parte di un poliziotto nell'adempimento del dovere dal 2015.
Plugin Player Analytics per piattaforme server Minecraft - Visualizza l'attività dei giocatori del tuo server con facilità. :calendar:
🌊 Sincronizza continuamente i sistemi in cui risiedono i tuoi dati con i sistemi in cui _vuoi_ che risiedano, gestendo i tuoi flussi di dati con Estuary. 🌊
L'SDK ufficiale di tracking Web JavaScript di Shence Data è un SDK leggero per la raccolta dati e il tracking per Web e H5. Utilizza tecnologia JavaScript nativa per implementare funzioni come tracking basato su codice, tracking completo, tracking completo visualizzato, mappe di calore web e mappe di reach.
Come inviare moduli HTML a Google Sheets. (Aggiornato per l'Editor Script 2026)
Un elenco completo di strumenti che possono essere utilizzati per trovare informazioni relative a un veicolo specifico.
SOAPHound è uno strumento di raccolta dati .NET sviluppato su misura che può essere utilizzato per enumerare gli ambienti Active Directory tramite il protocollo Active Directory Web Services (ADWS).
Integra le fonti esistenti di Xiangse Guguan sul web, il crawler aggiorna automaticamente le fonti dei libri settimanalmente
ODK Collect è un'app Android per compilare moduli. È stata utilizzata per raccogliere miliardi di punti dati in ambienti difficili in tutto il mondo. Contribuisci e rendi il mondo un posto migliore! ✨📋✨
Proxy residenziali, per datacenter, ISP e mobili con oltre 90 milioni di IP in più di 200 paesi, oltre ad API per scraping e SERP. Esempi di codice in Python, Node.js, PHP, Go, Java, C#, Ruby e curl.
Lo strumento pool di proxy Deadpool può recuperare proxy socks5 di alta qualità da piattaforme di mappatura di spazi di rete come Hunter, Quake e Fofa, o importare proxy socks5 localmente, e utilizzare i proxy in modo ciclico per l'inoltro del traffico.
Quando Augur ha raggiunto il suo limite, abbiamo creato Aveloxis: una raccolta affidabile di dati sulle metriche OSS. Raccogliere 40.000 repository in 3 giorni è un buon risultato, giusto?
Weibo-COV: Un set di dati su larga scala di social media relativi al COVID-19 da Weibo
Un pacchetto per lavorare con i dati SEC. Include endpoint Datamule.
Modulo Node.js per aiutarti a comprendere come viene utilizzato il tuo strumento riportando metriche di utilizzo in modo anonimo a Google Analytics
Raccolta big data, piattaforma di estrazione, zdh_web è la piattaforma di gestione visuale per i servizi della serie zdh, che include moduli come raccolta dati, pianificazione, autorizzazioni, flusso di approvazione, marketing del dominio privato, ecc.
Domande frequenti
Qual è il repository #data-collection più popolare su GitHub?
Il progetto open source #data-collection più alto in classifica su GitHub è NanmiCoder/MediaCrawler, con 71,528 stelle. Nota Xiaohongshu | Commenti Crawler, Video Douyin | Commenti Crawler, Video Kuaishou | Commenti Crawler, Video Bilibili | Post Weibo | Commenti Crawler, Post Baidu Tieba | Crawler Risposte Commenti Baidu Tieba | Articolo Domande e Risposte Zhihu | Commenti Crawler
Quali linguaggi di programmazione sono più utilizzati nei repository #data-collection?
Tra i progetti #data-collection più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, JavaScript, Java, Go.
Come viene calcolata la classifica dei repository #data-collection?
Monitoriamo 52 repository open source attivi contrassegnati con #data-collection (500+ stelle), per un totale di 268,114 stelle e una media di 5,156 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.