Git Stars Git Stars

#data-collection Repositories

Entdecke 52 aktive Open-Source-GitHub-Repositories, die mit #data-collection getaggt sind und insgesamt 268,114 Sterne gesammelt haben (durchschnittlich 5,156 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist NanmiCoder/MediaCrawler mit 71,528 Sternen.

52
Gesamtzahl der Repositories
268,114
Gesamtanzahl der Sterne
5,156
Durchschnittliche Sterne/Repo

Insgesamt 52 Repositories

1
NanmiCoder/MediaCrawler

Xiaohongshu Notiz | Kommentare Crawler, Douyin Video | Kommentare Crawler, Kuaishou Video | Kommentare Crawler, Bilibili Video | Kommentare Crawler, Weibo Beitrag | Kommentare Crawler, Baidu Tieba Beitrag | Baidu Tieba Kommentar Antwort Crawler | Zhihu Frage und Antwort Artikel | Kommentare Crawler

NanmiCoder
⭐ 71,528 Python 👤 NanmiCoder User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-06-09
2
NaiboWang/EasySpider

Ein visueller No-Code-Web-Crawler/Spider: Eine Software zur Browserautomatisierung, Datenerfassung und zum Web-Scraping, mit der Crawling-Aufgaben grafisch und ohne Programmierung entworfen und ausgeführt werden können. Alias: ServiceWrapper, ein intelligentes Service-Kapselungssystem für Webanwendungen.

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2020-07-18
3
airbytehq/airbyte

Open-Source-Datenbewegung für ELT-Pipelines und KI-Agenten — von APIs, Datenbanken und Dateien zu Data Warehouses, Data Lakes und KI-Anwendungen. Sowohl self-hosted als auch Cloud.

airbytehq
⭐ 22,426 Python 👤 airbytehq Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2020-07-27
4
Evil0ctal/Douyin_TikTok_Download_API

🚀 Self-hosted API zur Datenerfassung von Douyin, TikTok und Bilibili sowie zum Herunterladen wasserzeichenfreier Videos. Unterstützt Aufrufe durch KI-Agenten via MCP und Offline-Spracherkennung. Docker-Bereitstellung mit einem Klick. | Self-hosted Scraper für TikTok, Douyin und Bilibili sowie Downloader für Videos ohne Wasserzeichen — asynchrone REST-API, MCP-Server für KI-Agenten, CLI und Webkonsole sowie Offline-Spracherkennung für heruntergeladene Videos. Selbstheilender Identitätspool, PostgreSQL-Archiv und Start mit einem einzigen `docker compose up`.

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2021-11-07
5
cporter202/API-mega-list

Dieses GitHub-Repo ist eine leistungsstarke Sammlung von APIs, die Sie sofort nutzen können, um alles von einfachen Automatisierungen bis hin zu vollwertigen Anwendungen zu erstellen. Eine der wertvollsten API-Listen auf GitHub – Punkt. 💪

cporter202
⭐ 8,406 JavaScript 👤 cporter202 User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2025-12-09
6
firecrawl/firecrawl-mcp-server

Offizieller Firecrawl-MCP-Server, die Kontext-API für KI-Agenten: Mit jedem MCP-Client im Web suchen, Inhalte extrahieren und interagieren sowie Inhalte parsen, crawlen und kartieren und Agent und Monitor nutzen.

firecrawl
⭐ 7,871 JavaScript 👤 firecrawl Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-12-06
7
snowplow/snowplow

Der Marktführer in der Customer Data Infrastructure

snowplow
⭐ 7,052 Scala 👤 snowplow Organization 🕐 Aktualisiert 2026-10-19 📅 Erstellt 2012-03-01
8
cloudquery/cloudquery

Datenpipelines für Cloud-Konfigurations- und Sicherheitsdaten. Erstellen Sie Lösungen für Cloud-Asset-Inventarisierung, CSPM, FinOps und Schwachstellenmanagement. Extraktion aus AWS, Azure, GCP und über 70 Cloud- und SaaS-Quellen.

cloudquery
⭐ 6,561 Go 👤 cloudquery Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2020-11-18
9
ResearchKit/ResearchKit

ResearchKit ist ein Open-Source-Software-Framework, mit dem sich einfach Apps für medizinische Forschung oder andere Forschungsprojekte erstellen lassen.

ResearchKit
⭐ 5,758 Objective-C 👤 ResearchKit Organization 🕐 Aktualisiert 2026-09-23 📅 Erstellt 2015-03-10
10
jitsucom/jitsu

Jitsu ist eine Open-Source-Alternative zu Segment. Vollständig skriptfähige Datenerfassungs-Engine für moderne Datenteams. Richten Sie eine Echtzeit-Datenpipeline in Minuten statt in Tagen ein

jitsucom
⭐ 5,138 TypeScript 👤 jitsucom Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2020-08-04
11
CollegesChat/university-information

Anforderungen und Details, die von Hochschulen im ganzen Land bei der Zulassung nicht angegeben werden, die aber die Qualität des Studentenlebens tatsächlich beeinflussen

CollegesChat
⭐ 5,105 👤 CollegesChat Organization 🕐 Aktualisiert 2026-10-18 📅 Erstellt 2021-06-25
12
REMitchell/python-scraping

Code-Beispiele aus dem Buch Web Scraping with Python http://shop.oreilly.com/product/0636920034391.do

REMitchell
⭐ 4,669 Jupyter Notebook 👤 REMitchell User 🕐 Aktualisiert 2024-06-01 📅 Erstellt 2015-06-14
13
php-debugbar/php-debugbar

Debug-Leiste für PHP

php-debugbar
⭐ 4,380 PHP 👤 php-debugbar Organization 🕐 Aktualisiert 2026-10-25 📅 Erstellt 2013-06-07
14
cv-cat/DouYin_Spider

TikTok Reverse Engineering, TikTok Crawler, alle TikTok APIs, private Nachrichten, Live-Stream-Überwachung

cv-cat
⭐ 3,711 Python 👤 cv-cat User 🕐 Aktualisiert 2026-10-23 📅 Erstellt 2023-10-17
15
Gioman101/FlipperAmiibo

Hergestellt zur Verwendung mit Flipper, ziehen Sie den Ordner einfach in NFC

Gioman101
⭐ 3,422 Python 👤 Gioman101 User 🕐 Aktualisiert 2024-08-15 📅 Erstellt 2022-04-22
16
scrapy/scrapyd

Ein Service-Daemon zum Ausführen von Scrapy-Spiders

scrapy
⭐ 3,100 Python 👤 scrapy Organization 🕐 Aktualisiert 2026-10-23 📅 Erstellt 2013-02-01
17
vladkens/twscrape

Python-Bibliothek und CLI für das Scraping von X/Twitter mit Multi-Account-Rotation und integrierter Ratenbegrenzungsverwaltung.

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2023-05-05
18
M-cheng-web/web-tracing

Bereitstellung von Überwachungsmethoden für die Frontend-Entwicklung: 【Protokollierung, Verhalten, Leistung, Ausnahmen, Anfragen, Ressourcen, Routen, Impressionen, Bildschirmaufzeichnung】

M-cheng-web
⭐ 2,950 TypeScript 👤 M-cheng-web User 🕐 Aktualisiert 2026-09-21 📅 Erstellt 2021-12-24
19
brightdata/brightdata-mcp

Ein leistungsstarker Model Context Protocol (MCP)-Server, der eine All-in-One-Lösung für den öffentlichen Webzugriff bietet.

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2025-04-15
20
SPX372928/MyIPTV

Standardprotokoll mobile Live-Quelle

SPX372928
⭐ 2,704 👤 SPX372928 User 🕐 Aktualisiert 2026-02-19 📅 Erstellt 2020-04-07
22
X-zhangyang/Real-World-Masked-Face-Dataset

Real-World Masked Face Dataset, Maskengesichtsdatensatz

X-zhangyang
⭐ 2,030 Python 👤 X-zhangyang User 🕐 Aktualisiert 2024-11-20 📅 Erstellt 2020-02-13
23
KEV0143/Parser-Chitai-Gorod

Intelligenter Parser für den „Chitai-Gorod“-Katalog. Hochgeschwindigkeitserfassung und -strukturierung von Daten basierend auf beliebigen festgelegten Parametern: von der ISBN bis zur Rabattdynamik.

KEV0143
⭐ 1,979 Python 👤 KEV0143 User 🕐 Aktualisiert 2026-09-17 📅 Erstellt 2025-05-18
24
pyper-dev/pyper

Konkurrierendes Python einfach gemacht

pyper-dev
⭐ 1,521 Python 👤 pyper-dev User 🕐 Aktualisiert 2025-02-04 📅 Erstellt 2024-05-22
25
sensorsdata/sa-sdk-android

Das offizielle Sensors-Analytics-Android-Tracking-SDK ist ein leichtgewichtiges SDK für die Datenerfassung und -Tracking auf Android-Seite und umfasst Funktionen wie Code-Tracking, vollständiges Tracking, Klickkarten und visuelles vollständiges Tracking. Das vollständige Tracking wird durch Integration des offiziellen Sensors-Analytics-Android-Tracking-Plugins realisiert. Das offizielle Sensors-Analytics-Android-Tracking-Plugin verwendet Bytecode-Instrumentierung (ASM)-Technologie, um vollständiges Tracking auf Android-Seite (kein Tracking, No-Code-Tracking, spurloses Tracking, automatisches Tracking) zu implementieren.

sensorsdata
⭐ 1,374 Java 👤 sensorsdata Organization 🕐 Aktualisiert 2026-11-04 📅 Erstellt 2015-11-06
26
pnoker/iot-dc3

IoT DC3 – Verbinden Sie die physische Welt mit KI. Eine Open-Source-Laufzeitumgebung für das industrielle IoT und Physical AI: 36 Protokolltreiber, Datenübertragung vom Edge in die Cloud und ein MCP-Tool-Gateway, damit KI-Agenten in einer sicheren, kontrollierbaren und nachvollziehbaren Schleife auf Geräte einwirken können.

pnoker
⭐ 1,274 Java 👤 pnoker User 🕐 Aktualisiert 2026-11-11 📅 Erstellt 2018-08-28
27
Decodo/Decodo

HTTP(S)/SOCKS5 rotierende Residential-Proxys - Code-Beispiele & allgemeine Informationen.

Decodo
⭐ 1,264 Java 👤 Decodo Organization 🕐 Aktualisiert 2026-11-11 📅 Erstellt 2019-01-07
28
rohunvora/x-research-skill

X/Twitter Recherche-Fähigkeit für Claude Code und OpenClaw. Agentische Suche, Thread-Verfolgung, tiefe Einblicke, Quellenbasierte Briefings.

rohunvora
⭐ 1,248 TypeScript 👤 rohunvora User 🕐 Aktualisiert 2026-02-19 📅 Erstellt 2026-02-08
29
washingtonpost/data-police-shootings

Die Washington Post erstellt eine Datenbank aller tödlichen Schüsse in den Vereinigten Staaten durch Polizeibeamte im Dienst seit 2015.

washingtonpost
⭐ 1,147 👤 washingtonpost Organization 🕐 Aktualisiert 2026-10-14 📅 Erstellt 2015-06-30
31
plan-player-analytics/Plan

Player Analytics Plugin für Minecraft Server-Plattformen - Überwache die Aktivitätsdaten deiner Server mit Leichtigkeit. :calendar:

plan-player-analytics
⭐ 1,041 Java 👤 plan-player-analytics Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2016-12-08
32
estuary/flow

🌊 Synchronisieren Sie kontinuierlich die Systeme, in denen Ihre Daten leben, mit den Systemen, in denen Sie sie _haben_ möchten, indem Sie Ihre Datenflüsse mit Estuary verwalten. 🌊

estuary
⭐ 995 Rust 👤 estuary Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2020-02-13
33
sensorsdata/sa-sdk-javascript

Das offizielle Shence Data Web JavaScript Tracking-SDK ist ein leichtgewichtiges SDK zur Datenerfassung und Tracking für Web- und H5-Enden. Es verwendet native JavaScript-Technologie, um Funktionen wie Code-Tracking, vollständiges Tracking, visuelles vollständiges Tracking, Web-Heatmaps und Reichweitenkarten zu implementieren.

sensorsdata
⭐ 956 JavaScript 👤 sensorsdata Organization 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2015-11-06
34
levinunnink/html-form-to-google-sheet

Wie man HTML-Formulare an Google Sheets übermittelt. (Aktualisiert für den Skript-Editor 2026)

levinunnink
⭐ 948 JavaScript 👤 levinunnink User 🕐 Aktualisiert 2026-01-14 📅 Erstellt 2021-09-20
35
TheBurnsy/Vehicle-OSINT-Collection

Eine umfassende Liste von Werkzeugen, die zur Suche nach Informationen über ein bestimmtes Fahrzeug verwendet werden können.

TheBurnsy
⭐ 912 👤 TheBurnsy User 🕐 Aktualisiert 2024-11-20 📅 Erstellt 2022-11-16
36
Cl0udG0d/Fofa-hack

Nicht zahlendes Mitglied, FOFA-Datenerfassungswerkzeug

Cl0udG0d
⭐ 882 Python 👤 Cl0udG0d User 🕐 Aktualisiert 2025-10-28 📅 Erstellt 2022-09-15
37
FalconForceTeam/SOAPHound

SOAPHound ist ein speziell entwickeltes .NET-Datenerfassungstool, das zur Auflistung von Active Directory-Umgebungen über das Active Directory Web Services (ADWS) Protokoll verwendet werden kann.

FalconForceTeam
⭐ 840 C# 👤 FalconForceTeam Organization 🕐 Aktualisiert 2024-02-03 📅 Erstellt 2024-01-25
38
zqzess/MyWebStorage

Konsolidiert bestehende Xiangse Guguan-Quellen im Internet, Webcrawler aktualisiert die Buchquellen wöchentlich automatisch

zqzess
⭐ 813 HTML 👤 zqzess User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2021-05-18
39
getodk/collect

ODK Collect ist eine Android-App zum Ausfüllen von Formularen. Sie wurde verwendet, um Milliarden von Datenpunkten in anspruchsvollen Umgebungen auf der ganzen Welt zu sammeln. Tragen Sie bei und machen Sie die Welt zu einem besseren Ort! ✨📋✨

getodk
⭐ 807 Kotlin 👤 getodk Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2015-08-04
40
quantumproxies/quantumproxies.io

Residential-, Rechenzentrums-, ISP- und Mobile-Proxys mit über 90 Millionen IPs in mehr als 200 Ländern – plus Scraper- und SERP-APIs. Codebeispiele in Python, Node.js, PHP, Go, Java, C#, Ruby und curl.

quantumproxies
⭐ 780 Java 👤 quantumproxies User 🕐 Aktualisiert 2026-09-06 📅 Erstellt 2025-11-17
41
LAION-AI/audio-dataset

Audiodatensatz zum Trainieren von CLAP und anderen Modellen

LAION-AI
⭐ 750 Python 👤 LAION-AI Organization 🕐 Aktualisiert 2026-01-08 📅 Erstellt 2022-03-07
42
thinkoaa/Deadpool

Das Deadpool-Proxy-Pool-Tool kann hochwertige Socks5-Proxys von Netzwerk-Mapping-Plattformen wie Hunter, Quake und Fofa abrufen oder Socks5-Proxys lokal importieren und diese Proxys abwechselnd für die Verkehrsweiterleitung verwenden.

thinkoaa
⭐ 741 Go 👤 thinkoaa User 🕐 Aktualisiert 2026-05-06 📅 Erstellt 2024-08-26
43
augurlabs/augur

Als Augur an seine Grenzen stieß, entwickelten wir Aveloxis: Zuverlässige Erfassung von OSS-Metrikdaten. 40.000 Repositories in 3 Tagen vollständig zu erfassen ist doch gut, oder?

augurlabs
⭐ 695 Go 👤 augurlabs Organization 🕐 Aktualisiert 2026-08-04 📅 Erstellt 2017-01-05
44
bangumi-data/bangumi-data

Rohdaten für japanische Anime

bangumi-data
⭐ 665 JavaScript 👤 bangumi-data Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2016-09-04
45
ohyicong/Google-Image-Scraper

Eine Bibliothek zum Scrapen von Google-Bildern

ohyicong
⭐ 636 Python 👤 ohyicong User 🕐 Aktualisiert 2025-02-16 📅 Erstellt 2020-07-18
46
nghuyong/weibo-cov

Weibo-COV: Ein groß angelegter Social-Media-Datensatz zu COVID-19 von Weibo

nghuyong
⭐ 626 👤 nghuyong User 🕐 Aktualisiert 2025-08-23 📅 Erstellt 2020-02-20
47
Robotics-Ark/ark_framework

Das Ark-Framework.

Robotics-Ark
⭐ 625 Python 👤 Robotics-Ark Organization 🕐 Aktualisiert 2026-06-20 📅 Erstellt 2025-06-25
48
john-friedman/datamule-python

Ein Paket zur Arbeit mit SEC-Daten. Enthält Datamule-Endpunkte.

john-friedman
⭐ 560 Python 👤 john-friedman User 🕐 Aktualisiert 2026-08-14 📅 Erstellt 2024-09-06
49
sindresorhus/insight

Node.js-Modul, das Ihnen hilft zu verstehen, wie Ihr Tool verwendet wird, indem Nutzungsmetriken anonym an Google Analytics gemeldet werden

sindresorhus
⭐ 553 JavaScript 👤 sindresorhus User 🕐 Aktualisiert 2026-09-18 📅 Erstellt 2012-12-12
50
zhaoyachao/zdh_web

Big Data Erfassung, Extraktionsplattform, zdh_web ist die visuelle Managementplattform für die zdh-Services, die Module wie Datenaufnahme, Scheduling, Berechtigungen, Genehmigungsworkflow, Private-Domain-Marketing usw. enthält

zhaoyachao
⭐ 536 HTML 👤 zhaoyachao User 🕐 Aktualisiert 2026-06-07 📅 Erstellt 2020-02-03

Häufig gestellte Fragen

1

Welches ist das beliebteste #data-collection-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#data-collection-Projekt auf GitHub ist NanmiCoder/MediaCrawler mit 71,528 Sternen. Xiaohongshu Notiz | Kommentare Crawler, Douyin Video | Kommentare Crawler, Kuaishou Video | Kommentare Crawler, Bilibili Video | Kommentare Crawler, Weibo Beitrag | Kommentare Crawler, Baidu Tieba Beitrag | Baidu Tieba Kommentar Antwort Crawler | Zhihu Frage und Antwort Artikel | Kommentare Crawler

2

Welche Programmiersprachen werden in #data-collection-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #data-collection-Projekten auf GitHub sind Python, JavaScript, Java, Go die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #data-collection-Repositories berechnet?

Wir verfolgen 52 aktive Open-Source-Repositories, die mit #data-collection getaggt sind (500+ Sterne), mit insgesamt 268,114 Sternen und durchschnittlich 5,156 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.