#data-collection Repositories
Entdecke 52 aktive Open-Source-GitHub-Repositories, die mit #data-collection getaggt sind und insgesamt 268,114 Sterne gesammelt haben (durchschnittlich 5,156 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist NanmiCoder/MediaCrawler mit 71,528 Sternen.
Insgesamt 52 Repositories
Xiaohongshu Notiz | Kommentare Crawler, Douyin Video | Kommentare Crawler, Kuaishou Video | Kommentare Crawler, Bilibili Video | Kommentare Crawler, Weibo Beitrag | Kommentare Crawler, Baidu Tieba Beitrag | Baidu Tieba Kommentar Antwort Crawler | Zhihu Frage und Antwort Artikel | Kommentare Crawler
Ein visueller No-Code-Web-Crawler/Spider: Eine Software zur Browserautomatisierung, Datenerfassung und zum Web-Scraping, mit der Crawling-Aufgaben grafisch und ohne Programmierung entworfen und ausgeführt werden können. Alias: ServiceWrapper, ein intelligentes Service-Kapselungssystem für Webanwendungen.
Open-Source-Datenbewegung für ELT-Pipelines und KI-Agenten — von APIs, Datenbanken und Dateien zu Data Warehouses, Data Lakes und KI-Anwendungen. Sowohl self-hosted als auch Cloud.
🚀 Self-hosted API zur Datenerfassung von Douyin, TikTok und Bilibili sowie zum Herunterladen wasserzeichenfreier Videos. Unterstützt Aufrufe durch KI-Agenten via MCP und Offline-Spracherkennung. Docker-Bereitstellung mit einem Klick. | Self-hosted Scraper für TikTok, Douyin und Bilibili sowie Downloader für Videos ohne Wasserzeichen — asynchrone REST-API, MCP-Server für KI-Agenten, CLI und Webkonsole sowie Offline-Spracherkennung für heruntergeladene Videos. Selbstheilender Identitätspool, PostgreSQL-Archiv und Start mit einem einzigen `docker compose up`.
Dieses GitHub-Repo ist eine leistungsstarke Sammlung von APIs, die Sie sofort nutzen können, um alles von einfachen Automatisierungen bis hin zu vollwertigen Anwendungen zu erstellen. Eine der wertvollsten API-Listen auf GitHub – Punkt. 💪
Offizieller Firecrawl-MCP-Server, die Kontext-API für KI-Agenten: Mit jedem MCP-Client im Web suchen, Inhalte extrahieren und interagieren sowie Inhalte parsen, crawlen und kartieren und Agent und Monitor nutzen.
Datenpipelines für Cloud-Konfigurations- und Sicherheitsdaten. Erstellen Sie Lösungen für Cloud-Asset-Inventarisierung, CSPM, FinOps und Schwachstellenmanagement. Extraktion aus AWS, Azure, GCP und über 70 Cloud- und SaaS-Quellen.
ResearchKit ist ein Open-Source-Software-Framework, mit dem sich einfach Apps für medizinische Forschung oder andere Forschungsprojekte erstellen lassen.
Jitsu ist eine Open-Source-Alternative zu Segment. Vollständig skriptfähige Datenerfassungs-Engine für moderne Datenteams. Richten Sie eine Echtzeit-Datenpipeline in Minuten statt in Tagen ein
Anforderungen und Details, die von Hochschulen im ganzen Land bei der Zulassung nicht angegeben werden, die aber die Qualität des Studentenlebens tatsächlich beeinflussen
Code-Beispiele aus dem Buch Web Scraping with Python http://shop.oreilly.com/product/0636920034391.do
TikTok Reverse Engineering, TikTok Crawler, alle TikTok APIs, private Nachrichten, Live-Stream-Überwachung
Hergestellt zur Verwendung mit Flipper, ziehen Sie den Ordner einfach in NFC
Python-Bibliothek und CLI für das Scraping von X/Twitter mit Multi-Account-Rotation und integrierter Ratenbegrenzungsverwaltung.
Bereitstellung von Überwachungsmethoden für die Frontend-Entwicklung: 【Protokollierung, Verhalten, Leistung, Ausnahmen, Anfragen, Ressourcen, Routen, Impressionen, Bildschirmaufzeichnung】
Ein leistungsstarker Model Context Protocol (MCP)-Server, der eine All-in-One-Lösung für den öffentlichen Webzugriff bietet.
Real-World Masked Face Dataset, Maskengesichtsdatensatz
Intelligenter Parser für den „Chitai-Gorod“-Katalog. Hochgeschwindigkeitserfassung und -strukturierung von Daten basierend auf beliebigen festgelegten Parametern: von der ISBN bis zur Rabattdynamik.
Das offizielle Sensors-Analytics-Android-Tracking-SDK ist ein leichtgewichtiges SDK für die Datenerfassung und -Tracking auf Android-Seite und umfasst Funktionen wie Code-Tracking, vollständiges Tracking, Klickkarten und visuelles vollständiges Tracking. Das vollständige Tracking wird durch Integration des offiziellen Sensors-Analytics-Android-Tracking-Plugins realisiert. Das offizielle Sensors-Analytics-Android-Tracking-Plugin verwendet Bytecode-Instrumentierung (ASM)-Technologie, um vollständiges Tracking auf Android-Seite (kein Tracking, No-Code-Tracking, spurloses Tracking, automatisches Tracking) zu implementieren.
IoT DC3 – Verbinden Sie die physische Welt mit KI. Eine Open-Source-Laufzeitumgebung für das industrielle IoT und Physical AI: 36 Protokolltreiber, Datenübertragung vom Edge in die Cloud und ein MCP-Tool-Gateway, damit KI-Agenten in einer sicheren, kontrollierbaren und nachvollziehbaren Schleife auf Geräte einwirken können.
HTTP(S)/SOCKS5 rotierende Residential-Proxys - Code-Beispiele & allgemeine Informationen.
X/Twitter Recherche-Fähigkeit für Claude Code und OpenClaw. Agentische Suche, Thread-Verfolgung, tiefe Einblicke, Quellenbasierte Briefings.
Die Washington Post erstellt eine Datenbank aller tödlichen Schüsse in den Vereinigten Staaten durch Polizeibeamte im Dienst seit 2015.
Player Analytics Plugin für Minecraft Server-Plattformen - Überwache die Aktivitätsdaten deiner Server mit Leichtigkeit. :calendar:
🌊 Synchronisieren Sie kontinuierlich die Systeme, in denen Ihre Daten leben, mit den Systemen, in denen Sie sie _haben_ möchten, indem Sie Ihre Datenflüsse mit Estuary verwalten. 🌊
Das offizielle Shence Data Web JavaScript Tracking-SDK ist ein leichtgewichtiges SDK zur Datenerfassung und Tracking für Web- und H5-Enden. Es verwendet native JavaScript-Technologie, um Funktionen wie Code-Tracking, vollständiges Tracking, visuelles vollständiges Tracking, Web-Heatmaps und Reichweitenkarten zu implementieren.
Wie man HTML-Formulare an Google Sheets übermittelt. (Aktualisiert für den Skript-Editor 2026)
Eine umfassende Liste von Werkzeugen, die zur Suche nach Informationen über ein bestimmtes Fahrzeug verwendet werden können.
SOAPHound ist ein speziell entwickeltes .NET-Datenerfassungstool, das zur Auflistung von Active Directory-Umgebungen über das Active Directory Web Services (ADWS) Protokoll verwendet werden kann.
Konsolidiert bestehende Xiangse Guguan-Quellen im Internet, Webcrawler aktualisiert die Buchquellen wöchentlich automatisch
ODK Collect ist eine Android-App zum Ausfüllen von Formularen. Sie wurde verwendet, um Milliarden von Datenpunkten in anspruchsvollen Umgebungen auf der ganzen Welt zu sammeln. Tragen Sie bei und machen Sie die Welt zu einem besseren Ort! ✨📋✨
Residential-, Rechenzentrums-, ISP- und Mobile-Proxys mit über 90 Millionen IPs in mehr als 200 Ländern – plus Scraper- und SERP-APIs. Codebeispiele in Python, Node.js, PHP, Go, Java, C#, Ruby und curl.
Das Deadpool-Proxy-Pool-Tool kann hochwertige Socks5-Proxys von Netzwerk-Mapping-Plattformen wie Hunter, Quake und Fofa abrufen oder Socks5-Proxys lokal importieren und diese Proxys abwechselnd für die Verkehrsweiterleitung verwenden.
Als Augur an seine Grenzen stieß, entwickelten wir Aveloxis: Zuverlässige Erfassung von OSS-Metrikdaten. 40.000 Repositories in 3 Tagen vollständig zu erfassen ist doch gut, oder?
Node.js-Modul, das Ihnen hilft zu verstehen, wie Ihr Tool verwendet wird, indem Nutzungsmetriken anonym an Google Analytics gemeldet werden
Big Data Erfassung, Extraktionsplattform, zdh_web ist die visuelle Managementplattform für die zdh-Services, die Module wie Datenaufnahme, Scheduling, Berechtigungen, Genehmigungsworkflow, Private-Domain-Marketing usw. enthält
Häufig gestellte Fragen
Welches ist das beliebteste #data-collection-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#data-collection-Projekt auf GitHub ist NanmiCoder/MediaCrawler mit 71,528 Sternen. Xiaohongshu Notiz | Kommentare Crawler, Douyin Video | Kommentare Crawler, Kuaishou Video | Kommentare Crawler, Bilibili Video | Kommentare Crawler, Weibo Beitrag | Kommentare Crawler, Baidu Tieba Beitrag | Baidu Tieba Kommentar Antwort Crawler | Zhihu Frage und Antwort Artikel | Kommentare Crawler
Welche Programmiersprachen werden in #data-collection-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #data-collection-Projekten auf GitHub sind Python, JavaScript, Java, Go die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #data-collection-Repositories berechnet?
Wir verfolgen 52 aktive Open-Source-Repositories, die mit #data-collection getaggt sind (500+ Sterne), mit insgesamt 268,114 Sternen und durchschnittlich 5,156 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.