Git Stars Git Stars

#data-collection リポジトリ

#data-collectionのタグが付いた、GitHub上の52件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は268,114個で、プロジェクトあたりの平均は5,156個です。このトピックをリードしているのは、71,528個のスターを獲得しているNanmiCoder/MediaCrawlerです。

52
リポジトリ総数
268,114
合計スター数
5,156
リポジトリあたりの平均スター数

リポジトリ合計52件

1
NanmiCoder/MediaCrawler

小紅書ノート | コメントクローラー, Douyin動画 | コメントクローラー, Kuaishou動画 | コメントクローラー, B站動画 | コメントクローラー, Weibo投稿 | コメントクローラー, Baidu Tieba投稿 | Baidu Tiebaコメント返信クローラー | Zhihu質問回答記事|コメントクローラー

NanmiCoder
⭐ 71,528 Python 👤 NanmiCoder User 🕐 更新日時 2026-11-21 📅 作成日 2023-06-09
2
NaiboWang/EasySpider

ビジュアルなノーコードWebクローラー/スパイダー:ブラウザ自動化、データ収集、Webスクレイピングのためのソフトウェアで、コードを書かずにグラフィカルにクローリングタスクを設計・実行できます。別名:ServiceWrapper(Webアプリケーション向けのインテリジェントなサービスカプセル化システム)。

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 更新日時 2026-11-16 📅 作成日 2020-07-18
3
airbytehq/airbyte

オープンソースのデータ移動:ELT パイプラインと AI エージェント向け — API、データベース、ファイルからデータウェアハウス、データレイク、AI アプリケーションへ。セルフホストおよびクラウド対応。

airbytehq
⭐ 22,426 Python 👤 airbytehq Organization 🕐 更新日時 2026-11-21 📅 作成日 2020-07-27
4
Evil0ctal/Douyin_TikTok_Download_API

🚀 Douyin、TikTok、Bilibiliのデータ収集と、ウォーターマークなし動画のダウンロードに対応したセルフホスト型API。MCP経由でのAIエージェントからの呼び出しと、オフライン音声文字起こしに対応。Dockerでワンクリックデプロイ。| TikTok、Douyin、Bilibili対応のセルフホスト型スクレイパー兼ウォーターマークなし動画ダウンローダー。非同期REST API、AIエージェント向けMCPサーバー、CLI、Webコンソールに加え、ダウンロードした動画のオフライン音声文字起こしにも対応。自動修復するIDプール、PostgreSQLアーカイブを備え、`docker compose up`一発で起動。

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 更新日時 2026-11-20 📅 作成日 2021-11-07
5
cporter202/API-mega-list

このGitHubリポジトリは、シンプルな自動化から本格的なアプリケーションまで、あらゆるものを構築するためにすぐに使い始められるAPIの強力なコレクションです。GitHub上で最も価値のあるAPIリストの一つです。💪

cporter202
⭐ 8,406 JavaScript 👤 cporter202 User 🕐 更新日時 2026-11-19 📅 作成日 2025-12-09
6
firecrawl/firecrawl-mcp-server

公式 Firecrawl MCP サーバー。AI エージェント向けのコンテキスト API です。任意の MCP クライアントから、Web の検索、スクレイピング、操作に加え、解析、クロール、マッピング、Agent と Monitor の利用ができます。

firecrawl
⭐ 7,871 JavaScript 👤 firecrawl Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-12-06
7
snowplow/snowplow

カスタマーデータインフラストラクチャのリーダー

snowplow
⭐ 7,052 Scala 👤 snowplow Organization 🕐 更新日時 2026-10-19 📅 作成日 2012-03-01
8
cloudquery/cloudquery

クラウド構成およびセキュリティデータ用のデータパイプライン。クラウド資産インベントリ、CSPM、FinOps、および脆弱性管理ソリューションを構築します。AWS、Azure、GCP、および 70 以上のクラウドおよび SaaS ソースからデータを抽出します。

cloudquery
⭐ 6,561 Go 👤 cloudquery Organization 🕐 更新日時 2026-11-21 📅 作成日 2020-11-18
9
ResearchKit/ResearchKit

ResearchKitは、医療研究やその他の研究プロジェクト向けのアプリを簡単に作成できるオープンソースのソフトウェアフレームワークです。

ResearchKit
⭐ 5,758 Objective-C 👤 ResearchKit Organization 🕐 更新日時 2026-09-23 📅 作成日 2015-03-10
10
jitsucom/jitsu

Jitsu は Segment のオープンソースの代替品です。最新のデータチーム向けの完全にスクリプト可能なデータ取り込みエンジン。数日ではなく数分でリアルタイムのデータパイプラインをセットアップできます

jitsucom
⭐ 5,138 TypeScript 👤 jitsucom Organization 🕐 更新日時 2026-11-20 📅 作成日 2020-08-04
11
CollegesChat/university-information

全国の大学が募集時に明記しないものの、大学生活の質に実質的に影響を与える要件と詳細

CollegesChat
⭐ 5,105 👤 CollegesChat Organization 🕐 更新日時 2026-10-18 📅 作成日 2021-06-25
12
REMitchell/python-scraping

書籍『Web Scraping with Python』のコードサンプル http://shop.oreilly.com/product/0636920034391.do

REMitchell
⭐ 4,669 Jupyter Notebook 👤 REMitchell User 🕐 更新日時 2024-06-01 📅 作成日 2015-06-14
13
php-debugbar/php-debugbar

PHP 用デバッグバー

php-debugbar
⭐ 4,380 PHP 👤 php-debugbar Organization 🕐 更新日時 2026-10-25 📅 作成日 2013-06-07
14
cv-cat/DouYin_Spider

TikTokリバースエンジニアリング、TikTokクローラー、TikTok全API、プライベートメッセージ、ライブ配信室監視

cv-cat
⭐ 3,711 Python 👤 cv-cat User 🕐 更新日時 2026-10-23 📅 作成日 2023-10-17
15
Gioman101/FlipperAmiibo

Flipperと併用するように設計されています。フォルダをNFCにドラッグアンドドロップするだけです。

Gioman101
⭐ 3,422 Python 👤 Gioman101 User 🕐 更新日時 2024-08-15 📅 作成日 2022-04-22
16
scrapy/scrapyd

Scrapy スパイダーを実行するためのサービスデーモン

scrapy
⭐ 3,100 Python 👤 scrapy Organization 🕐 更新日時 2026-10-23 📅 作成日 2013-02-01
17
vladkens/twscrape

X/TwitterのスクレイピングのためのPythonライブラリとCLI。マルチアカウントのローテーションとレート制限処理を内蔵。

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 更新日時 2026-11-19 📅 作成日 2023-05-05
18
M-cheng-web/web-tracing

フロントエンドプロジェクトのための【計測、行動、パフォーマンス、例外、リクエスト、リソース、ルーティング、表示、画面録画】監視手段の提供

M-cheng-web
⭐ 2,950 TypeScript 👤 M-cheng-web User 🕐 更新日時 2026-09-21 📅 作成日 2021-12-24
19
brightdata/brightdata-mcp

パブリックWebアクセス向けのオールインワンソリューションを提供する強力なModel Context Protocol (MCP)サーバー。

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 更新日時 2026-11-18 📅 作成日 2025-04-15
20
SPX372928/MyIPTV

標準プロトコル モバイルライブソース

SPX372928
⭐ 2,704 👤 SPX372928 User 🕐 更新日時 2026-02-19 📅 作成日 2020-04-07
⭐ 2,096 Python 👤 tonyzhaozh User 🕐 更新日時 2024-04-19 📅 作成日 2023-02-22
22
X-zhangyang/Real-World-Masked-Face-Dataset

Real-World Masked Face Dataset, 実世界のマスク顔データセット

X-zhangyang
⭐ 2,030 Python 👤 X-zhangyang User 🕐 更新日時 2024-11-20 📅 作成日 2020-02-13
23
KEV0143/Parser-Chitai-Gorod

「チタイ・ゴロド」カタログ用のインテリジェントパーサー。ISBNから割引の動向まで、指定されたあらゆるパラメーターに基づいた高速なデータ収集と構造化。

KEV0143
⭐ 1,979 Python 👤 KEV0143 User 🕐 更新日時 2026-09-17 📅 作成日 2025-05-18
24
pyper-dev/pyper

並行Pythonをシンプルに

pyper-dev
⭐ 1,521 Python 👤 pyper-dev User 🕐 更新日時 2025-02-04 📅 作成日 2024-05-22
25
sensorsdata/sa-sdk-android

神策データ公式 Android 埋め込みポイント SDK は、Android 側でのデータ収集埋め込みポイント SDK として軽量級の製品で、コード埋め込みポイント、全埋め込みポイント、クリックマップ、および視覚化全埋め込みポイント機能を備えています。全埋め込みポイントは、神策公式 Android 埋め込みポイントプラグインと連携して実現され、神策データ公式 Android 埋め込みポイントプラグインはバイトコード挿入(ASM)技術を使用して Android 側の全埋め込みポイント(無埋め込みポイント、無コード埋め込みポイント、無痕埋め込みポイント、自動埋め込みポイント)を実現します。

sensorsdata
⭐ 1,374 Java 👤 sensorsdata Organization 🕐 更新日時 2026-11-04 📅 作成日 2015-11-06
26
pnoker/iot-dc3

IoT DC3 — 物理世界を AI につなぐ。Physical AI 向けのオープンソース産業 IoT ランタイム:36 種類のプロトコルドライバー、エッジからクラウドへのデータ配信、そして AI エージェントが安全かつ制御可能で追跡可能なループ内でデバイスを操作できる MCP ツールゲートウェイ。

pnoker
⭐ 1,274 Java 👤 pnoker User 🕐 更新日時 2026-11-11 📅 作成日 2018-08-28
27
Decodo/Decodo

HTTP(S)/SOCKS5 回転式住宅用プロキシ - コード例および一般情報。

Decodo
⭐ 1,264 Java 👤 Decodo Organization 🕐 更新日時 2026-11-11 📅 作成日 2019-01-07
28
rohunvora/x-research-skill

X/Twitterリサーチスキル(Claude CodeとOpenClaw用)。エージェント型検索、スレッド追跡、深堀り、情報源ベースのブリーフィング。

rohunvora
⭐ 1,248 TypeScript 👤 rohunvora User 🕐 更新日時 2026-02-19 📅 作成日 2026-02-08
29
washingtonpost/data-police-shootings

ワシントン・ポストは、2015年以降、米国で警察官が職務遂行中に起こしたすべての致死的な銃撃事件のデータベースを作成中です。

washingtonpost
⭐ 1,147 👤 washingtonpost Organization 🕐 更新日時 2026-10-14 📅 作成日 2015-06-30
31
plan-player-analytics/Plan

Minecraftサーバープラットフォーム向けプレイヤー分析プラグイン - サーバーのプレイヤー活動を簡単に確認。:calendar:

plan-player-analytics
⭐ 1,041 Java 👤 plan-player-analytics Organization 🕐 更新日時 2026-11-21 📅 作成日 2016-12-08
32
estuary/flow

🌊 Estuary を使用してデータフローを管理し、データが存在するシステムから、データを _存在させたい_ システムへ継続的に同期します。 🌊

estuary
⭐ 995 Rust 👤 estuary Organization 🕐 更新日時 2026-11-21 📅 作成日 2020-02-13
33
sensorsdata/sa-sdk-javascript

神策データ公式 Web JavaScript 埋め込み SDK は、Web エンドおよび H5 エンド用の軽量データ収集埋め込み SDK です。ネイティブ JavaScript 技術を使用して、コード埋め込み、全埋め込み、可視化全埋め込み、ウェブヒートマップ、およびリーチ図などの機能を実現します。

sensorsdata
⭐ 956 JavaScript 👤 sensorsdata Organization 🕐 更新日時 2026-11-12 📅 作成日 2015-11-06
34
levinunnink/html-form-to-google-sheet

HTMLフォームをGoogle Sheetsに送信する方法。 (2026年版スクリプトエディタに更新)

levinunnink
⭐ 948 JavaScript 👤 levinunnink User 🕐 更新日時 2026-01-14 📅 作成日 2021-09-20
35
TheBurnsy/Vehicle-OSINT-Collection

特定の車両に関連する情報を見つけるために使用できるツールの包括的なリストです。

TheBurnsy
⭐ 912 👤 TheBurnsy User 🕐 更新日時 2024-11-20 📅 作成日 2022-11-16
36
Cl0udG0d/Fofa-hack

非会員、fofaデータ収集ツール

Cl0udG0d
⭐ 882 Python 👤 Cl0udG0d User 🕐 更新日時 2025-10-28 📅 作成日 2022-09-15
37
FalconForceTeam/SOAPHound

SOAPHoundは、Active Directory Web Services (ADWS) プロトコルを介してActive Directory環境を列挙するために使用できる、カスタム開発された.NETデータコレクターツールです。

FalconForceTeam
⭐ 840 C# 👤 FalconForceTeam Organization 🕐 更新日時 2024-02-03 📅 作成日 2024-01-25
38
zqzess/MyWebStorage

Web上の既存の香色閨閣ソースを統合し、クローラーが毎週自動的にソースを更新します

zqzess
⭐ 813 HTML 👤 zqzess User 🕐 更新日時 2026-11-16 📅 作成日 2021-05-18
39
getodk/collect

ODK Collectは、フォームを記入するためのAndroidアプリです。世界中の厳しい環境で数十億のデータポイントを収集するために使用されてきました。貢献して、世界をより良い場所にしましょう!✨📋✨

getodk
⭐ 807 Kotlin 👤 getodk Organization 🕐 更新日時 2026-11-20 📅 作成日 2015-08-04
40
quantumproxies/quantumproxies.io

200か国以上で9,000万以上のIPを利用できる住宅用、データセンター、ISP、モバイルプロキシ。スクレイピングAPIとSERP APIも提供。Python、Node.js、PHP、Go、Java、C#、Ruby、curlのコード例付き。

quantumproxies
⭐ 780 Java 👤 quantumproxies User 🕐 更新日時 2026-09-06 📅 作成日 2025-11-17
41
LAION-AI/audio-dataset

CLAPおよびその他のモデルのトレーニング用オーディオデータセット

LAION-AI
⭐ 750 Python 👤 LAION-AI Organization 🕐 更新日時 2026-01-08 📅 作成日 2022-03-07
42
thinkoaa/Deadpool

Deadpoolプロキシプールツールは、Hunter、Quake、Fofaなどのサイバースペースマッピングプラットフォームから高品質のsocks5プロキシを取得するか、ローカルにsocks5プロキシをインポートし、プロキシを順番に使用してトラフィックを転送できます。

thinkoaa
⭐ 741 Go 👤 thinkoaa User 🕐 更新日時 2026-05-06 📅 作成日 2024-08-26
43
augurlabs/augur

Augurが限界に達したとき、私たちはAveloxisを作成しました:OSSメトリクスデータを確実に収集するためです。3日間で40,000のリポジトリを完全に収集できたのは、良い成果だと思いませんか?

augurlabs
⭐ 695 Go 👤 augurlabs Organization 🕐 更新日時 2026-08-04 📅 作成日 2017-01-05
44
bangumi-data/bangumi-data

日本アニメの生データ

bangumi-data
⭐ 665 JavaScript 👤 bangumi-data Organization 🕐 更新日時 2026-11-17 📅 作成日 2016-09-04
45
ohyicong/Google-Image-Scraper

Google画像をスクレイピングするライブラリ

ohyicong
⭐ 636 Python 👤 ohyicong User 🕐 更新日時 2025-02-16 📅 作成日 2020-07-18
46
nghuyong/weibo-cov

Weibo-COV: WeiboからのCOVID-19に関する大規模ソーシャルメディアデータセット

nghuyong
⭐ 626 👤 nghuyong User 🕐 更新日時 2025-08-23 📅 作成日 2020-02-20
47
Robotics-Ark/ark_framework

アークフレームワーク。

Robotics-Ark
⭐ 625 Python 👤 Robotics-Ark Organization 🕐 更新日時 2026-06-20 📅 作成日 2025-06-25
48
john-friedman/datamule-python

SECデータで作業するためのパッケージです。Datamuleのエンドポイントが組み込まれています。

john-friedman
⭐ 560 Python 👤 john-friedman User 🕐 更新日時 2026-08-14 📅 作成日 2024-09-06
49
sindresorhus/insight

ツールがどのように使用されているかを理解するのに役立つ Node.js モジュール。使用メトリクスを Google Analytics に匿名で報告します

sindresorhus
⭐ 553 JavaScript 👤 sindresorhus User 🕐 更新日時 2026-09-18 📅 作成日 2012-12-12
50
zhaoyachao/zdh_web

ビッグデータ収集、抽出プラットフォーム、zdh_webはzdhシリーズサービスの視覚化管理プラットフォームで、データ収集、スケジューリング、権限、承認フロー、私有ドメインマーケティングなどのモジュールを備えています。

zhaoyachao
⭐ 536 HTML 👤 zhaoyachao User 🕐 更新日時 2026-06-07 📅 作成日 2020-02-03

よくある質問

1

GitHubで最も人気のある#data-collectionリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#data-collectionプロジェクトは、71,528個のスターを獲得しているNanmiCoder/MediaCrawlerです。小紅書ノート | コメントクローラー, Douyin動画 | コメントクローラー, Kuaishou動画 | コメントクローラー, B站動画 | コメントクローラー, Weibo投稿 | コメントクローラー, Baidu Tieba投稿 | Baidu Tiebaコメント返信クローラー | Zhihu質問回答記事|コメントクローラー

2

#data-collectionリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#data-collectionプロジェクトでは、Python, JavaScript, Java, Goが最も一般的なプログラミング言語です。

3

#data-collectionリポジトリのランキングはどのように算出されていますか?

#data-collectionのタグが付いた52件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は268,114個で、リポジトリあたりの平均は5,156個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。