#data-collection リポジトリ
#data-collectionのタグが付いた、GitHub上の52件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は268,114個で、プロジェクトあたりの平均は5,156個です。このトピックをリードしているのは、71,528個のスターを獲得しているNanmiCoder/MediaCrawlerです。
リポジトリ合計52件
小紅書ノート | コメントクローラー, Douyin動画 | コメントクローラー, Kuaishou動画 | コメントクローラー, B站動画 | コメントクローラー, Weibo投稿 | コメントクローラー, Baidu Tieba投稿 | Baidu Tiebaコメント返信クローラー | Zhihu質問回答記事|コメントクローラー
ビジュアルなノーコードWebクローラー/スパイダー:ブラウザ自動化、データ収集、Webスクレイピングのためのソフトウェアで、コードを書かずにグラフィカルにクローリングタスクを設計・実行できます。別名:ServiceWrapper(Webアプリケーション向けのインテリジェントなサービスカプセル化システム)。
オープンソースのデータ移動:ELT パイプラインと AI エージェント向け — API、データベース、ファイルからデータウェアハウス、データレイク、AI アプリケーションへ。セルフホストおよびクラウド対応。
🚀 Douyin、TikTok、Bilibiliのデータ収集と、ウォーターマークなし動画のダウンロードに対応したセルフホスト型API。MCP経由でのAIエージェントからの呼び出しと、オフライン音声文字起こしに対応。Dockerでワンクリックデプロイ。| TikTok、Douyin、Bilibili対応のセルフホスト型スクレイパー兼ウォーターマークなし動画ダウンローダー。非同期REST API、AIエージェント向けMCPサーバー、CLI、Webコンソールに加え、ダウンロードした動画のオフライン音声文字起こしにも対応。自動修復するIDプール、PostgreSQLアーカイブを備え、`docker compose up`一発で起動。
このGitHubリポジトリは、シンプルな自動化から本格的なアプリケーションまで、あらゆるものを構築するためにすぐに使い始められるAPIの強力なコレクションです。GitHub上で最も価値のあるAPIリストの一つです。💪
公式 Firecrawl MCP サーバー。AI エージェント向けのコンテキスト API です。任意の MCP クライアントから、Web の検索、スクレイピング、操作に加え、解析、クロール、マッピング、Agent と Monitor の利用ができます。
クラウド構成およびセキュリティデータ用のデータパイプライン。クラウド資産インベントリ、CSPM、FinOps、および脆弱性管理ソリューションを構築します。AWS、Azure、GCP、および 70 以上のクラウドおよび SaaS ソースからデータを抽出します。
Jitsu は Segment のオープンソースの代替品です。最新のデータチーム向けの完全にスクリプト可能なデータ取り込みエンジン。数日ではなく数分でリアルタイムのデータパイプラインをセットアップできます
書籍『Web Scraping with Python』のコードサンプル http://shop.oreilly.com/product/0636920034391.do
「チタイ・ゴロド」カタログ用のインテリジェントパーサー。ISBNから割引の動向まで、指定されたあらゆるパラメーターに基づいた高速なデータ収集と構造化。
神策データ公式 Android 埋め込みポイント SDK は、Android 側でのデータ収集埋め込みポイント SDK として軽量級の製品で、コード埋め込みポイント、全埋め込みポイント、クリックマップ、および視覚化全埋め込みポイント機能を備えています。全埋め込みポイントは、神策公式 Android 埋め込みポイントプラグインと連携して実現され、神策データ公式 Android 埋め込みポイントプラグインはバイトコード挿入(ASM)技術を使用して Android 側の全埋め込みポイント(無埋め込みポイント、無コード埋め込みポイント、無痕埋め込みポイント、自動埋め込みポイント)を実現します。
IoT DC3 — 物理世界を AI につなぐ。Physical AI 向けのオープンソース産業 IoT ランタイム:36 種類のプロトコルドライバー、エッジからクラウドへのデータ配信、そして AI エージェントが安全かつ制御可能で追跡可能なループ内でデバイスを操作できる MCP ツールゲートウェイ。
X/Twitterリサーチスキル(Claude CodeとOpenClaw用)。エージェント型検索、スレッド追跡、深堀り、情報源ベースのブリーフィング。
ワシントン・ポストは、2015年以降、米国で警察官が職務遂行中に起こしたすべての致死的な銃撃事件のデータベースを作成中です。
神策データ公式 Web JavaScript 埋め込み SDK は、Web エンドおよび H5 エンド用の軽量データ収集埋め込み SDK です。ネイティブ JavaScript 技術を使用して、コード埋め込み、全埋め込み、可視化全埋め込み、ウェブヒートマップ、およびリーチ図などの機能を実現します。
SOAPHoundは、Active Directory Web Services (ADWS) プロトコルを介してActive Directory環境を列挙するために使用できる、カスタム開発された.NETデータコレクターツールです。
ODK Collectは、フォームを記入するためのAndroidアプリです。世界中の厳しい環境で数十億のデータポイントを収集するために使用されてきました。貢献して、世界をより良い場所にしましょう!✨📋✨
200か国以上で9,000万以上のIPを利用できる住宅用、データセンター、ISP、モバイルプロキシ。スクレイピングAPIとSERP APIも提供。Python、Node.js、PHP、Go、Java、C#、Ruby、curlのコード例付き。
Deadpoolプロキシプールツールは、Hunter、Quake、Fofaなどのサイバースペースマッピングプラットフォームから高品質のsocks5プロキシを取得するか、ローカルにsocks5プロキシをインポートし、プロキシを順番に使用してトラフィックを転送できます。
Augurが限界に達したとき、私たちはAveloxisを作成しました:OSSメトリクスデータを確実に収集するためです。3日間で40,000のリポジトリを完全に収集できたのは、良い成果だと思いませんか?
ツールがどのように使用されているかを理解するのに役立つ Node.js モジュール。使用メトリクスを Google Analytics に匿名で報告します
ビッグデータ収集、抽出プラットフォーム、zdh_webはzdhシリーズサービスの視覚化管理プラットフォームで、データ収集、スケジューリング、権限、承認フロー、私有ドメインマーケティングなどのモジュールを備えています。
よくある質問
GitHubで最も人気のある#data-collectionリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#data-collectionプロジェクトは、71,528個のスターを獲得しているNanmiCoder/MediaCrawlerです。小紅書ノート | コメントクローラー, Douyin動画 | コメントクローラー, Kuaishou動画 | コメントクローラー, B站動画 | コメントクローラー, Weibo投稿 | コメントクローラー, Baidu Tieba投稿 | Baidu Tiebaコメント返信クローラー | Zhihu質問回答記事|コメントクローラー
#data-collectionリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#data-collectionプロジェクトでは、Python, JavaScript, Java, Goが最も一般的なプログラミング言語です。
#data-collectionリポジトリのランキングはどのように算出されていますか?
#data-collectionのタグが付いた52件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は268,114個で、リポジトリあたりの平均は5,156個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。