#web-scraping リポジトリ
#web-scrapingのタグが付いた、GitHub上の381件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は2,147,590個で、プロジェクトあたりの平均は5,636個です。このトピックをリードしているのは、205,758個のスターを獲得しているfirecrawl/firecrawlです。
リポジトリ合計382件
AIブラウザーエージェント向けのオープンソースPythonライブラリと、ステルスブラウザーおよびホスト型エージェントAPIを提供するBrowser Use Cloud。
🕷️ 1件のリクエストから大規模なクロールまで、あらゆる用途に対応する最高のウェブスクレイピングフレームワーク!遠慮せずにこちらから参加してください:https://discord.gg/EMgGbDceNQ 毎日のヒントや便利なテクニックはこちらをフォロー:https://x.com/Scrapling_dev
公式 Crawl4AI Cloud:AIエージェント向けの、ホスト型ウェブスクレイピング・抽出・検索API。APIキーは無料で、毎月1,000クレジットを利用でき、カード登録も不要です。完全なオープンソースです。このリポジトリにはサービスを支えるApache-2.0ライセンスのクローラーが含まれており、自分でホストすることもできます。
小紅書ノート | コメントクローラー, Douyin動画 | コメントクローラー, Kuaishou動画 | コメントクローラー, B站動画 | コメントクローラー, Weibo投稿 | コメントクローラー, Baidu Tieba投稿 | Baidu Tiebaコメント返信クローラー | Zhihu質問回答記事|コメントクローラー
Legado 3.0 Book Reader with powerful controls & full functions❤️読書3.0、読書はカスタムソースでオンラインコンテンツを読み取れるツールで、ネットワーク文学愛好家に便利で迅速で快適な試し読み体験を提供します。
ウェブサイトの変更検知、ウェブページの監視、変更通知に最適な、最も使いやすいツールです。コンテンツの変更、値下げ、再入荷通知、ウェブサイトの改ざん監視にぴったり。MCPも含まれています!すべて無料で利用するか、SaaSプランをお楽しみください!
あらゆるボット検出テストをクリアするステルス版 Chromium。ソースコードレベルのフィンガープリントパッチを備え、Playwright をそのまま置き換えられます。50 件以上のテストに合格。
Crawlee—Node.js用のウェブスクレイピングおよびブラウザ自動化ライブラリで、信頼性の高いクローラーを構築します。JavaScriptとTypeScriptで。AI、LLMs、RAG、またはGPTsのためのデータ抽出。ウェブサイトからHTML、PDF、JPG、PNG、およびその他のファイルをダウンロード。Puppeteer、Playwright、Cheerio、JSDOM、および生のHTTPと連携。ヘッドフルおよびヘッドレスモードの両方。プロキシローテーション付き。
ウェブ上のあらゆるサイトからデータを抽出し、操作するための SDK。Claude Code、Codex、Eve、Mastra などを使って始めましょう。
🚀 Douyin、TikTok、Bilibiliのデータ収集と、ウォーターマークなし動画のダウンロードに対応したセルフホスト型API。MCP経由でのAIエージェントからの呼び出しと、オフライン音声文字起こしに対応。Dockerでワンクリックデプロイ。| TikTok、Douyin、Bilibili対応のセルフホスト型スクレイパー兼ウォーターマークなし動画ダウンローダー。非同期REST API、AIエージェント向けMCPサーバー、CLI、Webコンソールに加え、ダウンロードした動画のオフライン音声文字起こしにも対応。自動修復するIDプール、PostgreSQLアーカイブを備え、`docker compose up`一発で起動。
ネットワークから隔離され、プライバシーを重視したオープンソースのNotebookLM代替ツール。ドキュメントを調査、変換、編集するAIエージェントです。Discordに参加してください:https://discord.gg/ejRNvftDp9
ドキュメントウェブサイト、GitHub リポジトリ、および PDF を、自動競合検出機能を備えた Claude AI スキルに変換します
エンドツーエンドテスト、スクレイピング、ステルス操作に対応した、高速で信頼性の高いブラウザー自動化。CDPモードでボット検出を回避します。pytest、Playwright、MCPと連携できます。
単一コンテンツとプロフィール単位の一括ダウンロードの両方に対応した実用的なDouyinダウンローダーです。進捗表示、リトライ、SQLiteによる重複排除、ブラウザフォールバックをサポートしています。動画、画像アルバム、コレクション、音楽(オリジナル音源)の一括ダウンロードに対応しています。
AIエージェント向けステルスヘッドレスブラウザ — Cloudflare、ボット検知、アンチスクレイピングを回避。Puppeteer/Playwrightのドロップイン代替。
Crawlee — 信頼性の高いクローラーを構築するための、Python向けWebスクレイピングおよびブラウザー自動化ライブラリです。Pydantic AIを介してLLMで構造化データを抽出したり、Stagehandを使って自然言語でブラウザーを操作したりできます。BeautifulSoup、Parsel、Playwright、生のHTTPに対応。HTML、PDF、画像などのファイルをダウンロードできます。プロキシのローテーション機能も含まれています。
FreeAskInternetは、GPUを必要としない、完全に無料のプライベートなローカル実行検索アグリゲーター&回答ジェネレーターであり、複数のLLMを使用しています。ユーザーは質問をすることができ、システムはマルチエンジン検索を行い、検索結果をLLMと組み合わせて、検索結果に基づいた回答を生成します。すべて無料で利用できます。
このGitHubリポジトリは、シンプルな自動化から本格的なアプリケーションまで、あらゆるものを構築するためにすぐに使い始められるAPIの強力なコレクションです。GitHub上で最も価値のあるAPIリストの一つです。💪
Google Mapsからデータをスクレイピング。名前、住所、電話番号、ウェブサイトURL、評価、レビュー数、緯度と経度、レビュー、メールなどを各場所から抽出します。
公式 Firecrawl MCP サーバー。AI エージェント向けのコンテキスト API です。任意の MCP クライアントから、Web の検索、スクレイピング、操作に加え、解析、クロール、マッピング、Agent と Monitor の利用ができます。
Webからテキストとメタデータを収集するためのPythonおよびコマンドラインツール:クローリング、スクラッピング、抽出、CSV、JSON、HTML、MD、TXT、XMLとして出力
cffiを介したcurl-impersonateフォークのPythonバインディング。ブラウザのTLS/JA3/HTTP2フィンガープリントを模倣できるHTTPクライアント。
AIエージェント向けに構築されたブラウザ自動化CLI。アンチボットの壁を突破し、行き詰まったら複数のプラットフォームで人間に引き継ぎます。並列マルチタスク実行、独立したマルチセッション操作、分離されたマルチアカウントブラウジング。
EyeWitnessは、Webサイトのスクリーンショットを取得し、サーバーヘッダー情報を提供し、可能な場合はデフォルトの認証情報を特定するように設計されています。
よくある質問
GitHubで最も人気のある#web-scrapingリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#web-scrapingプロジェクトは、205,758個のスターを獲得しているfirecrawl/firecrawlです。エージェントをより賢くするためのナレッジインフラストラクチャ。1つのAPIで、550以上のデータプロバイダーを検索、スクレイピング、利用できます。
#web-scrapingリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#web-scrapingプロジェクトでは、Python, TypeScript, JavaScript, Goが最も一般的なプログラミング言語です。
#web-scrapingリポジトリのランキングはどのように算出されていますか?
#web-scrapingのタグが付いた381件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は2,147,590個で、リポジトリあたりの平均は5,636個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。