#scraping リポジトリ
#scrapingのタグが付いた、GitHub上の109件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は768,143個で、プロジェクトあたりの平均は7,047個です。このトピックをリードしているのは、205,758個のスターを獲得しているfirecrawl/firecrawlです。
リポジトリ合計109件
🕷️ 1件のリクエストから大規模なクロールまで、あらゆる用途に対応する最高のウェブスクレイピングフレームワーク!遠慮せずにこちらから参加してください:https://discord.gg/EMgGbDceNQ 毎日のヒントや便利なテクニックはこちらをフォロー:https://x.com/Scrapling_dev
Crawlee—Node.js用のウェブスクレイピングおよびブラウザ自動化ライブラリで、信頼性の高いクローラーを構築します。JavaScriptとTypeScriptで。AI、LLMs、RAG、またはGPTsのためのデータ抽出。ウェブサイトからHTML、PDF、JPG、PNG、およびその他のファイルをダウンロード。Puppeteer、Playwright、Cheerio、JSDOM、および生のHTTPと連携。ヘッドフルおよびヘッドレスモードの両方。プロキシローテーション付き。
カスタム Selenium Chromedriver | ゼロ設定 | すべてのボット緩和システムを通過 (Distil / Imperva / Datadadome / CloudFlare IUAM など)
AIエージェント向けステルスヘッドレスブラウザ — Cloudflare、ボット検知、アンチスクレイピングを回避。Puppeteer/Playwrightのドロップイン代替。
Crawlee — 信頼性の高いクローラーを構築するための、Python向けWebスクレイピングおよびブラウザー自動化ライブラリです。Pydantic AIを介してLLMで構造化データを抽出したり、Stagehandを使って自然言語でブラウザーを操作したりできます。BeautifulSoup、Parsel、Playwright、生のHTTPに対応。HTML、PDF、画像などのファイルをダウンロードできます。プロキシのローテーション機能も含まれています。
Webからテキストとメタデータを収集するためのPythonおよびコマンドラインツール:クローリング、スクラッピング、抽出、CSV、JSON、HTML、MD、TXT、XMLとして出力
あらゆるウェブサイトをリバースエンジニアリングして、型付き API クライアントに変換します。Claude Code、Codex、Cursor、OpenCode に対応。
AnyCrawl 🚀: WebサイトをLLM対応データに変換し、Google/Bing/Baidu/etc.から構造化されたSERP結果を抽出するNode.js/TypeScriptクローラー。バルク処理のためのネイティブマルチスレッド。
Ungoogled Chromiumベースのオープンソースフィンガープリントブラウザ。フィンガープリントブラウザ プライバシーブラウザ
無料で新しいことを学びたいですか?心配いりません。ウェブスクレイピングと自動化の力により、このスクリプトは必要なUdemyクーポンを見つけ、有料Udemyコースにあなたを無料で登録させます!
PythonとOxylabs SERP APIを使用して、Googleトレンドデータをスクレイピングし、結果比較を行う方法を段階的に学びます。キーワード、その人気度、地域別の内訳、関連するクエリなどを抽出します。
高度なプライバシーブラウザコア、統一指紋防御:Cloudflare、Akamai、Kasada、Shape、DataDome、PerimeterX、hCaptcha、FunCaptcha、Imperva、reCAPTCHA、ThreatMetrix、Adscore
見えない Playwright:アンチボットシステムから検出されない Playwright。だから CAPTCHA もありません。同じ API、検出回避機能を備えたステルス型ヘッドレス Firefox、検出されないフィンガープリント、ボット検出の回避、Python によるウェブスクレイピングとブラウザー自動化。
OSINT チートシート、OSINT ツール、ウィキ、データセット、記事、書籍、ハッカー向け OSINT レッドチーム、OSINT のヒント、OSINT ブランチのリスト。このリポジトリは、調査するたびに成長し、調査、科学と技術、チュートリアルが含まれます。賢く使用してください。
クラウドの背後にスクレイパーのIPを隠します。さまざまなクラウドプロバイダーにプロキシサーバーをプロビジョニングして、スクレイピングの成功率を向上させます。
このチュートリアルでは、PythonとOxylabs APIを使用して公開されているGoogleデータをスクレイピングする方法を紹介します。
よくある質問
GitHubで最も人気のある#scrapingリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#scrapingプロジェクトは、205,758個のスターを獲得しているfirecrawl/firecrawlです。エージェントをより賢くするためのナレッジインフラストラクチャ。1つのAPIで、550以上のデータプロバイダーを検索、スクレイピング、利用できます。
#scrapingリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#scrapingプロジェクトでは、Python, TypeScript, Go, JavaScriptが最も一般的なプログラミング言語です。
#scrapingリポジトリのランキングはどのように算出されていますか?
#scrapingのタグが付いた109件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は768,143個で、リポジトリあたりの平均は7,047個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。