#web-crawler リポジトリ
#web-crawlerのタグが付いた、GitHub上の39件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は470,326個で、プロジェクトあたりの平均は12,059個です。このトピックをリードしているのは、205,758個のスターを獲得しているfirecrawl/firecrawlです。
リポジトリ合計39件
公式 Crawl4AI Cloud:AIエージェント向けの、ホスト型ウェブスクレイピング・抽出・検索API。APIキーは無料で、毎月1,000クレジットを利用でき、カード登録も不要です。完全なオープンソースです。このリポジトリにはサービスを支えるApache-2.0ライセンスのクローラーが含まれており、自分でホストすることもできます。
Crawlee—Node.js用のウェブスクレイピングおよびブラウザ自動化ライブラリで、信頼性の高いクローラーを構築します。JavaScriptとTypeScriptで。AI、LLMs、RAG、またはGPTsのためのデータ抽出。ウェブサイトからHTML、PDF、JPG、PNG、およびその他のファイルをダウンロード。Puppeteer、Playwright、Cheerio、JSDOM、および生のHTTPと連携。ヘッドフルおよびヘッドレスモードの両方。プロキシローテーション付き。
Crawlee — 信頼性の高いクローラーを構築するための、Python向けWebスクレイピングおよびブラウザー自動化ライブラリです。Pydantic AIを介してLLMで構造化データを抽出したり、Stagehandを使って自然言語でブラウザーを操作したりできます。BeautifulSoup、Parsel、Playwright、生のHTTPに対応。HTML、PDF、画像などのファイルをダウンロードできます。プロキシのローテーション機能も含まれています。
公式 Firecrawl MCP サーバー。AI エージェント向けのコンテキスト API です。任意の MCP クライアントから、Web の検索、スクレイピング、操作に加え、解析、クロール、マッピング、Agent と Monitor の利用ができます。
AIコーディングエージェントのための頼りになるウェブ — MCPを介したローカルファーストの検索、取得、クロール、リサーチ。APIキー不要、クラウド不要、1クエリ0ドル。公開ベータ版。
オープンソースのWebスクレイピングAPI。あらゆるウェブサイトをクリーンなMarkdownや構造化されたJSONに変換します。アンチ検知ブラウザ、プロキシ自動選択、セルフホスト対応。コマンド一つで実行:make up
2017年11月20日 -- Intel/AMD上のLinux向けにC/C++で書かれた分散型オープンソース検索エンジンとスパイダー/クローラー。gigablast dot comから、ダウンロード可能なバイナリがあります。このページの一番下のREADME.mdファイルで指示を確認してください。
ウェブサイトをクロールし、リンクを検証するリンク切れチェッカー。ウェブサイト、ドキュメント、ローカルファイル内の壊れたリンク、デッドリンク、無効なURLを見つけます。SEO監査やCI/CDに最適です。
Rust製の高速かつ軽量なFirecrawl/Tavily代替ツール。AIエージェント向けのMCPサーバーを備えたWebスクレイパー、クローラー、検索API。Firecrawl互換のドロップインAPI(/scrape, /crawl, /search)を提供。1K URLのベンチマークでTavilyより2.3倍、Firecrawlより1.5倍高速。6MBのRAM、シングルバイナリ。セルフホストまたはマネージドクラウドで利用可能。
無料デスクトップSEOクローラー - Screaming Frog や類似ツールのオープンソース代替。ウェブサイトをクロールし、リンクを分析、SEOデータを抽出、結果をエクスポート。サブスクリプション料金なし。完全にカスタマイズ可能で拡張性あり!
🔥 このリポジトリには、Firecrawl を使用して開発された Web サイトやその他のプロジェクトを含む、完全なアプリケーションの例が含まれています。
多用途の Ruby ウェブクローリングライブラリで、サイト、マルチドメイン、特定のリンク、または無限にクローリングできます。Spidr は高速で使いやすいように設計されています。
SRC脆弱性発見におけるページ情報収集シナリオ向けのブラウザ拡張機能で、ページおよび関連リソースから機密情報と不審な手がかりを自動的に収集し、基本スキャン、深層再帰スキャン、一括APIテスト、結果のエクスポート、およびカスタム正規表現設定をサポートします。
プログラミングの知識がない人でも、大規模に質の高いリードを獲得できる Python スクリプトです。このリポジトリには、リード獲得に使用されるさまざまな汎用的な手法が収録されます。
AI向けのオープンソースWebインフラストラクチャ。ウェブをスクレイプ、クロール、そして自動化し、Markdownをクリーンアップ、ブラウザセッションを管理し、エージェントがすぐに使える状態にします。
SEC EDGAR財務報告をダウンロードし、特定の項目セクションからテキストデータをきれいで構造化されたJSONファイルに抽出できる唯一のオープンソースツールキット。WWW 2025 @ オーストラリア・シドニーで発表 (https://dl.acm.org/doi/10.1145/3701716.3715289)
よくある質問
GitHubで最も人気のある#web-crawlerリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#web-crawlerプロジェクトは、205,758個のスターを獲得しているfirecrawl/firecrawlです。エージェントをより賢くするためのナレッジインフラストラクチャ。1つのAPIで、550以上のデータプロバイダーを検索、スクレイピング、利用できます。
#web-crawlerリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#web-crawlerプロジェクトでは、Python, TypeScript, Rust, Goが最も一般的なプログラミング言語です。
#web-crawlerリポジトリのランキングはどのように算出されていますか?
#web-crawlerのタグが付いた39件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は470,326個で、リポジトリあたりの平均は12,059個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。