#web-scraper リポジトリ
#web-scraperのタグが付いた、GitHub上の36件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は565,282個で、プロジェクトあたりの平均は15,702個です。このトピックをリードしているのは、205,758個のスターを獲得しているfirecrawl/firecrawlです。
リポジトリ合計36件
AIエージェントにインターネット全体を閲覧できる視界を与えましょう。Twitter、Reddit、YouTube、GitHub、Bilibili、XiaoHongShu を読む&検索 — CLI 1つでAPI料金ゼロ。
🕷️ 1件のリクエストから大規模なクロールまで、あらゆる用途に対応する最高のウェブスクレイピングフレームワーク!遠慮せずにこちらから参加してください:https://discord.gg/EMgGbDceNQ 毎日のヒントや便利なテクニックはこちらをフォロー:https://x.com/Scrapling_dev
Google Mapsからデータをスクレイピング。名前、住所、電話番号、ウェブサイトURL、評価、レビュー数、緯度と経度、レビュー、メールなどを各場所から抽出します。
プロ仕様のローカル優先型ブラウザー拡張機能。ブラウザーの実行環境内だけで、あらゆるWebページを高精度でLLMに適したMarkdownに変換します。クラウド不使用でプライバシーを重視し、AIワークフロー専用に設計されています。
Python を使用して Amazon から製品データ(タイトル、評価、価格、画像、説明を含む)を抽出するプロセス。
PythonとOxylabs SERP Scraper APIを使用してGoogle Scholarからタイトル、著者、引用を抽出するためのガイド。
PythonおよびOxylabs E-Commerce Scraper APIを使用してAmazonからベストセラー商品、検索結果、現在利用可能な取引を抽出するためのコード。
Rust製の高速かつ軽量なFirecrawl/Tavily代替ツール。AIエージェント向けのMCPサーバーを備えたWebスクレイパー、クローラー、検索API。Firecrawl互換のドロップインAPI(/scrape, /crawl, /search)を提供。1K URLのベンチマークでTavilyより2.3倍、Firecrawlより1.5倍高速。6MBのRAM、シングルバイナリ。セルフホストまたはマネージドクラウドで利用可能。
AI Scraperは、比類ない精度でデータ抽出を自動化するために構築された強力なスクレイピングツールおよびスクレイピングエージェントです。多様なウェブソースにわたるスケーラブルなAIスクレイピングタスクに最適で、このツールは複雑なスクレイピング操作を効率的でインテリジェントなワークフローに簡素化します。
多用途の Ruby ウェブクローリングライブラリで、サイト、マルチドメイン、特定のリンク、または無限にクローリングできます。Spidr は高速で使いやすいように設計されています。
100% 無料で完全にオープンソースの Firecrawl edge 代替品、エージェント向けにリンク抽出が優れており、自分で Cloudflare または Vercel にデプロイ可能。
リアルタイムかつ大規模なデータ抽出に対応するオールインワンのウェブスクレイピング API。プロキシ、CAPTCHA 管理、JavaScript のレンダリング、解析を 1 回のリクエストで処理し、HTML または構造化 JSON を返します。
よくある質問
GitHubで最も人気のある#web-scraperリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#web-scraperプロジェクトは、205,758個のスターを獲得しているfirecrawl/firecrawlです。エージェントをより賢くするためのナレッジインフラストラクチャ。1つのAPIで、550以上のデータプロバイダーを検索、スクレイピング、利用できます。
#web-scraperリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#web-scraperプロジェクトでは、Python, TypeScript, Rust, Goが最も一般的なプログラミング言語です。
#web-scraperリポジトリのランキングはどのように算出されていますか?
#web-scraperのタグが付いた36件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は565,282個で、リポジトリあたりの平均は15,702個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。