Git Stars Git Stars

#web-scraper リポジトリ

#web-scraperのタグが付いた、GitHub上の36件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は565,282個で、プロジェクトあたりの平均は15,702個です。このトピックをリードしているのは、205,758個のスターを獲得しているfirecrawl/firecrawlです。

36
リポジトリ総数
565,282
合計スター数
15,702
リポジトリあたりの平均スター数

リポジトリ合計36件

1
firecrawl/firecrawl

エージェントをより賢くするためのナレッジインフラストラクチャ。1つのAPIで、550以上のデータプロバイダーを検索、スクレイピング、利用できます。

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-04-15
2
Panniantong/Agent-Reach

AIエージェントにインターネット全体を閲覧できる視界を与えましょう。Twitter、Reddit、YouTube、GitHub、Bilibili、XiaoHongShu を読む&検索 — CLI 1つでAPI料金ゼロ。

Panniantong
⭐ 113,683 Python 👤 Panniantong User 🕐 更新日時 2026-11-08 📅 作成日 2026-02-24
3
D4Vinci/Scrapling

🕷️ 1件のリクエストから大規模なクロールまで、あらゆる用途に対応する最高のウェブスクレイピングフレームワーク!遠慮せずにこちらから参加してください:https://discord.gg/EMgGbDceNQ 毎日のヒントや便利なテクニックはこちらをフォロー:https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 更新日時 2026-11-17 📅 作成日 2024-10-13
4
ScrapeGraphAI/Scrapegraph-ai

AIベースのPythonスクレイパー

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 更新日時 2026-10-06 📅 作成日 2024-01-27
5
lexmount/moli

AIエージェントに最適なヘッドレスブラウザ。軽量・高速・高互換性。Rustで構築

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-08-10
6
getmaxun/maxun

あらゆるウェブサイトを構造化APIに変換。ウェブ上の情報を抽出、自動化、検索、監視できます。

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 更新日時 2026-11-20 📅 作成日 2023-10-23
7
gosom/google-maps-scraper

Google Mapsからデータをスクレイピング。名前、住所、電話番号、ウェブサイトURL、評価、レビュー数、緯度と経度、レビュー、メールなどを各場所から抽出します。

gosom
⭐ 8,291 Go 👤 gosom User 🕐 更新日時 2026-11-21 📅 作成日 2023-04-22
8
BruceDone/awesome-crawler

さまざまな言語の素晴らしいウェブクローラー、スパイダーのコレクション

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 更新日時 2024-06-16 📅 作成日 2016-10-10
9
jaypyles/Scraperr

セルフホスト型Webスクレイパー。

jaypyles
⭐ 4,876 TypeScript 👤 jaypyles User 🕐 更新日時 2025-10-12 📅 作成日 2024-07-06
10
AhmadHassan-BTed/JinaClip

プロ仕様のローカル優先型ブラウザー拡張機能。ブラウザーの実行環境内だけで、あらゆるWebページを高精度でLLMに適したMarkdownに変換します。クラウド不使用でプライバシーを重視し、AIワークフロー専用に設計されています。

AhmadHassan-BTed
⭐ 4,160 JavaScript 👤 AhmadHassan-BTed User 🕐 更新日時 2026-11-09 📅 作成日 2026-05-16
11
oxylabs/google-ai-mode-scraper

ブロックなしでGoogle AIモードの応答を大規模にスクレイピングします。

oxylabs
⭐ 3,619 Java 👤 oxylabs Organization 🕐 更新日時 2026-11-18 📅 作成日 2025-09-08
12
arpit-omprakash/100ProjectsOfCode

実践的な知識構築プロジェクトのリスト。

arpit-omprakash
⭐ 3,548 👤 arpit-omprakash User 🕐 更新日時 2024-04-12 📅 作成日 2020-10-05
13
itsOwen/CyberScraper-2077

LLM搭載の強力なWebスクレイパー | OpenAI, Gemini & Ollama

itsOwen
⭐ 3,302 Python 👤 itsOwen User 🕐 更新日時 2026-10-12 📅 作成日 2024-08-17
14
php-curl-class/php-curl-class

PHP Curl Class は、HTTP リクエストの送信と Web API との統合を簡単にします。

php-curl-class
⭐ 3,293 PHP 👤 php-curl-class Organization 🕐 更新日時 2026-11-17 📅 作成日 2013-08-16
15
oxylabs/how-to-scrape-amazon-product-data

Python を使用して Amazon から製品データ(タイトル、評価、価格、画像、説明を含む)を抽出するプロセス。

oxylabs
⭐ 3,248 Python 👤 oxylabs Organization 🕐 更新日時 2026-11-18 📅 作成日 2024-09-03
16
spider-rs/spider

Rustによる基盤的な低レイテンシーWebデータ収集

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 更新日時 2026-11-20 📅 作成日 2018-01-07
17
lncrawl/lightnovel-crawler

オンラインソースから電子書籍を生成してダウンロードします。

lncrawl
⭐ 2,717 Python 👤 lncrawl Organization 🕐 更新日時 2026-11-11 📅 作成日 2018-01-17
18
anaskhan96/soup

Go言語で書かれたWebスクレイパー、BeautifulSoupに類似

anaskhan96
⭐ 2,302 Go 👤 anaskhan96 User 🕐 更新日時 2026-10-24 📅 作成日 2017-02-23
19
oxylabs/how-to-scrape-google-scholar

PythonとOxylabs SERP Scraper APIを使用してGoogle Scholarからタイトル、著者、引用を抽出するためのガイド。

oxylabs
⭐ 2,095 Python 👤 oxylabs Organization 🕐 更新日時 2026-11-18 📅 作成日 2024-03-07
20
oxylabs/how-to-scrape-amazon-prices

PythonおよびOxylabs E-Commerce Scraper APIを使用してAmazonからベストセラー商品、検索結果、現在利用可能な取引を抽出するためのコード。

oxylabs
⭐ 2,083 Python 👤 oxylabs Organization 🕐 更新日時 2026-11-18 📅 作成日 2024-03-21
21
gildas-lormeau/single-file-cli

単一のHTMLファイルに完全なWebページを忠実にコピーして保存するためのCLIツール(SingleFileベース)

gildas-lormeau
⭐ 1,702 JavaScript 👤 gildas-lormeau User 🕐 更新日時 2026-11-18 📅 作成日 2022-05-31
22
fastcrw/crw

Rust製の高速かつ軽量なFirecrawl/Tavily代替ツール。AIエージェント向けのMCPサーバーを備えたWebスクレイパー、クローラー、検索API。Firecrawl互換のドロップインAPI(/scrape, /crawl, /search)を提供。1K URLのベンチマークでTavilyより2.3倍、Firecrawlより1.5倍高速。6MBのRAM、シングルバイナリ。セルフホストまたはマネージドクラウドで利用可能。

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-03-02
23
dondai44423/donsetch

AIエージェント向けのWeb取得、検索、クロール。Rustでゼロから構築。キー不要、アカウント不要。AGPL v3。

dondai44423
⭐ 1,138 Rust 👤 dondai44423 User 🕐 更新日時 2026-11-21 📅 作成日 2026-08-07
24
juancarlospaco/faster-than-requests

Python 3 でより速いリクエスト

juancarlospaco
⭐ 1,131 Nim 👤 juancarlospaco User 🕐 更新日時 2026-11-19 📅 作成日 2018-11-13
25
0x676e67/wreq

人間工学に基づいた、プライバシーに配慮した Rust HTTP クライアント

0x676e67
⭐ 1,118 Rust 👤 0x676e67 User 🕐 更新日時 2026-11-20 📅 作成日 2024-09-19
26
oxylabs/ai-scraper-py

AI Scraperは、比類ない精度でデータ抽出を自動化するために構築された強力なスクレイピングツールおよびスクレイピングエージェントです。多様なウェブソースにわたるスケーラブルなAIスクレイピングタスクに最適で、このツールは複雑なスクレイピング操作を効率的でインテリジェントなワークフローに簡素化します。

oxylabs
⭐ 1,089 👤 oxylabs Organization 🕐 更新日時 2026-04-02 📅 作成日 2025-09-25
27
postmodern/spidr

多用途の Ruby ウェブクローリングライブラリで、サイト、マルチドメイン、特定のリンク、または無限にクローリングできます。Spidr は高速で使いやすいように設計されています。

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 更新日時 2026-01-12 📅 作成日 2009-03-08
28
cassidoo/scrapers

ウェブ全体のスクレイパー一覧。

cassidoo
⭐ 723 👤 cassidoo User 🕐 更新日時 2025-02-07 📅 作成日 2016-04-18
29
lumpinif/deepcrawl

100% 無料で完全にオープンソースの Firecrawl edge 代替品、エージェント向けにリンク抽出が優れており、自分で Cloudflare または Vercel にデプロイ可能。

lumpinif
⭐ 704 TypeScript 👤 lumpinif User 🕐 更新日時 2026-08-24 📅 作成日 2025-05-22
30
shaikhsajid1111/social-media-profile-scrapers

ソーシャルメディア全体のユーザーデータを取得する

shaikhsajid1111
⭐ 588 Python 👤 shaikhsajid1111 User 🕐 更新日時 2026-09-15 📅 作成日 2020-04-26
31
spekulatius/PHPScraper

PHP用のユニバーサルWebユーティリティ。

spekulatius
⭐ 588 PHP 👤 spekulatius User 🕐 更新日時 2026-09-08 📅 作成日 2020-04-21
32
jaebradley/basketball_reference_web_scraper

Basketball Reference を経由した NBA 統計 API

jaebradley
⭐ 563 HTML 👤 jaebradley User 🕐 更新日時 2026-11-21 📅 作成日 2015-10-23
33
oxylabs/oxylabs-ai-studio-openclaw

Oxylabs AI-Studio公式Openclawプラグイン

oxylabs
⭐ 549 TypeScript 👤 oxylabs Organization 🕐 更新日時 2026-09-16 📅 作成日 2026-02-26
34
oxylabs/quick-start-guide

OxylabsのWeb Scraper API無料トライアルを最大限に活用するためのPythonクイックスタートガイド。

oxylabs
⭐ 512 👤 oxylabs Organization 🕐 更新日時 2026-06-19 📅 作成日 2022-03-14
35
AlexMathew/scrapple

半自動ウェブコンテンツ抽出器作成のためのフレームワーク

AlexMathew
⭐ 506 Python 👤 AlexMathew User 🕐 更新日時 2026-01-16 📅 作成日 2014-12-13
36
oxylabs/web-scraper-api

リアルタイムかつ大規模なデータ抽出に対応するオールインワンのウェブスクレイピング API。プロキシ、CAPTCHA 管理、JavaScript のレンダリング、解析を 1 回のリクエストで処理し、HTML または構造化 JSON を返します。

oxylabs
⭐ 503 👤 oxylabs Organization 🕐 更新日時 2026-10-01 📅 作成日 2026-06-05

よくある質問

1

GitHubで最も人気のある#web-scraperリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#web-scraperプロジェクトは、205,758個のスターを獲得しているfirecrawl/firecrawlです。エージェントをより賢くするためのナレッジインフラストラクチャ。1つのAPIで、550以上のデータプロバイダーを検索、スクレイピング、利用できます。

2

#web-scraperリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#web-scraperプロジェクトでは、Python, TypeScript, Rust, Goが最も一般的なプログラミング言語です。

3

#web-scraperリポジトリのランキングはどのように算出されていますか?

#web-scraperのタグが付いた36件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は565,282個で、リポジトリあたりの平均は15,702個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。