Git Stars Git Stars

#web-scraping リポジトリ

#web-scrapingのタグが付いた、GitHub上の381件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は2,147,590個で、プロジェクトあたりの平均は5,636個です。このトピックをリードしているのは、205,758個のスターを獲得しているfirecrawl/firecrawlです。

381
リポジトリ総数
2.1M
合計スター数
5,636
リポジトリあたりの平均スター数

リポジトリ合計382件

1
firecrawl/firecrawl

エージェントをより賢くするためのナレッジインフラストラクチャ。1つのAPIで、550以上のデータプロバイダーを検索、スクレイピング、利用できます。

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-04-15
2
jackfrued/Python-100-Days

Python - 初心者からマスターまで100日

jackfrued
⭐ 187,961 Jupyter Notebook 👤 jackfrued User 🕐 更新日時 2026-07-29 📅 作成日 2018-03-01
3
ytdl-org/youtube-dl

YouTube.com および他のビデオサイトからビデオをダウンロードするためのコマンドラインプログラム

ytdl-org
⭐ 141,627 Python 👤 ytdl-org Organization 🕐 更新日時 2026-11-06 📅 作成日 2010-10-31
4
browser-use/browser-use

AIブラウザーエージェント向けのオープンソースPythonライブラリと、ステルスブラウザーおよびホスト型エージェントAPIを提供するBrowser Use Cloud。

browser-use
⭐ 121,654 Python 👤 browser-use Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-10-31
5
D4Vinci/Scrapling

🕷️ 1件のリクエストから大規模なクロールまで、あらゆる用途に対応する最高のウェブスクレイピングフレームワーク!遠慮せずにこちらから参加してください:https://discord.gg/EMgGbDceNQ 毎日のヒントや便利なテクニックはこちらをフォロー:https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 更新日時 2026-11-17 📅 作成日 2024-10-13
6
unclecode/crawl4ai

公式 Crawl4AI Cloud:AIエージェント向けの、ホスト型ウェブスクレイピング・抽出・検索API。APIキーは無料で、毎月1,000クレジットを利用でき、カード登録も不要です。完全なオープンソースです。このリポジトリにはサービスを支えるApache-2.0ライセンスのクローラーが含まれており、自分でホストすることもできます。

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 更新日時 2026-11-20 📅 作成日 2024-05-09
7
NanmiCoder/MediaCrawler

小紅書ノート | コメントクローラー, Douyin動画 | コメントクローラー, Kuaishou動画 | コメントクローラー, B站動画 | コメントクローラー, Weibo投稿 | コメントクローラー, Baidu Tieba投稿 | Baidu Tiebaコメント返信クローラー | Zhihu質問回答記事|コメントクローラー

NanmiCoder
⭐ 71,528 Python 👤 NanmiCoder User 🕐 更新日時 2026-11-21 📅 作成日 2023-06-09
8
scrapy/scrapy

Scrapy、Python用の高速で高レベルなウェブクローリング&スクレイピングフレームワーク。

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 更新日時 2026-11-19 📅 作成日 2010-02-22
9
soimort/you-get

:arrow_double_down: ウェブをスクレイプするダムダウンロード

soimort
⭐ 56,851 Python 👤 soimort User 🕐 更新日時 2026-11-15 📅 作成日 2012-08-20
10
gedoor/legado

Legado 3.0 Book Reader with powerful controls & full functions❤️読書3.0、読書はカスタムソースでオンラインコンテンツを読み取れるツールで、ネットワーク文学愛好家に便利で迅速で快適な試し読み体験を提供します。

gedoor
⭐ 47,268 Kotlin 👤 gedoor User 🕐 更新日時 2026-05-27 📅 作成日 2019-05-22
11
JCodesMore/ai-website-cloner-template

AIコーディングエージェントを使って1つのコマンドで任意のウェブサイトをクローン

JCodesMore
⭐ 39,582 TypeScript 👤 JCodesMore User 🕐 更新日時 2026-11-10 📅 作成日 2026-03-13
12
dgtlmoon/changedetection.io

ウェブサイトの変更検知、ウェブページの監視、変更通知に最適な、最も使いやすいツールです。コンテンツの変更、値下げ、再入荷通知、ウェブサイトの改ざん監視にぴったり。MCPも含まれています!すべて無料で利用するか、SaaSプランをお楽しみください!

dgtlmoon
⭐ 35,939 Python 👤 dgtlmoon User 🕐 更新日時 2026-11-20 📅 作成日 2021-01-27
13
CloakHQ/CloakBrowser

あらゆるボット検出テストをクリアするステルス版 Chromium。ソースコードレベルのフィンガープリントパッチを備え、Playwright をそのまま置き換えられます。50 件以上のテストに合格。

CloakHQ
⭐ 33,007 Python 👤 CloakHQ Organization 🕐 更新日時 2026-11-20 📅 作成日 2026-02-22
14
ScrapeGraphAI/Scrapegraph-ai

AIベースのPythonスクレイパー

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 更新日時 2026-10-06 📅 作成日 2024-01-27
15
apify/crawlee

Crawlee—Node.js用のウェブスクレイピングおよびブラウザ自動化ライブラリで、信頼性の高いクローラーを構築します。JavaScriptとTypeScriptで。AI、LLMs、RAG、またはGPTsのためのデータ抽出。ウェブサイトからHTML、PDF、JPG、PNG、およびその他のファイルをダウンロード。Puppeteer、Playwright、Cheerio、JSDOM、および生のHTTPと連携。ヘッドフルおよびヘッドレスモードの両方。プロキシローテーション付き。

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 更新日時 2026-11-21 📅 作成日 2016-08-26
16
browserbase/stagehand

ウェブ上のあらゆるサイトからデータを抽出し、操作するための SDK。Claude Code、Codex、Eve、Mastra などを使って始めましょう。

browserbase
⭐ 26,109 TypeScript 👤 browserbase Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-03-24
17
lexmount/moli

AIエージェントに最適なヘッドレスブラウザ。軽量・高速・高互換性。Rustで構築

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-08-10
18
Evil0ctal/Douyin_TikTok_Download_API

🚀 Douyin、TikTok、Bilibiliのデータ収集と、ウォーターマークなし動画のダウンロードに対応したセルフホスト型API。MCP経由でのAIエージェントからの呼び出しと、オフライン音声文字起こしに対応。Dockerでワンクリックデプロイ。| TikTok、Douyin、Bilibili対応のセルフホスト型スクレイパー兼ウォーターマークなし動画ダウンローダー。非同期REST API、AIエージェント向けMCPサーバー、CLI、Webコンソールに加え、ダウンロードした動画のオフライン音声文字起こしにも対応。自動修復するIDプール、PostgreSQLアーカイブを備え、`docker compose up`一発で起動。

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 更新日時 2026-11-20 📅 作成日 2021-11-07
19
getmaxun/maxun

あらゆるウェブサイトを構造化APIに変換。ウェブ上の情報を抽出、自動化、検索、監視できます。

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 更新日時 2026-11-20 📅 作成日 2023-10-23
20
MODSetter/SurfSense

ネットワークから隔離され、プライバシーを重視したオープンソースのNotebookLM代替ツール。ドキュメントを調査、変換、編集するAIエージェントです。Discordに参加してください:https://discord.gg/ejRNvftDp9

MODSetter
⭐ 16,907 Python 👤 MODSetter User 🕐 更新日時 2026-11-14 📅 作成日 2024-07-30
21
yusufkaraaslan/Skill_Seekers

ドキュメントウェブサイト、GitHub リポジトリ、および PDF を、自動競合検出機能を備えた Claude AI スキルに変換します

yusufkaraaslan
⭐ 15,351 Python 👤 yusufkaraaslan User 🕐 更新日時 2026-11-16 📅 作成日 2025-10-17
22
pjialin/py12306

🚂 12306 购票アシスタント、クラスター対応、多アカウント、多タスク购票および Web ページ管理

pjialin
⭐ 14,960 Python 👤 pjialin User 🕐 更新日時 2026-10-01 📅 作成日 2019-01-07
23
nanobrowser/nanobrowser

Web自動化のためのオープンソースAIエージェント。ログイン済みの実際のブラウザーを使って、日常のタスクを自動化できます。

nanobrowser
⭐ 14,359 TypeScript 👤 nanobrowser Organization 🕐 更新日時 2026-11-17 📅 作成日 2024-12-31
24
seleniumbase/SeleniumBase

エンドツーエンドテスト、スクレイピング、ステルス操作に対応した、高速で信頼性の高いブラウザー自動化。CDPモードでボット検出を回避します。pytest、Playwright、MCPと連携できます。

seleniumbase
⭐ 13,272 Python 👤 seleniumbase Organization 🕐 更新日時 2026-11-21 📅 作成日 2014-03-04
25
jiji262/douyin-downloader

単一コンテンツとプロフィール単位の一括ダウンロードの両方に対応した実用的なDouyinダウンローダーです。進捗表示、リトライ、SQLiteによる重複排除、ブラウザフォールバックをサポートしています。動画、画像アルバム、コレクション、音楽(オリジナル音源)の一括ダウンロードに対応しています。

jiji262
⭐ 12,644 Python 👤 jiji262 User 🕐 更新日時 2026-11-21 📅 作成日 2023-05-25
26
jo-inc/camofox-browser

AIエージェント向けステルスヘッドレスブラウザ — Cloudflare、ボット検知、アンチスクレイピングを回避。Puppeteer/Playwrightのドロップイン代替。

jo-inc
⭐ 12,437 JavaScript 👤 jo-inc Organization 🕐 更新日時 2026-11-10 📅 作成日 2026-01-26
27
jhy/jsoup

jsoup: Java HTML パーサー。HTML の編集、クリーンアップ、スクラッピングおよび XSS 安全性のために構築。

jhy
⭐ 11,418 Java 👤 jhy User 🕐 更新日時 2026-11-18 📅 作成日 2009-12-19
28
NopeCHALLC/nopecha-extension

ブラウザ用の自動CAPTCHAソルバー。Selenium、Puppeteer、Playwrightなどで動作します。

NopeCHALLC
⭐ 11,140 👤 NopeCHALLC User 🕐 更新日時 2026-10-02 📅 作成日 2023-03-23
29
pinchtab/pinchtab

高性能ブラウザ自動化ブリッジおよび複数インスタンスのオーケストレーター、先進的なステルス注入とリアルタイムダッシュボード付き。

pinchtab
⭐ 10,599 Go 👤 pinchtab Organization 🕐 更新日時 2026-11-10 📅 作成日 2026-02-15
30
apify/crawlee-python

Crawlee — 信頼性の高いクローラーを構築するための、Python向けWebスクレイピングおよびブラウザー自動化ライブラリです。Pydantic AIを介してLLMで構造化データを抽出したり、Stagehandを使って自然言語でブラウザーを操作したりできます。BeautifulSoup、Parsel、Playwright、生のHTTPに対応。HTML、PDF、画像などのファイルをダウンロードできます。プロキシのローテーション機能も含まれています。

apify
⭐ 9,679 Python 👤 apify Organization 🕐 更新日時 2026-11-20 📅 作成日 2024-01-10
31
scrapinghub/portia

Scrapyのためのビジュアルスクレイピング

scrapinghub
⭐ 9,479 Python 👤 scrapinghub Organization 🕐 更新日時 2024-06-26 📅 作成日 2014-03-21
32
nashsu/FreeAskInternet

FreeAskInternetは、GPUを必要としない、完全に無料のプライベートなローカル実行検索アグリゲーター&回答ジェネレーターであり、複数のLLMを使用しています。ユーザーは質問をすることができ、システムはマルチエンジン検索を行い、検索結果をLLMと組み合わせて、検索結果に基づいた回答を生成します。すべて無料で利用できます。

nashsu
⭐ 8,734 Python 👤 nashsu User 🕐 更新日時 2024-04-18 📅 作成日 2024-04-05
33
cv-cat/Spider_XHS

小紅書(RED)クローラーによるデータ収集、小紅書リバースエンジニアリング、ダイレクトメッセージ、ライブ配信、小紅書全域運営ソリューション

cv-cat
⭐ 8,542 Python 👤 cv-cat User 🕐 更新日時 2026-10-22 📅 作成日 2023-08-08
34
cporter202/API-mega-list

このGitHubリポジトリは、シンプルな自動化から本格的なアプリケーションまで、あらゆるものを構築するためにすぐに使い始められるAPIの強力なコレクションです。GitHub上で最も価値のあるAPIリストの一つです。💪

cporter202
⭐ 8,406 JavaScript 👤 cporter202 User 🕐 更新日時 2026-11-19 📅 作成日 2025-12-09
35
ericchiang/pup

コマンドラインでのHTML解析

ericchiang
⭐ 8,372 HTML 👤 ericchiang User 🕐 更新日時 2024-05-02 📅 作成日 2014-09-01
36
mherrmann/helium

Pythonを使った軽量ウェブオートメーション

mherrmann
⭐ 8,333 Python 👤 mherrmann User 🕐 更新日時 2026-10-22 📅 作成日 2019-11-26
37
gosom/google-maps-scraper

Google Mapsからデータをスクレイピング。名前、住所、電話番号、ウェブサイトURL、評価、レビュー数、緯度と経度、レビュー、メールなどを各場所から抽出します。

gosom
⭐ 8,291 Go 👤 gosom User 🕐 更新日時 2026-11-21 📅 作成日 2023-04-22
38
lorien/awesome-web-scraping

ウェブスクレイピングとデータ処理のためのライブラリ、ツール、APIのリスト。

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 更新日時 2026-11-21 📅 作成日 2015-08-12
39
alirezamika/autoscraper

Python 用のスマート、自動、高速、軽量な Web スクレイパー

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 更新日時 2026-07-29 📅 作成日 2020-08-31
40
firecrawl/firecrawl-mcp-server

公式 Firecrawl MCP サーバー。AI エージェント向けのコンテキスト API です。任意の MCP クライアントから、Web の検索、スクレイピング、操作に加え、解析、クロール、マッピング、Agent と Monitor の利用ができます。

firecrawl
⭐ 7,871 JavaScript 👤 firecrawl Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-12-06
41
WECENG/ticket-purchase

大麦自動チケット購入、人員、都市、日付、価格の選択をサポート

WECENG
⭐ 7,844 Python 👤 WECENG User 🕐 更新日時 2026-05-14 📅 作成日 2023-10-12
42
mgdm/htmlq

jq のように、HTML 用。

mgdm
⭐ 7,591 Rust 👤 mgdm User 🕐 更新日時 2026-05-27 📅 作成日 2019-05-07
43
go-rod/rod

Web 自動化およびスクレイピングのための Chrome DevTools プロトコル ドライバー。

go-rod
⭐ 7,160 Go 👤 go-rod Organization 🕐 更新日時 2026-08-11 📅 作成日 2020-01-21
44
adbar/trafilatura

Webからテキストとメタデータを収集するためのPythonおよびコマンドラインツール:クローリング、スクラッピング、抽出、CSV、JSON、HTML、MD、TXT、XMLとして出力

adbar
⭐ 7,157 Python 👤 adbar User 🕐 更新日時 2026-11-20 📅 作成日 2019-04-08
45
autoscrape-labs/pydoll

Pydollは、WebDriverなしでChromiumベースのブラウザを自動化し、リアルなインタラクションを提供するライブラリです。

autoscrape-labs
⭐ 7,145 HTML 👤 autoscrape-labs Organization 🕐 更新日時 2026-11-08 📅 作成日 2024-10-27
46
lexiforest/curl_cffi

cffiを介したcurl-impersonateフォークのPythonバインディング。ブラウザのTLS/JA3/HTTP2フィンガープリントを模倣できるHTTPクライアント。

lexiforest
⭐ 6,909 Python 👤 lexiforest User 🕐 更新日時 2026-11-21 📅 作成日 2022-03-10
47
browser-act/skills

AIエージェント向けに構築されたブラウザ自動化CLI。アンチボットの壁を突破し、行き詰まったら複数のプラットフォームで人間に引き継ぎます。並列マルチタスク実行、独立したマルチセッション操作、分離されたマルチアカウントブラウジング。

browser-act
⭐ 6,385 Python 👤 browser-act Organization 🕐 更新日時 2026-11-04 📅 作成日 2026-02-06
48
nickscamara/open-deep-research

オープンソースのディープリサーチクローン。Firecrawlで抽出された大量のWebデータに基づいて推論するAIエージェント

nickscamara
⭐ 6,242 TypeScript 👤 nickscamara User 🕐 更新日時 2025-05-07 📅 作成日 2025-02-03
49
MontFerret/ferret

構造化抽出ワークフローのための宣言型データ自動化言語とGoランタイム。

MontFerret
⭐ 6,025 Go 👤 MontFerret Organization 🕐 更新日時 2026-11-19 📅 作成日 2018-08-23
50
RedSiege/EyeWitness

EyeWitnessは、Webサイトのスクリーンショットを取得し、サーバーヘッダー情報を提供し、可能な場合はデフォルトの認証情報を特定するように設計されています。

RedSiege
⭐ 5,906 Python 👤 RedSiege Organization 🕐 更新日時 2026-01-05 📅 作成日 2014-02-26

よくある質問

1

GitHubで最も人気のある#web-scrapingリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#web-scrapingプロジェクトは、205,758個のスターを獲得しているfirecrawl/firecrawlです。エージェントをより賢くするためのナレッジインフラストラクチャ。1つのAPIで、550以上のデータプロバイダーを検索、スクレイピング、利用できます。

2

#web-scrapingリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#web-scrapingプロジェクトでは、Python, TypeScript, JavaScript, Goが最も一般的なプログラミング言語です。

3

#web-scrapingリポジトリのランキングはどのように算出されていますか?

#web-scrapingのタグが付いた381件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は2,147,590個で、リポジトリあたりの平均は5,636個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。