Git Stars Git Stars

#scraping リポジトリ

#scrapingのタグが付いた、GitHub上の109件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は768,143個で、プロジェクトあたりの平均は7,047個です。このトピックをリードしているのは、205,758個のスターを獲得しているfirecrawl/firecrawlです。

109
リポジトリ総数
768,143
合計スター数
7,047
リポジトリあたりの平均スター数

リポジトリ合計109件

1
firecrawl/firecrawl

エージェントをより賢くするためのナレッジインフラストラクチャ。1つのAPIで、550以上のデータプロバイダーを検索、スクレイピング、利用できます。

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-04-15
2
D4Vinci/Scrapling

🕷️ 1件のリクエストから大規模なクロールまで、あらゆる用途に対応する最高のウェブスクレイピングフレームワーク!遠慮せずにこちらから参加してください:https://discord.gg/EMgGbDceNQ 毎日のヒントや便利なテクニックはこちらをフォロー:https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 更新日時 2026-11-17 📅 作成日 2024-10-13
3
scrapy/scrapy

Scrapy、Python用の高速で高レベルなウェブクローリング&スクレイピングフレームワーク。

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 更新日時 2026-11-19 📅 作成日 2010-02-22
4
soxoj/maigret

🕵️‍♂️ ユーザー名から6,000のウェブサイトで人物の情報ファイルを収集

soxoj
⭐ 41,111 Python 👤 soxoj User 🕐 更新日時 2026-11-21 📅 作成日 2020-06-27
5
ScrapeGraphAI/Scrapegraph-ai

AIベースのPythonスクレイパー

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 更新日時 2026-10-06 📅 作成日 2024-01-27
6
apify/crawlee

Crawlee—Node.js用のウェブスクレイピングおよびブラウザ自動化ライブラリで、信頼性の高いクローラーを構築します。JavaScriptとTypeScriptで。AI、LLMs、RAG、またはGPTsのためのデータ抽出。ウェブサイトからHTML、PDF、JPG、PNG、およびその他のファイルをダウンロード。Puppeteer、Playwright、Cheerio、JSDOM、および生のHTTPと連携。ヘッドフルおよびヘッドレスモードの両方。プロキシローテーション付き。

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 更新日時 2026-11-21 📅 作成日 2016-08-26
7
gocolly/colly

Golang向けのエレガントなスクレイパーおよびクローラーフレームワーク

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 更新日時 2026-10-16 📅 作成日 2017-09-29
8
psf/requests-html

人間のための Pythonic HTML パース™

psf
⭐ 13,874 Python 👤 psf Organization 🕐 更新日時 2024-04-16 📅 作成日 2018-02-24
9
daijro/camoufox

🦊 アンチ検出ブラウザ

daijro
⭐ 13,533 C 👤 daijro User 🕐 更新日時 2026-11-19 📅 作成日 2024-07-26
10
ultrafunkamsterdam/undetected-chromedriver

カスタム Selenium Chromedriver | ゼロ設定 | すべてのボット緩和システムを通過 (Distil / Imperva / Datadadome / CloudFlare IUAM など)

ultrafunkamsterdam
⭐ 12,725 Python 👤 ultrafunkamsterdam User 🕐 更新日時 2025-07-05 📅 作成日 2019-12-22
11
jo-inc/camofox-browser

AIエージェント向けステルスヘッドレスブラウザ — Cloudflare、ボット検知、アンチスクレイピングを回避。Puppeteer/Playwrightのドロップイン代替。

jo-inc
⭐ 12,437 JavaScript 👤 jo-inc Organization 🕐 更新日時 2026-11-10 📅 作成日 2026-01-26
12
code4craft/webmagic

Javaのためのスケーラブルなウェブクローラーフレームワーク。

code4craft
⭐ 11,660 Java 👤 code4craft User 🕐 更新日時 2025-12-20 📅 作成日 2013-04-23
13
apify/crawlee-python

Crawlee — 信頼性の高いクローラーを構築するための、Python向けWebスクレイピングおよびブラウザー自動化ライブラリです。Pydantic AIを介してLLMで構造化データを抽出したり、Stagehandを使って自然言語でブラウザーを操作したりできます。BeautifulSoup、Parsel、Playwright、生のHTTPに対応。HTML、PDF、画像などのファイルをダウンロードできます。プロキシのローテーション機能も含まれています。

apify
⭐ 9,679 Python 👤 apify Organization 🕐 更新日時 2026-11-20 📅 作成日 2024-01-10
14
lorien/awesome-web-scraping

ウェブスクレイピングとデータ処理のためのライブラリ、ツール、APIのリスト。

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 更新日時 2026-11-21 📅 作成日 2015-08-12
15
alirezamika/autoscraper

Python 用のスマート、自動、高速、軽量な Web スクレイパー

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 更新日時 2026-07-29 📅 作成日 2020-08-31
16
tabulapdf/tabula

Tabula は、PDF ファイル内に閉じ込められたデータテーブルを解放するためのツールです

tabulapdf
⭐ 7,414 CSS 👤 tabulapdf Organization 🕐 更新日時 2025-03-14 📅 作成日 2013-03-11
17
adbar/trafilatura

Webからテキストとメタデータを収集するためのPythonおよびコマンドラインツール:クローリング、スクラッピング、抽出、CSV、JSON、HTML、MD、TXT、XMLとして出力

adbar
⭐ 7,157 Python 👤 adbar User 🕐 更新日時 2026-11-20 📅 作成日 2019-04-08
18
autoscrape-labs/pydoll

Pydollは、WebDriverなしでChromiumベースのブラウザを自動化し、リアルなインタラクションを提供するライブラリです。

autoscrape-labs
⭐ 7,145 HTML 👤 autoscrape-labs Organization 🕐 更新日時 2026-11-08 📅 作成日 2024-10-27
19
proxifly/free-proxy-list

🚀 無料のHTTP、SOCKS4、SOCKS5プロキシリスト * 5分ごとに更新 * およびローテーションプロキシAPI(100カ国以上)

proxifly
⭐ 7,083 👤 proxifly Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-07-13
20
jaypyles/Scraperr

セルフホスト型Webスクレイパー。

jaypyles
⭐ 4,876 TypeScript 👤 jaypyles User 🕐 更新日時 2025-10-12 📅 作成日 2024-07-06
21
d60/twikit

Twitter APIスクレイパー | APIキーなし | Twitter内部API | 無料 | Twitterスクレイパー | Twitterボット

d60
⭐ 4,785 Python 👤 d60 User 🕐 更新日時 2026-03-10 📅 作成日 2024-01-20
22
bjesus/pipet

オンラインアセットからデータをスクレイピングおよび抽出するためのスイスアーミーナイフツール、ハッカー向け

bjesus
⭐ 4,610 Go 👤 bjesus User 🕐 更新日時 2024-10-12 📅 作成日 2024-08-31
23
sparklemotion/mechanize

Mechanize は、自動化されたウェブインタラクションを容易にする Ruby ライブラリです。

sparklemotion
⭐ 4,443 Ruby 👤 sparklemotion Organization 🕐 更新日時 2026-10-26 📅 作成日 2008-04-18
24
CodeCutTech/Data-science

記事、ビデオ、コードとともに役立つデータサイエンスのトピックのコレクション

CodeCutTech
⭐ 4,158 Jupyter Notebook 👤 CodeCutTech Organization 🕐 更新日時 2025-11-16 📅 作成日 2020-07-17
25
kalil0321/reverse-api-engineer

あらゆるウェブサイトをリバースエンジニアリングして、型付き API クライアントに変換します。Claude Code、Codex、Cursor、OpenCode に対応。

kalil0321
⭐ 4,088 Python 👤 kalil0321 User 🕐 更新日時 2026-11-21 📅 作成日 2025-12-23
26
snooppr/snoop

Snoop – オープンソースインテリジェンス(OSINT)ツール

snooppr
⭐ 4,072 Python 👤 snooppr User 🕐 更新日時 2026-11-20 📅 作成日 2020-02-14
27
fake-useragent/fake-useragent

最新のシンプルなユーザーエージェント偽造ツール、実際の世界データベース付き

fake-useragent
⭐ 4,047 Python 👤 fake-useragent Organization 🕐 更新日時 2026-03-29 📅 作成日 2013-03-04
28
any4ai/AnyCrawl

AnyCrawl 🚀: WebサイトをLLM対応データに変換し、Google/Bing/Baidu/etc.から構造化されたSERP結果を抽出するNode.js/TypeScriptクローラー。バルク処理のためのネイティブマルチスレッド。

any4ai
⭐ 3,580 TypeScript 👤 any4ai User 🕐 更新日時 2026-11-12 📅 作成日 2025-03-31
29
adryfish/fingerprint-chromium

Ungoogled Chromiumベースのオープンソースフィンガープリントブラウザ。フィンガープリントブラウザ プライバシーブラウザ

adryfish
⭐ 3,300 👤 adryfish User 🕐 更新日時 2026-10-02 📅 作成日 2024-12-09
30
aapatre/Automatic-Udemy-Course-Enroller-GET-PAID-UDEMY-COURSES-for-FREE

無料で新しいことを学びたいですか?心配いりません。ウェブスクレイピングと自動化の力により、このスクリプトは必要なUdemyクーポンを見つけ、有料Udemyコースにあなたを無料で登録させます!

aapatre
⭐ 3,289 Python 👤 aapatre User 🕐 更新日時 2026-04-28 📅 作成日 2020-09-12
31
symfony/panther

PHPおよびSymfony用のブラウザテストおよびウェブクローリングライブラリ

symfony
⭐ 3,074 PHP 👤 symfony Organization 🕐 更新日時 2026-10-03 📅 作成日 2018-03-16
32
kevinzg/facebook-scraper

API キーなしで Facebook の公開ページをスクレイプ

kevinzg
⭐ 3,006 Python 👤 kevinzg User 🕐 更新日時 2024-06-22 📅 作成日 2019-03-15
33
vladkens/twscrape

X/TwitterのスクレイピングのためのPythonライブラリとCLI。マルチアカウントのローテーションとレート制限処理を内蔵。

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 更新日時 2026-11-19 📅 作成日 2023-05-05
34
oxylabs/how-to-scrape-google-trends

PythonとOxylabs SERP APIを使用して、Googleトレンドデータをスクレイピングし、結果比較を行う方法を段階的に学びます。キーワード、その人気度、地域別の内訳、関連するクエリなどを抽出します。

oxylabs
⭐ 2,907 Python 👤 oxylabs Organization 🕐 更新日時 2026-11-18 📅 作成日 2024-08-06
35
spider-rs/spider

Rustによる基盤的な低レイテンシーWebデータ収集

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 更新日時 2026-11-20 📅 作成日 2018-01-07
36
geziyor/geziyor

Geziyor、Go向けの超高速ウェブクローリング&スクレイピングフレームワーク。JSレンダリングをサポート。

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 更新日時 2026-07-02 📅 作成日 2019-06-06
37
brightdata/brightdata-mcp

パブリックWebアクセス向けのオールインワンソリューションを提供する強力なModel Context Protocol (MCP)サーバー。

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 更新日時 2026-11-18 📅 作成日 2025-04-15
38
apify/fingerprint-suite

スクレイパーを匿名化するためのブラウザフィンガープリンティングツール。Apifyによって開発されました。

apify
⭐ 2,678 TypeScript 👤 apify Organization 🕐 更新日時 2026-11-18 📅 作成日 2022-05-04
39
botswin/BotBrowser

高度なプライバシーブラウザコア、統一指紋防御:Cloudflare、Akamai、Kasada、Shape、DataDome、PerimeterX、hCaptcha、FunCaptcha、Imperva、reCAPTCHA、ThreatMetrix、Adscore

botswin
⭐ 2,667 TypeScript 👤 botswin Organization 🕐 更新日時 2026-11-18 📅 作成日 2024-09-08
40
oss-invisible/playwright

見えない Playwright:アンチボットシステムから検出されない Playwright。だから CAPTCHA もありません。同じ API、検出回避機能を備えたステルス型ヘッドレス Firefox、検出されないフィンガープリント、ボット検出の回避、Python によるウェブスクレイピングとブラウザー自動化。

oss-invisible
⭐ 2,612 Python 👤 oss-invisible Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-05-13
41
simonw/shot-scraper

ウェブサイトのスクリーンショット撮影、ビデオデモの録画、JavaScriptを使用したサイトのスクレイピングを行うCLIユーティリティ

simonw
⭐ 2,609 Python 👤 simonw User 🕐 更新日時 2026-10-14 📅 作成日 2022-03-08
42
transitive-bullshit/awesome-puppeteer

素晴らしい Puppeteer リソースのキュレーションされたリスト。

transitive-bullshit
⭐ 2,528 👤 transitive-bullshit User 🕐 更新日時 2024-07-19 📅 作成日 2018-05-07
43
lorien/grab

ウェブスクレイピングフレームワーク

lorien
⭐ 2,461 Python 👤 lorien User 🕐 更新日時 2025-09-19 📅 作成日 2013-05-01
44
Jieyab89/OSINT-Cheat-sheet

OSINT チートシート、OSINT ツール、ウィキ、データセット、記事、書籍、ハッカー向け OSINT レッドチーム、OSINT のヒント、OSINT ブランチのリスト。このリポジトリは、調査するたびに成長し、調査、科学と技術、チュートリアルが含まれます。賢く使用してください。

Jieyab89
⭐ 2,333 HTML 👤 Jieyab89 User 🕐 更新日時 2026-11-16 📅 作成日 2021-11-22
45
php-embed/Embed

任意のウェブサービスやページから情報を取得

php-embed
⭐ 2,140 PHP 👤 php-embed Organization 🕐 更新日時 2026-11-21 📅 作成日 2012-10-09
46
TheGP/untidetect-tools

CAPTCHAソルバーやSMS認証を含む、アンチ検出および人間化ツールとブラウザのリスト。

TheGP
⭐ 2,075 👤 TheGP User 🕐 更新日時 2026-10-07 📅 作成日 2024-01-21
47
iiab/iiab

Internet-in-a-Box - Raspberry Pi で自分だけの アレクサンドリア図書館 を構築しよう!

iiab
⭐ 2,056 Jinja 👤 iiab Organization 🕐 更新日時 2026-11-20 📅 作成日 2017-05-28
48
claffin/cloudproxy

クラウドの背後にスクレイパーのIPを隠します。さまざまなクラウドプロバイダーにプロキシサーバーをプロビジョニングして、スクレイピングの成功率を向上させます。

claffin
⭐ 1,729 Python 👤 claffin User 🕐 更新日時 2026-11-05 📅 作成日 2021-04-16
49
oxylabs/scrape-google-python

このチュートリアルでは、PythonとOxylabs APIを使用して公開されているGoogleデータをスクレイピングする方法を紹介します。

oxylabs
⭐ 1,719 👤 oxylabs Organization 🕐 更新日時 2026-11-18 📅 作成日 2024-07-30
50
emcf/thepipe

ビジョン・言語モデルを活用し、扱いにくい文書からクリーンなデータを取得 ⚡

emcf
⭐ 1,529 Python 👤 emcf User 🕐 更新日時 2026-09-28 📅 作成日 2024-03-22

よくある質問

1

GitHubで最も人気のある#scrapingリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#scrapingプロジェクトは、205,758個のスターを獲得しているfirecrawl/firecrawlです。エージェントをより賢くするためのナレッジインフラストラクチャ。1つのAPIで、550以上のデータプロバイダーを検索、スクレイピング、利用できます。

2

#scrapingリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#scrapingプロジェクトでは、Python, TypeScript, Go, JavaScriptが最も一般的なプログラミング言語です。

3

#scrapingリポジトリのランキングはどのように算出されていますか?

#scrapingのタグが付いた109件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は768,143個で、リポジトリあたりの平均は7,047個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。