Git Stars Git Stars

#scraper リポジトリ

#scraperのタグが付いた、GitHub上の128件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は792,441個で、プロジェクトあたりの平均は6,190個です。このトピックをリードしているのは、205,758個のスターを獲得しているfirecrawl/firecrawlです。

128
リポジトリ総数
792,441
合計スター数
6,190
リポジトリあたりの平均スター数

リポジトリ合計128件

1
firecrawl/firecrawl

エージェントをより賢くするためのナレッジインフラストラクチャ。1つのAPIで、550以上のデータプロバイダーを検索、スクレイピング、利用できます。

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-04-15
2
unclecode/crawl4ai

公式 Crawl4AI Cloud:AIエージェント向けの、ホスト型ウェブスクレイピング・抽出・検索API。APIキーは無料で、毎月1,000クレジットを利用でき、カード登録も不要です。完全なオープンソースです。このリポジトリにはサービスを支えるApache-2.0ライセンスのクローラーが含まれており、自分でホストすることもできます。

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 更新日時 2026-11-20 📅 作成日 2024-05-09
3
huginn/huginn

あなたを代表して監視し行動するエージェントを作成します。あなたのエージェントが待機中です!

huginn
⭐ 50,601 Ruby 👤 huginn Organization 🕐 更新日時 2026-11-21 📅 作成日 2013-03-10
4
NaiboWang/EasySpider

ビジュアルなノーコードWebクローラー/スパイダー:ブラウザ自動化、データ収集、Webスクレイピングのためのソフトウェアで、コードを書かずにグラフィカルにクローリングタスクを設計・実行できます。別名:ServiceWrapper(Webアプリケーション向けのインテリジェントなサービスカプセル化システム)。

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 更新日時 2026-11-16 📅 作成日 2020-07-18
5
iawia002/lux

👾 Go で書かれた高速でシンプルなビデオダウンロードライブラリと CLI ツール

iawia002
⭐ 31,854 Go 👤 iawia002 User 🕐 更新日時 2026-03-29 📅 作成日 2018-02-24
6
cheeriojs/cheerio

HTMLとXMLの解析と操作のための高速で柔軟でエレガントなライブラリ。

cheeriojs
⭐ 30,552 TypeScript 👤 cheeriojs Organization 🕐 更新日時 2026-11-20 📅 作成日 2011-10-09
7
apify/crawlee

Crawlee—Node.js用のウェブスクレイピングおよびブラウザ自動化ライブラリで、信頼性の高いクローラーを構築します。JavaScriptとTypeScriptで。AI、LLMs、RAG、またはGPTsのためのデータ抽出。ウェブサイトからHTML、PDF、JPG、PNG、およびその他のファイルをダウンロード。Puppeteer、Playwright、Cheerio、JSDOM、および生のHTTPと連携。ヘッドフルおよびヘッドレスモードの両方。プロキシローテーション付き。

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 更新日時 2026-11-21 📅 作成日 2016-08-26
8
gocolly/colly

Golang向けのエレガントなスクレイパーおよびクローラーフレームワーク

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 更新日時 2026-10-16 📅 作成日 2017-09-29
9
Evil0ctal/Douyin_TikTok_Download_API

🚀 Douyin、TikTok、Bilibiliのデータ収集と、ウォーターマークなし動画のダウンロードに対応したセルフホスト型API。MCP経由でのAIエージェントからの呼び出しと、オフライン音声文字起こしに対応。Dockerでワンクリックデプロイ。| TikTok、Douyin、Bilibili対応のセルフホスト型スクレイパー兼ウォーターマークなし動画ダウンローダー。非同期REST API、AIエージェント向けMCPサーバー、CLI、Webコンソールに加え、ダウンロードした動画のオフライン音声文字起こしにも対応。自動修復するIDプール、PostgreSQLアーカイブを備え、`docker compose up`一発で起動。

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 更新日時 2026-11-20 📅 作成日 2021-11-07
10
getmaxun/maxun

あらゆるウェブサイトを構造化APIに変換。ウェブ上の情報を抽出、自動化、検索、監視できます。

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 更新日時 2026-11-20 📅 作成日 2023-10-23
11
codelucas/newspaper

newspaper3kはPython 3におけるニュース、全文、記事メタデータの抽出ツールです。詳細ドキュメント:

codelucas
⭐ 15,192 Python 👤 codelucas User 🕐 更新日時 2026-10-26 📅 作成日 2013-11-25
12
NopeCHALLC/nopecha-extension

ブラウザ用の自動CAPTCHAソルバー。Selenium、Puppeteer、Playwrightなどで動作します。

NopeCHALLC
⭐ 11,140 👤 NopeCHALLC User 🕐 更新日時 2026-10-02 📅 作成日 2023-03-23
13
guyueyingmu/avbook

AV映画管理システム、avmoo、javbus、javlibraryクローラー、オンラインAV映画ライブラリ、AVマグネットリンクデータベース、Japanese Adult Video Library、Adult Video Magnet Links - Japanese Adult Video Database

guyueyingmu
⭐ 9,894 PHP 👤 guyueyingmu User 🕐 更新日時 2024-06-01 📅 作成日 2017-02-19
14
apify/crawlee-python

Crawlee — 信頼性の高いクローラーを構築するための、Python向けWebスクレイピングおよびブラウザー自動化ライブラリです。Pydantic AIを介してLLMで構造化データを抽出したり、Stagehandを使って自然言語でブラウザーを操作したりできます。BeautifulSoup、Parsel、Playwright、生のHTTPに対応。HTML、PDF、画像などのファイルをダウンロードできます。プロキシのローテーション機能も含まれています。

apify
⭐ 9,679 Python 👤 apify Organization 🕐 更新日時 2026-11-20 📅 作成日 2024-01-10
15
alirezamika/autoscraper

Python 用のスマート、自動、高速、軽量な Web スクレイパー

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 更新日時 2026-07-29 📅 作成日 2020-08-31
16
go-rod/rod

Web 自動化およびスクレイピングのための Chrome DevTools プロトコル ドライバー。

go-rod
⭐ 7,160 Go 👤 go-rod Organization 🕐 更新日時 2026-08-11 📅 作成日 2020-01-21
17
BruceDone/awesome-crawler

さまざまな言語の素晴らしいウェブクローラー、スパイダーのコレクション

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 更新日時 2024-06-16 📅 作成日 2016-10-10
18
mishushakov/llm-scraper

LLMを使用して任意のWebページを構造化データに変換する

mishushakov
⭐ 6,956 TypeScript 👤 mishushakov User 🕐 更新日時 2026-10-26 📅 作成日 2024-04-20
19
AhmadIbrahiim/Website-downloader

💡 Node.js を使用して、任意のウェブサイトの完全なソースコード(すべてのアセットを含む)をダウンロードします。 [ Javascripts, Stylesheets, Images ]

AhmadIbrahiim
⭐ 6,206 HTML 👤 AhmadIbrahiim User 🕐 更新日時 2026-08-12 📅 作成日 2019-10-26
20
niespodd/browser-fingerprinting

利用可能な対策 🚿 によるボット保護システムの分析。ウェブスクレイピング時にアンチボットシステム 👻 を無効にし、ブラウザのフィンガープリンティングスクリプト 🕵️‍♂️ を回避する方法は?

niespodd
⭐ 5,171 JavaScript 👤 niespodd User 🕐 更新日時 2026-07-27 📅 作成日 2021-01-23
21
d60/twikit

Twitter APIスクレイパー | APIキーなし | Twitter内部API | 無料 | Twitterスクレイパー | Twitterボット

d60
⭐ 4,785 Python 👤 d60 User 🕐 更新日時 2026-03-10 📅 作成日 2024-01-20
22
fent/node-ytdl-core

JavaScriptによるYouTube動画ダウンローダー。

fent
⭐ 4,732 JavaScript 👤 fent User 🕐 更新日時 2026-11-10 📅 作成日 2014-06-29
23
joeyism/linkedin_scraper

LinkedInからユーザー データ をスクレイプするライブラリ

joeyism
⭐ 4,699 Python 👤 joeyism User 🕐 更新日時 2026-04-10 📅 作成日 2017-10-27
24
bjesus/pipet

オンラインアセットからデータをスクレイピングおよび抽出するためのスイスアーミーナイフツール、ハッカー向け

bjesus
⭐ 4,610 Go 👤 bjesus User 🕐 更新日時 2024-10-12 📅 作成日 2024-08-31
25
myreader-io/myGPTReader

chatGPTPoweredのAIボットと読んだりチャットしたりするためのコミュニティ主導の方法。

myreader-io
⭐ 4,416 Python 👤 myreader-io Organization 🕐 更新日時 2026-02-05 📅 作成日 2023-03-08
26
UltimaHoarder/UltimaScraper

現在は成人向けコンテンツ(OnlyFansなど)に特化したデータスクレイパー — 定期的に更新

UltimaHoarder
⭐ 4,302 TypeScript 👤 UltimaHoarder User 🕐 更新日時 2026-11-21 📅 作成日 2019-06-24
27
IonicaBizau/scrape-it

🔮 人間のための Node.js スクレイパー。

IonicaBizau
⭐ 4,069 JavaScript 👤 IonicaBizau User 🕐 更新日時 2026-11-20 📅 作成日 2016-04-28
28
edoardottt/cariddi

ドメインのリストを取得し、URLをクロールして、エンドポイント、シークレット、APIキー、ファイル拡張子、トークンなどをスキャンします。

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 更新日時 2026-11-19 📅 作成日 2021-04-27
29
Anakin-Inc/anakin

オープンソースのWebスクレイピングAPI。あらゆるウェブサイトをクリーンなMarkdownや構造化されたJSONに変換します。アンチ検知ブラウザ、プロキシ自動選択、セルフホスト対応。コマンド一つで実行:make up

Anakin-Inc
⭐ 3,764 Go 👤 Anakin-Inc Organization 🕐 更新日時 2026-08-18 📅 作成日 2026-03-17
30
sqzw-x/mdcx

映画メタデータスクレイパー

sqzw-x
⭐ 3,727 Python 👤 sqzw-x User 🕐 更新日時 2026-08-23 📅 作成日 2023-11-06
31
JavScraper/Emby.Plugins.JavScraper

Emby/Jellyfin の日本映画スクレイパープラグインで、特定のウェブサイトから映画情報を取得します。

JavScraper
⭐ 3,709 C# 👤 JavScraper User 🕐 更新日時 2024-07-08 📅 作成日 2020-01-20
32
itsOwen/CyberScraper-2077

LLM搭載の強力なWebスクレイパー | OpenAI, Gemini & Ollama

itsOwen
⭐ 3,302 Python 👤 itsOwen User 🕐 更新日時 2026-10-12 📅 作成日 2024-08-17
33
aapatre/Automatic-Udemy-Course-Enroller-GET-PAID-UDEMY-COURSES-for-FREE

無料で新しいことを学びたいですか?心配いりません。ウェブスクレイピングと自動化の力により、このスクリプトは必要なUdemyクーポンを見つけ、有料Udemyコースにあなたを無料で登録させます!

aapatre
⭐ 3,289 Python 👤 aapatre User 🕐 更新日時 2026-04-28 📅 作成日 2020-09-12
34
facundoolano/google-play-scraper

Google Play からデータを取得する Node.js スクレイパー

facundoolano
⭐ 3,005 JavaScript 👤 facundoolano User 🕐 更新日時 2026-10-17 📅 作成日 2015-04-07
35
vladkens/twscrape

X/TwitterのスクレイピングのためのPythonライブラリとCLI。マルチアカウントのローテーションとレート制限処理を内蔵。

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 更新日時 2026-11-19 📅 作成日 2023-05-05
36
oxylabs/how-to-scrape-google-trends

PythonとOxylabs SERP APIを使用して、Googleトレンドデータをスクレイピングし、結果比較を行う方法を段階的に学びます。キーワード、その人気度、地域別の内訳、関連するクエリなどを抽出します。

oxylabs
⭐ 2,907 Python 👤 oxylabs Organization 🕐 更新日時 2026-11-18 📅 作成日 2024-08-06
37
geziyor/geziyor

Geziyor、Go向けの超高速ウェブクローリング&スクレイピングフレームワーク。JSレンダリングをサポート。

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 更新日時 2026-07-02 📅 作成日 2019-06-06
38
microlinkhq/metascraper

Open Graph、JSON-LD、HTMLメタタグ、およびスマートフォールバックを使用して、あらゆるURLからメタデータをスクレイピングします。

microlinkhq
⭐ 2,754 HTML 👤 microlinkhq Organization 🕐 更新日時 2026-11-19 📅 作成日 2016-05-25
39
jae-jae/QueryList

:spider: プログレッシブな PHP クローラーフレームワーク! 優雅な漸進的 PHP 収集フレームワーク。

jae-jae
⭐ 2,689 PHP 👤 jae-jae User 🕐 更新日時 2026-10-20 📅 作成日 2015-12-20
40
Serene-Arc/bulk-downloader-for-reddit

redditからコンテンツをダウンロードしてアーカイブします

Serene-Arc
⭐ 2,631 Python 👤 Serene-Arc User 🕐 更新日時 2026-04-12 📅 作成日 2018-06-14
41
zerodytrash/TikTok-Live-Connector

Node.js向けTikTok LIVE API:TikTok LIVEからライブ配信イベント(コメント、ギフトなど)をリアルタイムで受信するための非公式ライブラリ。

zerodytrash
⭐ 2,332 TypeScript 👤 zerodytrash User 🕐 更新日時 2026-11-11 📅 作成日 2022-02-04
42
watercrawl/WaterCrawl

WebコンテンツをLLM対応データに変換

watercrawl
⭐ 2,244 TypeScript 👤 watercrawl Organization 🕐 更新日時 2026-08-17 📅 作成日 2024-12-15
43
cyberagiinc/DevDocs

完全に無料、プライベート、UIベースのテクノロジー ドキュメント MCP サーバー。コーダーとソフトウェア開発者を念頭に置いて設計されています。Cursor、Windsurf、Cline、Roo Code、Claude Desktop App に簡単に統合

cyberagiinc
⭐ 2,106 TypeScript 👤 cyberagiinc Organization 🕐 更新日時 2026-02-04 📅 作成日 2025-01-15
44
PaulMcInnis/JobFunnel

求人サイトを重複なしで単一のスプレッドシートにスクレイピングします。

PaulMcInnis
⭐ 2,103 Python 👤 PaulMcInnis User 🕐 更新日時 2025-12-04 📅 作成日 2017-08-25
45
TeamNewPipe/NewPipeExtractor

NewPipeのストリーミングサイトからデータを抽出するためのコアライブラリ

TeamNewPipe
⭐ 2,070 Java 👤 TeamNewPipe Organization 🕐 更新日時 2026-11-19 📅 作成日 2017-03-01
46
KatrielMoses/MailAccess

無料のメール OSINT ツール。5,000 以上のプラットフォーム、アイデンティティクラスタリング、情報漏えい検出に対応。API キー不要。pip install mailaccess

KatrielMoses
⭐ 1,824 Python 👤 KatrielMoses User 🕐 更新日時 2026-11-17 📅 作成日 2026-05-18
47
eatmoreduck/boss-zhipin-scraper

BOSS Zhipinスクレイパー / BOSS Zhipin求人データ収集ツール。Chrome CDPプロトコルに基づいて実際のログイン状態を再利用し、フォントのアンチスクレイピングを回避。プレーンテキストの給与JSON/CSVおよび給与・スキル分析を出力します。

eatmoreduck
⭐ 1,781 Python 👤 eatmoreduck User 🕐 更新日時 2026-11-03 📅 作成日 2026-06-11
48
website-scraper/node-website-scraper

ウェブサイトをローカルディレクトリにダウンロード(すべてのCSS、画像、JSなどを含む)

website-scraper
⭐ 1,773 JavaScript 👤 website-scraper Organization 🕐 更新日時 2026-11-11 📅 作成日 2014-09-04
49
oxylabs/how-to-scrape-google-jobs

PythonとOxylabsのGoogle Jobs Scraper APIを使用して、複数の検索クエリと地理的位置についてGoogleの求人を同時にスクレイピングする独自のGoogle Jobsスクレイパーを構築する方法を学びましょう。 https://oxylabs.io/blog/how-to-scrape-google-jobs

oxylabs
⭐ 1,761 Python 👤 oxylabs Organization 🕐 更新日時 2026-11-18 📅 作成日 2024-02-08
50
oxylabs/google-play-scraper

アプリケーション、ゲーム、映画やテレビ番組、書籍などの公開情報を収集するためのGoogle Playスクレイパー。

oxylabs
⭐ 1,746 Python 👤 oxylabs Organization 🕐 更新日時 2026-11-18 📅 作成日 2023-09-01

よくある質問

1

GitHubで最も人気のある#scraperリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#scraperプロジェクトは、205,758個のスターを獲得しているfirecrawl/firecrawlです。エージェントをより賢くするためのナレッジインフラストラクチャ。1つのAPIで、550以上のデータプロバイダーを検索、スクレイピング、利用できます。

2

#scraperリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#scraperプロジェクトでは、Python, TypeScript, Go, JavaScriptが最も一般的なプログラミング言語です。

3

#scraperリポジトリのランキングはどのように算出されていますか?

#scraperのタグが付いた128件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は792,441個で、リポジトリあたりの平均は6,190個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。