Git Stars Git Stars

#crawler リポジトリ

#crawlerのタグが付いた、GitHub上の162件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は1,111,814個で、プロジェクトあたりの平均は6,863個です。このトピックをリードしているのは、205,758個のスターを獲得しているfirecrawl/firecrawlです。

162
リポジトリ総数
1.1M
合計スター数
6,863
リポジトリあたりの平均スター数

リポジトリ合計162件

1
firecrawl/firecrawl

エージェントをより賢くするためのナレッジインフラストラクチャ。1つのAPIで、550以上のデータプロバイダーを検索、スクレイピング、利用できます。

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-04-15
2
D4Vinci/Scrapling

🕷️ 1件のリクエストから大規模なクロールまで、あらゆる用途に対応する最高のウェブスクレイピングフレームワーク!遠慮せずにこちらから参加してください:https://discord.gg/EMgGbDceNQ 毎日のヒントや便利なテクニックはこちらをフォロー:https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 更新日時 2026-11-17 📅 作成日 2024-10-13
3
unclecode/crawl4ai

公式 Crawl4AI Cloud:AIエージェント向けの、ホスト型ウェブスクレイピング・抽出・検索API。APIキーは無料で、毎月1,000クレジットを利用でき、カード登録も不要です。完全なオープンソースです。このリポジトリにはサービスを支えるApache-2.0ライセンスのクローラーが含まれており、自分でホストすることもできます。

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 更新日時 2026-11-20 📅 作成日 2024-05-09
4
scrapy/scrapy

Scrapy、Python用の高速で高レベルなウェブクローリング&スクレイピングフレームワーク。

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 更新日時 2026-11-19 📅 作成日 2010-02-22
5
NaiboWang/EasySpider

ビジュアルなノーコードWebクローラー/スパイダー:ブラウザ自動化、データ収集、Webスクレイピングのためのソフトウェアで、コードを書かずにグラフィカルにクローリングタスクを設計・実行できます。別名:ServiceWrapper(Webアプリケーション向けのインテリジェントなサービスカプセル化システム)。

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 更新日時 2026-11-16 📅 作成日 2020-07-18
6
ScrapeGraphAI/Scrapegraph-ai

AIベースのPythonスクレイパー

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 更新日時 2026-10-06 📅 作成日 2024-01-27
7
iawia002/lux

👾 Go で書かれた高速でシンプルなビデオダウンロードライブラリと CLI ツール

iawia002
⭐ 31,854 Go 👤 iawia002 User 🕐 更新日時 2026-03-29 📅 作成日 2018-02-24
8
apify/crawlee

Crawlee—Node.js用のウェブスクレイピングおよびブラウザ自動化ライブラリで、信頼性の高いクローラーを構築します。JavaScriptとTypeScriptで。AI、LLMs、RAG、またはGPTsのためのデータ抽出。ウェブサイトからHTML、PDF、JPG、PNG、およびその他のファイルをダウンロード。Puppeteer、Playwright、Cheerio、JSDOM、および生のHTTPと連携。ヘッドフルおよびヘッドレスモードの両方。プロキシローテーション付き。

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 更新日時 2026-11-21 📅 作成日 2016-08-26
9
gocolly/colly

Golang向けのエレガントなスクレイパーおよびクローラーフレームワーク

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 更新日時 2026-10-16 📅 作成日 2017-09-29
10
jhao104/proxy_pool

ウェブスパイダー用の Python ProxyPool

jhao104
⭐ 23,798 Python 👤 jhao104 User 🕐 更新日時 2026-06-15 📅 作成日 2016-11-25
11
Evil0ctal/Douyin_TikTok_Download_API

🚀 Douyin、TikTok、Bilibiliのデータ収集と、ウォーターマークなし動画のダウンロードに対応したセルフホスト型API。MCP経由でのAIエージェントからの呼び出しと、オフライン音声文字起こしに対応。Dockerでワンクリックデプロイ。| TikTok、Douyin、Bilibili対応のセルフホスト型スクレイパー兼ウォーターマークなし動画ダウンローダー。非同期REST API、AIエージェント向けMCPサーバー、CLI、Webコンソールに加え、ダウンロードした動画のオフライン音声文字起こしにも対応。自動修復するIDプール、PostgreSQLアーカイブを備え、`docker compose up`一発で起動。

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 更新日時 2026-11-20 📅 作成日 2021-11-07
12
getmaxun/maxun

あらゆるウェブサイトを構造化APIに変換。ウェブ上の情報を抽出、自動化、検索、監視できます。

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 更新日時 2026-11-20 📅 作成日 2023-10-23
13
projectdiscovery/katana

次世代のクロールおよびスパイダーリングフレームワーク。

projectdiscovery
⭐ 17,878 Go 👤 projectdiscovery Organization 🕐 更新日時 2026-11-21 📅 作成日 2021-01-02
14
codelucas/newspaper

newspaper3kはPython 3におけるニュース、全文、記事メタデータの抽出ツールです。詳細ドキュメント:

codelucas
⭐ 15,192 Python 👤 codelucas User 🕐 更新日時 2026-10-26 📅 作成日 2013-11-25
15
shengqiangzhang/examples-of-web-crawlers

非常に興味深いPythonクローラーの例で、初心者に優しく、主にTaobao、天猫、WeChat、WeChat Reading、Douban、QQなどのウェブサイトをクローリングします。(Some interesting examples of python crawlers that are friendly to beginners.)

shengqiangzhang
⭐ 14,654 HTML 👤 shengqiangzhang User 🕐 更新日時 2025-06-28 📅 作成日 2019-03-13
16
s0md3v/Photon

OSINT向けに設計された驚異的に高速なクローラー。

s0md3v
⭐ 13,377 Python 👤 s0md3v User 🕐 更新日時 2026-10-17 📅 作成日 2018-03-30
17
crawlab-team/crawlab

言語やフレームワークに依存しないスパイダー管理のための分散型ウェブクローラー管理プラットフォーム。 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 更新日時 2026-02-10 📅 作成日 2019-02-10
18
code4craft/webmagic

Javaのためのスケーラブルなウェブクローラーフレームワーク。

code4craft
⭐ 11,660 Java 👤 code4craft User 🕐 更新日時 2025-12-20 📅 作成日 2013-04-23
19
injetlee/Python

Pythonスクリプト。Zhihuへのログインをシミュレート、ウェブクローリング、Excel操作、WeChat公式アカウント、リモート起動。

injetlee
⭐ 10,920 Python 👤 injetlee User 🕐 更新日時 2026-05-09 📅 作成日 2016-06-23
20
guyueyingmu/avbook

AV映画管理システム、avmoo、javbus、javlibraryクローラー、オンラインAV映画ライブラリ、AVマグネットリンクデータベース、Japanese Adult Video Library、Adult Video Magnet Links - Japanese Adult Video Database

guyueyingmu
⭐ 9,894 PHP 👤 guyueyingmu User 🕐 更新日時 2024-06-01 📅 作成日 2017-02-19
21
apify/crawlee-python

Crawlee — 信頼性の高いクローラーを構築するための、Python向けWebスクレイピングおよびブラウザー自動化ライブラリです。Pydantic AIを介してLLMで構造化データを抽出したり、Stagehandを使って自然言語でブラウザーを操作したりできます。BeautifulSoup、Parsel、Playwright、生のHTTPに対応。HTML、PDF、画像などのファイルをダウンロードできます。プロキシのローテーション機能も含まれています。

apify
⭐ 9,679 Python 👤 apify Organization 🕐 更新日時 2026-11-20 📅 作成日 2024-01-10
22
TeamWiseFlow/xiaobei

OPC/中小企業向けにカスタマイズされた自社メディア顧客獲得エージェント

TeamWiseFlow
⭐ 8,743 Python 👤 TeamWiseFlow Organization 🕐 更新日時 2026-11-20 📅 作成日 2024-04-24
23
lorien/awesome-web-scraping

ウェブスクレイピングとデータ処理のためのライブラリ、ツール、APIのリスト。

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 更新日時 2026-11-21 📅 作成日 2015-08-12
24
hect0x7/JMComic-Crawler-Python

JMComic用Python API | JinManTiantangへのPython APIアクセスを提供し、Webおよびモバイルをサポート | JinManTiantang GitHub Actionsダウンローダー🚀

hect0x7
⭐ 8,148 Python 👤 hect0x7 User 🕐 更新日時 2026-11-13 📅 作成日 2023-04-02
25
alirezamika/autoscraper

Python 用のスマート、自動、高速、軽量な Web スクレイパー

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 更新日時 2026-07-29 📅 作成日 2020-08-31
26
mvdctop/Movie_Data_Capture

AIローカルメディアメタデータクローラー

mvdctop
⭐ 7,449 Python 👤 mvdctop User 🕐 更新日時 2026-11-17 📅 作成日 2019-05-26
27
adbar/trafilatura

Webからテキストとメタデータを収集するためのPythonおよびコマンドラインツール:クローリング、スクラッピング、抽出、CSV、JSON、HTML、MD、TXT、XMLとして出力

adbar
⭐ 7,157 Python 👤 adbar User 🕐 更新日時 2026-11-20 📅 作成日 2019-04-08
28
BruceDone/awesome-crawler

さまざまな言語の素晴らしいウェブクローラー、スパイダーのコレクション

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 更新日時 2024-06-16 📅 作成日 2016-10-10
29
bda-research/node-crawler

NodeJS + サーバーサイド jQuery 用の Web クローラー/スパイダー ;-)

bda-research
⭐ 6,797 TypeScript 👤 bda-research Organization 🕐 更新日時 2026-06-18 📅 作成日 2010-11-25
30
chyroc/WechatSogou

Sogou WeChat検索に基づくWeChat公式アカウントクローラーAPI

chyroc
⭐ 6,411 Python 👤 chyroc User 🕐 更新日時 2026-10-23 📅 作成日 2016-05-09
31
rmax/scrapy-redis

Scrapy 用 Redis ベースのコンポーネント。

rmax
⭐ 5,648 Python 👤 rmax User 🕐 更新日時 2026-11-21 📅 作成日 2011-08-29
32
DropsDevopsOrg/ECommerceCrawlers

実践 🐍 多様なウェブサイト、eコマースデータクローラー 🕷。含む 🕸:淘宝商品、WeChatパブリックアカウント、大衆点評、企查查、求人ウェブサイト、閑魚、アリタスク、ブログガーデン、Weibo、Baidu Tieba、Douban映画、包図網、全景網、Douban音楽、某省薬監局、Sohuニュース、マシンラーニングテキスト収集、fofa資産収集、汽車之家、国家統計局、Baiduキーワード収録数、蜘蛛汎ディレクトリ、今日頭条、Douban映画レビュー、Ctrip、小米アプリストア、安居客、途家民宿 ❤️❤️❤️。WeChatクローラー展示プロジェクト:

DropsDevopsOrg
⭐ 5,355 Python 👤 DropsDevopsOrg Organization 🕐 更新日時 2024-05-22 📅 作成日 2019-03-29
33
DedSecInside/TorBot

ダークウェブ OSINT ツール

DedSecInside
⭐ 5,220 Python 👤 DedSecInside Organization 🕐 更新日時 2026-11-12 📅 作成日 2017-05-17
34
niespodd/browser-fingerprinting

利用可能な対策 🚿 によるボット保護システムの分析。ウェブスクレイピング時にアンチボットシステム 👻 を無効にし、ブラウザのフィンガープリンティングスクリプト 🕵️‍♂️ を回避する方法は?

niespodd
⭐ 5,171 JavaScript 👤 niespodd User 🕐 更新日時 2026-07-27 📅 作成日 2021-01-23
35
hiddendevj/Crawler_Illegal_Cases_In_China

本プロジェクトは、中国本土におけるウェブクローラー開発者が関与した訴訟や違反に関するニュース、資料、法規制をすべて整理するためのものです。中国本土で働くウェブクローラー業界の従事者が関連法規を理解し、データのコンプライアンスの赤線に触れないよう支援することを目的としています。

hiddendevj
⭐ 4,759 HTML 👤 hiddendevj User 🕐 更新日時 2026-03-12 📅 作成日 2019-09-29
36
dataabc/weibo-crawler

新浪微博クローラー、Pythonを使って新浪微博のデータをクローリングし、微博の画像と動画をダウンロード

dataabc
⭐ 4,705 Python 👤 dataabc User 🕐 更新日時 2026-11-06 📅 作成日 2019-06-25
37
myreader-io/myGPTReader

chatGPTPoweredのAIボットと読んだりチャットしたりするためのコミュニティ主導の方法。

myreader-io
⭐ 4,416 Python 👤 myreader-io Organization 🕐 更新日時 2026-02-05 📅 作成日 2023-03-08
38
kanasimi/work_crawler

小説漫画のダウンローダ:腾讯漫画 大角虫漫画 有妖气 咪咕 SF漫画 哦漫画 看漫画 漫画柜 汗汗酷漫 動漫伊甸園 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 無限動漫 動漫狂 卡推漫画 动漫之家 动漫屋 古风漫画网 36漫画网 亲亲漫画网 乙女漫画 webtoons 咚漫 ニコニコ静画 ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub.

kanasimi
⭐ 4,391 JavaScript 👤 kanasimi User 🕐 更新日時 2026-10-12 📅 作成日 2016-11-02
39
dotnetcore/DotnetSpider

DotnetSpider、.NET 標準のウェブクローリングライブラリです。軽量で効率的かつ高速な高レベルウェブクローリング&スクレイピングフレームワークです。

dotnetcore
⭐ 4,142 C# 👤 dotnetcore Organization 🕐 更新日時 2026-04-03 📅 作成日 2016-03-21
40
constverum/ProxyBroker

プロキシ [ファインダー | チェッカー | サーバー]. HTTP(S) & SOCKS :performing_arts:

constverum
⭐ 4,084 Python 👤 constverum User 🕐 更新日時 2024-03-18 📅 作成日 2015-10-11
41
MikeChongCan/scylla

人間のためのインテリジェントプロキシヷプール™:新しいAI時代にインターネットからコンテンツを抽出して独自の大型言語モデルを構築する

MikeChongCan
⭐ 4,021 Python 👤 MikeChongCan User 🕐 更新日時 2026-11-03 📅 作成日 2018-04-10
42
Arachni/arachni

Web アプリケーションセキュリティスキャナーフレームワーク

Arachni
⭐ 4,020 Ruby 👤 Arachni Organization 🕐 更新日時 2026-04-22 📅 作成日 2010-08-25
43
hardkoded/puppeteer-sharp

ヘッドレス Chrome .NET API

hardkoded
⭐ 3,936 C# 👤 hardkoded Organization 🕐 更新日時 2026-11-21 📅 作成日 2017-09-30
44
edoardottt/cariddi

ドメインのリストを取得し、URLをクロールして、エンドポイント、シークレット、APIキー、ファイル拡張子、トークンなどをスキャンします。

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 更新日時 2026-11-19 📅 作成日 2021-04-27
45
3441293738/creatorhub

マルチプラットフォームのコンテンツ監視・収集・転載。1つのWebパネルでDouyin/小紅書/快手/WeChatチャンネル/TikTok/Bilibili/Instagram/海外版小紅書(rednote)を一元管理

3441293738
⭐ 3,774 Python 👤 3441293738 User 🕐 更新日時 2026-11-21 📅 作成日 2026-07-03
46
Boris-code/feapder

🚀🚀🚀feapderは使いやすく強力なクローラーフレームワークです | feapderは、簡単に使用でき、強力なPythonクローラーフレームワークです。AirSpider、Spider、TaskSpider、BatchSpiderの4種類のクローラーが組み込まれており、さまざまなシナリオのニーズに対応します。ブレークポイントからの続行、監視とアラート、ブラウザレンダリング、大量データの重複排除などの機能をサポートします。さらに、強力なクローラー管理システムであるfeaplatは、便利な展開とスケジュールを提供します。

Boris-code
⭐ 3,732 Python 👤 Boris-code User 🕐 更新日時 2026-08-21 📅 作成日 2021-02-08
47
sqzw-x/mdcx

映画メタデータスクレイパー

sqzw-x
⭐ 3,727 Python 👤 sqzw-x User 🕐 更新日時 2026-08-23 📅 作成日 2023-11-06
48
elliotgao2/toapi

すべてのウェブサイトがAPIを提供しています。

elliotgao2
⭐ 3,557 Python 👤 elliotgao2 User 🕐 更新日時 2026-08-27 📅 作成日 2017-11-27
49
Tuhinshubhra/RED_HAWK

情報収集、脆弱性スキャン、クローリングのためのオールインワンツール。すべてのペネトレーションテスターに必須のツール

Tuhinshubhra
⭐ 3,491 PHP 👤 Tuhinshubhra User 🕐 更新日時 2024-07-31 📅 作成日 2017-06-11
50
CharlesPikachu/videodl

Videodl: 純粋なPythonで書かれた軽量ビデオダウンローダーです。 (高画質で水印なしのダウンロードを優先し、Douyin、Kuaishou、Xiaohongshu、Bilibili、TikTok、YouTube、FIFA+、Youku、Tencent Video、iQIYI、1905 Movie Network、LeTV、Mango TV、Migu、PPTV、Sohu、Facebook、Twitter、Sina Weibo、Today’s Headlines、NetEase Open Classes、全民K歌、CCTV、Kugou MV、新フィルム、Zhihu、Baidu Tieba、TEDなどの大量のストリーミングプラットフォームに対応しています。)

CharlesPikachu
⭐ 3,294 Python 👤 CharlesPikachu User 🕐 更新日時 2026-11-21 📅 作成日 2018-07-10

よくある質問

1

GitHubで最も人気のある#crawlerリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#crawlerプロジェクトは、205,758個のスターを獲得しているfirecrawl/firecrawlです。エージェントをより賢くするためのナレッジインフラストラクチャ。1つのAPIで、550以上のデータプロバイダーを検索、スクレイピング、利用できます。

2

#crawlerリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#crawlerプロジェクトでは、Python, Go, TypeScript, JavaScriptが最も一般的なプログラミング言語です。

3

#crawlerリポジトリのランキングはどのように算出されていますか?

#crawlerのタグが付いた162件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は1,111,814個で、リポジトリあたりの平均は6,863個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。