Git Stars Git Stars

#crawler リポジトリ

162
リポジトリ総数
1.1M
合計スター数
6,863
リポジトリあたりの平均スター数

リポジトリ合計162件

51
thewhiteh4t/FinalRecon

オールインワン ウェブ偵察

thewhiteh4t
⭐ 3,058 Python 👤 thewhiteh4t User 🕐 更新日時 2026-10-31 📅 作成日 2019-03-28
52
Qianlitp/crawlergo

Web 脆弱性スキャナーのための強力なブラウザークローラー

Qianlitp
⭐ 3,034 Go 👤 Qianlitp User 🕐 更新日時 2025-03-11 📅 作成日 2019-12-25
53
facundoolano/google-play-scraper

Google Play からデータを取得する Node.js スクレイパー

facundoolano
⭐ 3,005 JavaScript 👤 facundoolano User 🕐 更新日時 2026-10-17 📅 作成日 2015-04-07
54
howie6879/owllook

owllook-小説検索エンジン

howie6879
⭐ 2,900 Python 👤 howie6879 User 🕐 更新日時 2026-10-30 📅 作成日 2017-02-18
55
CharlesPikachu/DecryptLogin

DecryptLogin: requests を使用して一部のウェブサイトにログインするための API。

CharlesPikachu
⭐ 2,871 Python 👤 CharlesPikachu User 🕐 更新日時 2024-08-09 📅 作成日 2019-02-25
56
spider-rs/spider

Rustによる基盤的な低レイテンシーWebデータ収集

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 更新日時 2026-11-20 📅 作成日 2018-01-07
57
jaeles-project/gospider

Gospider - Goで書かれた高速ウェブスパイダー

jaeles-project
⭐ 2,851 Go 👤 jaeles-project Organization 🕐 更新日時 2024-04-21 📅 作成日 2020-01-22
58
spatie/crawler

https://spatie.be/docs/crawler

spatie
⭐ 2,827 PHP 👤 spatie Organization 🕐 更新日時 2026-11-05 📅 作成日 2015-11-02
59
geziyor/geziyor

Geziyor、Go向けの超高速ウェブクローリング&スクレイピングフレームワーク。JSレンダリングをサポート。

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 更新日時 2026-07-02 📅 作成日 2019-06-06
60
jae-jae/QueryList

:spider: プログレッシブな PHP クローラーフレームワーク! 優雅な漸進的 PHP 収集フレームワーク。

jae-jae
⭐ 2,689 PHP 👤 jae-jae User 🕐 更新日時 2026-10-20 📅 作成日 2015-12-20
61
Autumn-27/ScopeSentry

ScopeSentry-サイバースペースマッピング、サブドメイン列挙、ポートスキャン、機密情報検出、脆弱性スキャン、分散ノード

Autumn-27
⭐ 2,597 Go 👤 Autumn-27 User 🕐 更新日時 2026-10-11 📅 作成日 2024-02-27
62
xtuhcy/gecco

使いやすい軽量ウェブクローラー

xtuhcy
⭐ 2,510 Java 👤 xtuhcy User 🕐 更新日時 2026-10-09 📅 作成日 2015-12-12
63
fhamborg/news-please

news-please - ニュース向けの統合ウェブクローラーと情報抽出ツール、ただ動作するだけ

fhamborg
⭐ 2,494 Python 👤 fhamborg User 🕐 更新日時 2026-04-14 📅 作成日 2016-12-18
64
lorien/grab

ウェブスクレイピングフレームワーク

lorien
⭐ 2,461 Python 👤 lorien User 🕐 更新日時 2025-09-19 📅 作成日 2013-05-01
65
JayBizzle/Crawler-Detect

🕷 CrawlerDetectは、ユーザーエージェントを介してボット/クローラー/スパイダーを検出するためのPHPクラスです

JayBizzle
⭐ 2,410 PHP 👤 JayBizzle User 🕐 更新日時 2026-11-16 📅 作成日 2015-03-23
66
friuns2/Leaked-GPTs

漏洩したGPTsプロンプトは、25メッセージの制限をバイパスしたり、PlusサブスクリプションなしでGPTsを試したりできます。

friuns2
⭐ 2,396 Python 👤 friuns2 User 🕐 更新日時 2024-01-17 📅 作成日 2023-11-27
67
sjdirect/abot

速度と柔軟性のために構築されたクロスプラットフォームC# Webクローラーフレームワークです。このプロジェクトにスターを付けてください!+1。

sjdirect
⭐ 2,308 C# 👤 sjdirect User 🕐 更新日時 2026-07-17 📅 作成日 2013-08-08
68
goclone-dev/goclone

Website Cloner - 強力なGoルーチンを使用して、数秒でWebサイトをコンピューターにクローンします。

goclone-dev
⭐ 2,303 Go 👤 goclone-dev Organization 🕐 更新日時 2026-06-02 📅 作成日 2020-03-23
69
AAndyProgram/SCrawler

Twitter、Reddit、Instagram、BlueSky、TikTok、Threads、Facebook、OnlyFans、YouTube、Pinterest、PornHub、XHamster、XVIDEOS、ThisVidなど、あらゆるサイトからメディアをダウンロードできます。

AAndyProgram
⭐ 2,263 Visual Basic .NET 👤 AAndyProgram User 🕐 更新日時 2026-11-08 📅 作成日 2021-12-07
70
watercrawl/WaterCrawl

WebコンテンツをLLM対応データに変換

watercrawl
⭐ 2,244 TypeScript 👤 watercrawl Organization 🕐 更新日時 2026-08-17 📅 作成日 2024-12-15
71
zorlan/skycaiji

Blue Sky Collector は、ルールをクリックして編集するだけでデータを収集できる、オープンソースで無料のクローラーシステムです。ローカル、仮想ホスト、またはクラウドサーバーで実行でき、ほぼすべてのタイプのWebページを収集できます。さまざまなCMSウェブサイト構築プログラムとシームレスに連携し、ログインせずにリアルタイムでデータを公開し、完全に自動化されているため、手動での介入は不要です!Webビッグデータ収集ソフトウェアにおける、完全にクロスプラットフォームなクラウドクローラーシステムです。

zorlan
⭐ 2,098 PHP 👤 zorlan User 🕐 更新日時 2026-10-07 📅 作成日 2018-02-26
72
TeamNewPipe/NewPipeExtractor

NewPipeのストリーミングサイトからデータを抽出するためのコアライブラリ

TeamNewPipe
⭐ 2,070 Java 👤 TeamNewPipe Organization 🕐 更新日時 2026-11-19 📅 作成日 2017-03-01
73
elliotgao2/gain

asyncio に基づく Web クローリングフレームワーク。

elliotgao2
⭐ 2,017 Python 👤 elliotgao2 User 🕐 更新日時 2026-08-09 📅 作成日 2017-05-31
74
coder-hxl/x-crawl

柔軟な Node.js クローラーライブラリ

coder-hxl
⭐ 1,888 TypeScript 👤 coder-hxl User 🕐 更新日時 2026-11-21 📅 作成日 2023-01-22
75
JSREI/ast-hook-for-js-RE

ブラウザメモリローミングソリューション(検討中...)

JSREI
⭐ 1,882 JavaScript 👤 JSREI Organization 🕐 更新日時 2024-05-07 📅 作成日 2021-01-15
76
lixi5338619/lxSpider

クローラーケース集。淘宝、京东、天猫、豆瓣、抖音、快手、微博、WeChat、Alibaba、Toutiao、pdd、Youku、iQIYI、Ctrip、12306、58、Sohu、各種指数、VIP、Wanfang、ZLibrary、Oalib、小説、入札サイト、調達サイト、Xiaohongshu、Dianping、Twitter、Maimai、Zhihuを含むが、これらに限定されない。

lixi5338619
⭐ 1,876 Python 👤 lixi5338619 User 🕐 更新日時 2024-05-09 📅 作成日 2021-01-29
77
diskoverdata/diskover-community

Diskover Community Edition - Elasticsearch 駆動のオープンソースファイルインデクサー、ファイル検索エンジン、およびデータ管理と分析

diskoverdata
⭐ 1,831 PHP 👤 diskoverdata Organization 🕐 更新日時 2026-03-25 📅 作成日 2017-04-19
78
eatmoreduck/boss-zhipin-scraper

BOSS Zhipinスクレイパー / BOSS Zhipin求人データ収集ツール。Chrome CDPプロトコルに基づいて実際のログイン状態を再利用し、フォントのアンチスクレイピングを回避。プレーンテキストの給与JSON/CSVおよび給与・スキル分析を出力します。

eatmoreduck
⭐ 1,781 Python 👤 eatmoreduck User 🕐 更新日時 2026-11-03 📅 作成日 2026-06-11
79
u3c3/BT-btt

磁力サイトU3C3の紹介とドメイン更新

u3c3
⭐ 1,779 👤 u3c3 User 🕐 更新日時 2025-01-01 📅 作成日 2020-04-28
80
howie6879/ruia

asyncio を基盤とした非同期 Python 3.6+ ウェブスクレイピング用マイクロフレームワーク

howie6879
⭐ 1,738 Python 👤 howie6879 User 🕐 更新日時 2026-10-30 📅 作成日 2018-07-10
81
rushter/selectolax

ModestおよびLexborエンジンへのPythonバインディング。Python用のCSSセレクタを備えた高速HTML5パーサー。

rushter
⭐ 1,717 Python 👤 rushter User 🕐 更新日時 2026-11-10 📅 作成日 2017-11-26
82
gildas-lormeau/single-file-cli

単一のHTMLファイルに完全なWebページを忠実にコピーして保存するためのCLIツール(SingleFileベース)

gildas-lormeau
⭐ 1,702 JavaScript 👤 gildas-lormeau User 🕐 更新日時 2026-11-18 📅 作成日 2022-05-31
83
YoongiKim/AutoCrawler

Google, Naver マルチプロセス画像ウェブクローラー (Selenium)

YoongiKim
⭐ 1,700 Python 👤 YoongiKim User 🕐 更新日時 2026-11-12 📅 作成日 2018-11-21
84
orangecoding/fredy

❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y](本物の不動産探しをとても簡単に)- Fredyは、ImmoScout24、Immowelt、eBay Kleinanzeigenなどのプラットフォームで、ヨーロッパの新しいアパート、住宅、フラットを継続的に検索し、Slack、Telegram、メール、Discord、またはntfyを通じて結果をすぐに届けてくれます。だから、人生でより大切なことに集中できます ;)

orangecoding
⭐ 1,648 JavaScript 👤 orangecoding User 🕐 更新日時 2026-11-19 📅 作成日 2018-01-15
85
erma0/douyin

Douyinクローラー - アカウントのホームページ、いいね、コレクション、音楽のオリジナルサウンド、トピック、検索、コレクション、作品、フォロー、フォロワーなどの公開データを収集します。

erma0
⭐ 1,625 👤 erma0 User 🕐 更新日時 2026-08-14 📅 作成日 2022-05-29
86
ArchiveTeam/grab-site

アーキビストのWebクローラー:WARC出力、すべてのクロール用のダッシュボード、動的な無視パターン

ArchiveTeam
⭐ 1,572 Python 👤 ArchiveTeam Organization 🕐 更新日時 2025-05-23 📅 作成日 2015-02-05
87
srx-2000/spider_collection

Pythonクローラー、現在在庫:NetEase Cloud Music楽曲クローリング、Bilibili動画クローリング、Zhihu Q&Aクローリング、壁紙クローリング、xvideos動画クローリング、有声書籍クローリング、Weiboクローラー、Anjuke情報クローリング+データ可視化、Bilibili動画カバー抽出器、IPプロキシヌールプールカプセル化、Zhihu百万級ユーザークローラー+データ分析、GitHubユーザークローラー

srx-2000
⭐ 1,554 Python 👤 srx-2000 User 🕐 更新日時 2024-04-23 📅 作成日 2020-02-04
88
0x676e67/wreq-python

人間工学に基づいた、プライバシーに配慮したPython HTTPクライアント

0x676e67
⭐ 1,526 Python 👤 0x676e67 User 🕐 更新日時 2026-11-15 📅 作成日 2025-02-10
89
rebrowser/rebrowser-patches

Puppeteer および Playwright のパッチコレクション。自動検出と漏洩を回避します。Cloudflare および DataDome の CAPTCHA ページを回避するのに役立ちます。パッチの適用/解除が簡単で、オンデマンドで有効化/無効化できます。

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 更新日時 2026-11-02 📅 作成日 2024-08-06
90
dadoonet/fscrawler

Elasticsearch ファイルシステムクローラー (FS クローラー)

dadoonet
⭐ 1,459 Java 👤 dadoonet User 🕐 更新日時 2026-11-19 📅 作成日 2012-06-08
91
xisuo67/XHS-Spider

小紅書データ収集、ウェブサイトの画像、ビデオリソースの一括ダウンロードツール、非常に魅力的なデータ収集ツール(一括ダウンロード、ビデオ抽出、画像)Telegram:https://t.me/+ZtLSwuIKTo44MDY1

xisuo67
⭐ 1,456 👤 xisuo67 User 🕐 更新日時 2025-12-16 📅 作成日 2023-04-25
92
openwpm/OpenWPM

Webプライバシー測定フレームワーク

openwpm
⭐ 1,429 Python 👤 openwpm Organization 🕐 更新日時 2026-10-13 📅 作成日 2014-06-10
93
darbra/sperm

閲覧した素晴らしいリバースエンジニアリング記事のまとめ、見る価値あり

darbra
⭐ 1,427 👤 darbra User 🕐 更新日時 2026-04-13 📅 作成日 2022-03-02
94
kgspider/crawler

K兄クローラーコード共有、JSリバースエンジニアリング、クローラー上級編。公式WeChatアカウントをフォローしてください:K兄クローラー

kgspider
⭐ 1,371 JavaScript 👤 kgspider User 🕐 更新日時 2025-05-12 📅 作成日 2021-08-24
95
lorey/mlscraper

🤖 例を提供するだけでHTMLウェブサイトからデータを自動的にスクレイピングします

lorey
⭐ 1,370 Python 👤 lorey User 🕐 更新日時 2024-03-17 📅 作成日 2020-07-30
96
felipecsl/wombat

ページから構造化データを抽出するエレガントな DSL を備えた軽量 Ruby ウェブ クローラー/スクラパー。

felipecsl
⭐ 1,360 Ruby 👤 felipecsl User 🕐 更新日時 2026-10-27 📅 作成日 2011-11-14
97
0xInfection/XSRFProbe

Prime Cross Site Request Forgery (CSRF) 監査およびエクスプロイトツールキット。

0xInfection
⭐ 1,310 Python 👤 0xInfection User 🕐 更新日時 2026-07-12 📅 作成日 2018-08-21
98
fastcrw/crw

Rust製の高速かつ軽量なFirecrawl/Tavily代替ツール。AIエージェント向けのMCPサーバーを備えたWebスクレイパー、クローラー、検索API。Firecrawl互換のドロップインAPI(/scrape, /crawl, /search)を提供。1K URLのベンチマークでTavilyより2.3倍、Firecrawlより1.5倍高速。6MBのRAM、シングルバイナリ。セルフホストまたはマネージドクラウドで利用可能。

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-03-02
99
dwisiswant0/go-dork

Goで書かれた最速のDorkスキャナー。

dwisiswant0
⭐ 1,266 Go 👤 dwisiswant0 User 🕐 更新日時 2024-02-04 📅 作成日 2020-07-13
100
kiddyuchina/Beanbun

BeanbunはPHPで書かれたマルチプロセスWebクローリングフレームワークであり、優れた開放性と高い拡張性を持ち、Workermanをベースとしています。

kiddyuchina
⭐ 1,258 PHP 👤 kiddyuchina User 🕐 更新日時 2026-05-26 📅 作成日 2017-04-13