Git Stars Git Stars

#spider リポジトリ

#spiderのタグが付いた、GitHub上の92件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は325,814個で、プロジェクトあたりの平均は3,541個です。このトピックをリードしているのは、44,801個のスターを獲得しているNaiboWang/EasySpiderです。

92
リポジトリ総数
325,814
合計スター数
3,541
リポジトリあたりの平均スター数

リポジトリ合計92件

1
NaiboWang/EasySpider

ビジュアルなノーコードWebクローラー/スパイダー:ブラウザ自動化、データ収集、Webスクレイピングのためのソフトウェアで、コードを書かずにグラフィカルにクローリングタスクを設計・実行できます。別名:ServiceWrapper(Webアプリケーション向けのインテリジェントなサービスカプセル化システム)。

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 更新日時 2026-11-16 📅 作成日 2020-07-18
2
gocolly/colly

Golang向けのエレガントなスクレイパーおよびクローラーフレームワーク

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 更新日時 2026-10-16 📅 作成日 2017-09-29
3
jhao104/proxy_pool

ウェブスパイダー用の Python ProxyPool

jhao104
⭐ 23,798 Python 👤 jhao104 User 🕐 更新日時 2026-06-15 📅 作成日 2016-11-25
4
shengqiangzhang/examples-of-web-crawlers

非常に興味深いPythonクローラーの例で、初心者に優しく、主にTaobao、天猫、WeChat、WeChat Reading、Douban、QQなどのウェブサイトをクローリングします。(Some interesting examples of python crawlers that are friendly to beginners.)

shengqiangzhang
⭐ 14,654 HTML 👤 shengqiangzhang User 🕐 更新日時 2025-06-28 📅 作成日 2019-03-13
5
s0md3v/Photon

OSINT向けに設計された驚異的に高速なクローラー。

s0md3v
⭐ 13,377 Python 👤 s0md3v User 🕐 更新日時 2026-10-17 📅 作成日 2018-03-30
6
crawlab-team/crawlab

言語やフレームワークに依存しないスパイダー管理のための分散型ウェブクローラー管理プラットフォーム。 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 更新日時 2026-02-10 📅 作成日 2019-02-10
7
ihmily/DouyinLiveRecorder

循環当番と複数人録画に対応したライブ録画ソフトウェアで、Douyin、TikTok、Youtube、Kuaishou、Huya、Douyu、Bilibili、Xiaohongshu、pandatv、sooplive、flextv、popkontv、twitcasting、winktv、Baidu、Weibo、Kugou、17Live、Twitch、Acfun、CHZZK、shopeeなど40以上のプラットフォームのライブ録画をサポートします。

ihmily
⭐ 11,278 Python 👤 ihmily User 🕐 更新日時 2026-04-01 📅 作成日 2023-07-17
8
guyueyingmu/avbook

AV映画管理システム、avmoo、javbus、javlibraryクローラー、オンラインAV映画ライブラリ、AVマグネットリンクデータベース、Japanese Adult Video Library、Adult Video Magnet Links - Japanese Adult Video Database

guyueyingmu
⭐ 9,894 PHP 👤 guyueyingmu User 🕐 更新日時 2024-06-01 📅 作成日 2017-02-19
9
kangvcar/InfoSpider

INFO-SPIDERは、数多くのデータソースを統合したクローラーツールボックス🧰であり、ユーザーが自分のデータを安全かつ迅速に取り戻せるようにすることを目的としています。ツールのコードはオープンソースであり、プロセスは透明です。サポートされているデータソースには、GitHub、QQメール、Neteaseメール、Aliメール、Sinaメール、Hotmail、Outlook、JD、Taobao、Alipay、China Mobile、China Unicom、China Telecom、Zhihu、Bilibili、Netease Cloud Music、QQフレンズ、QQグループ、WeChatモーメントアルバムの生成、ブラウザ閲覧履歴、12306、博客园、CSDNブログ、开源中国ブログ、简书が含まれます。

kangvcar
⭐ 8,275 Python 👤 kangvcar User 🕐 更新日時 2026-04-21 📅 作成日 2020-07-11
10
lorien/awesome-web-scraping

ウェブスクレイピングとデータ処理のためのライブラリ、ツール、APIのリスト。

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 更新日時 2026-11-21 📅 作成日 2015-08-12
11
andeya/pholcus

Pholcus は純粋な GoLang で書かれた分散型高並行クローラーソフトウェアです

andeya
⭐ 7,583 Go 👤 andeya User 🕐 更新日時 2026-08-24 📅 作成日 2015-07-03
12
BruceDone/awesome-crawler

さまざまな言語の素晴らしいウェブクローラー、スパイダーのコレクション

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 更新日時 2024-06-16 📅 作成日 2016-10-10
13
bda-research/node-crawler

NodeJS + サーバーサイド jQuery 用の Web クローラー/スパイダー ;-)

bda-research
⭐ 6,797 TypeScript 👤 bda-research Organization 🕐 更新日時 2026-06-18 📅 作成日 2010-11-25
14
wechatsync/Wechatsync

ワンクリックで複数のコンテンツプラットフォームに記事を同期し、Toutiao、WordPress、Zhihu、JianShu、Juejin、CSDN、Typechoなどの主要プラットフォームをサポートします。一度の公開で、複数のプラットフォームに同時に公開できます。個人の生産性を解放します。

wechatsync
⭐ 6,663 TypeScript 👤 wechatsync Organization 🕐 更新日時 2026-11-15 📅 作成日 2020-09-01
15
DedSecInside/TorBot

ダークウェブ OSINT ツール

DedSecInside
⭐ 5,220 Python 👤 DedSecInside Organization 🕐 更新日時 2026-11-12 📅 作成日 2017-05-17
16
201206030/novel-plus

novel-plus は、PC、WAP、アプリ、ミニプログラムなど複数のプラットフォームに対応した、機能豊富な小説 CMS です。小説のおすすめ、検索、ランキング、閲覧、本棚、レビュー、読書リスト、Web からの小説収集、会員センター、作家向けエリア、チャージ・購読、ニュース配信などの機能を備えています。

201206030
⭐ 4,822 Java 👤 201206030 User 🕐 更新日時 2026-11-17 📅 作成日 2020-05-02
17
Nemo2011/bilibili-api

Bilibiliの一般的なAPI呼び出し。ビデオ、アニメ、ユーザー、チャンネル、オーディオなどの機能をサポートします。元のリポジトリアドレス:https://github.com/MoyuScript/bilibili-api

Nemo2011
⭐ 4,197 Python 👤 Nemo2011 User 🕐 更新日時 2026-07-03 📅 作成日 2022-04-27
18
Boris-code/feapder

🚀🚀🚀feapderは使いやすく強力なクローラーフレームワークです | feapderは、簡単に使用でき、強力なPythonクローラーフレームワークです。AirSpider、Spider、TaskSpider、BatchSpiderの4種類のクローラーが組み込まれており、さまざまなシナリオのニーズに対応します。ブレークポイントからの続行、監視とアラート、ブラウザレンダリング、大量データの重複排除などの機能をサポートします。さらに、強力なクローラー管理システムであるfeaplatは、便利な展開とスケジュールを提供します。

Boris-code
⭐ 3,732 Python 👤 Boris-code User 🕐 更新日時 2026-08-21 📅 作成日 2021-02-08
19
elliotgao2/toapi

すべてのウェブサイトがAPIを提供しています。

elliotgao2
⭐ 3,557 Python 👤 elliotgao2 User 🕐 更新日時 2026-08-27 📅 作成日 2017-11-27
20
Gerapy/Gerapy

Scrapy、Scrapyd、Django、および Vue.js を基盤とした分散型クローラー管理フレームワーク

Gerapy
⭐ 3,518 Python 👤 Gerapy Organization 🕐 更新日時 2026-07-04 📅 作成日 2017-06-30
21
my8100/scrapydweb

Scrapyd クラスタ管理、Scrapy ログ分析および視覚化、自動パッケージング、タイマータスク、監視およびアラート、モバイル UI 用の Web アプリ。Docs ドキュメント :point_right:

my8100
⭐ 3,403 Python 👤 my8100 User 🕐 更新日時 2025-02-19 📅 作成日 2018-09-30
22
wnma3mz/wechat_articles_spider

WeChat公式アカウントの記事クローラー

wnma3mz
⭐ 3,326 Python 👤 wnma3mz User 🕐 更新日時 2024-04-18 📅 作成日 2018-03-04
23
5ime/video_spider

ショート動画ウォーターマーク削除:Douyin、Pipixia、Huoshan、Weishi、Weibo、Oasis、Zuiyou、Qingshipin、Kuaishou、Quanmin Xiaoshipin、バルセロナ映画、Momo、Before Bifeng、Kaiyan、Vue Vlog Xiaokuxiu、Pipixia Funny、Quanmin K Ge、Xigua Video、Doupai、Huya、6 Room、Li Video、Xinpianchang、acfun、Meipai...

5ime
⭐ 3,001 PHP 👤 5ime User 🕐 更新日時 2025-12-03 📅 作成日 2020-07-22
24
howie6879/owllook

owllook-小説検索エンジン

howie6879
⭐ 2,900 Python 👤 howie6879 User 🕐 更新日時 2026-10-30 📅 作成日 2017-02-18
25
CharlesPikachu/DecryptLogin

DecryptLogin: requests を使用して一部のウェブサイトにログインするための API。

CharlesPikachu
⭐ 2,871 Python 👤 CharlesPikachu User 🕐 更新日時 2024-08-09 📅 作成日 2019-02-25
26
spider-rs/spider

Rustによる基盤的な低レイテンシーWebデータ収集

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 更新日時 2026-11-20 📅 作成日 2018-01-07
27
jaeles-project/gospider

Gospider - Goで書かれた高速ウェブスパイダー

jaeles-project
⭐ 2,851 Go 👤 jaeles-project Organization 🕐 更新日時 2024-04-21 📅 作成日 2020-01-22
28
geziyor/geziyor

Geziyor、Go向けの超高速ウェブクローリング&スクレイピングフレームワーク。JSレンダリングをサポート。

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 更新日時 2026-07-02 📅 作成日 2019-06-06
29
pibigstar/go-demo

Go言語のサンプルチュートリアル、初心者から上級者まで、基本ライブラリの使用、デザインパターン、面接でのミスしやすいポイント、ユーティリティクラス、サードパーティとの連携などを含む

pibigstar
⭐ 2,708 Go 👤 pibigstar User 🕐 更新日時 2025-06-07 📅 作成日 2018-08-29
30
jae-jae/QueryList

:spider: プログレッシブな PHP クローラーフレームワーク! 優雅な漸進的 PHP 収集フレームワーク。

jae-jae
⭐ 2,689 PHP 👤 jae-jae User 🕐 更新日時 2026-10-20 📅 作成日 2015-12-20
31
lorien/grab

ウェブスクレイピングフレームワーク

lorien
⭐ 2,461 Python 👤 lorien User 🕐 更新日時 2025-09-19 📅 作成日 2013-05-01
32
JayBizzle/Crawler-Detect

🕷 CrawlerDetectは、ユーザーエージェントを介してボット/クローラー/スパイダーを検出するためのPHPクラスです

JayBizzle
⭐ 2,410 PHP 👤 JayBizzle User 🕐 更新日時 2026-11-16 📅 作成日 2015-03-23
33
QianyanTech/Image-Downloader

Google、Bing、Baiduから画像をダウンロード。Google、Baidu、Bingからの画像ダウンロード。

QianyanTech
⭐ 2,331 Python 👤 QianyanTech Organization 🕐 更新日時 2024-07-07 📅 作成日 2016-07-17
34
sjdirect/abot

速度と柔軟性のために構築されたクロスプラットフォームC# Webクローラーフレームワークです。このプロジェクトにスターを付けてください!+1。

sjdirect
⭐ 2,308 C# 👤 sjdirect User 🕐 更新日時 2026-07-17 📅 作成日 2013-08-08
35
zorlan/skycaiji

Blue Sky Collector は、ルールをクリックして編集するだけでデータを収集できる、オープンソースで無料のクローラーシステムです。ローカル、仮想ホスト、またはクラウドサーバーで実行でき、ほぼすべてのタイプのWebページを収集できます。さまざまなCMSウェブサイト構築プログラムとシームレスに連携し、ログインせずにリアルタイムでデータを公開し、完全に自動化されているため、手動での介入は不要です!Webビッグデータ収集ソフトウェアにおける、完全にクロスプラットフォームなクラウドクローラーシステムです。

zorlan
⭐ 2,098 PHP 👤 zorlan User 🕐 更新日時 2026-10-07 📅 作成日 2018-02-26
36
elliotgao2/gain

asyncio に基づく Web クローリングフレームワーク。

elliotgao2
⭐ 2,017 Python 👤 elliotgao2 User 🕐 更新日時 2026-08-09 📅 作成日 2017-05-31
37
ShunCai/QZoneExport

QQスペースエクスポートアシスタント。QQスペースの投稿、日記、プライベート日記、アルバム、動画、掲示板、QQの友達、お気に入り、共有、最近の訪問者をファイルとしてバックアップし、移行や保存を容易にします。

ShunCai
⭐ 1,927 TypeScript 👤 ShunCai User 🕐 更新日時 2026-11-16 📅 作成日 2019-03-10
38
coder-hxl/x-crawl

柔軟な Node.js クローラーライブラリ

coder-hxl
⭐ 1,888 TypeScript 👤 coder-hxl User 🕐 更新日時 2026-11-21 📅 作成日 2023-01-22
39
1N3/BlackWidow

Python ベースの Web アプリケーション・スキャナーで、対象ウェブサイトの OWASP 脆弱性に対して OSINT を収集し、ファジングを実行します。

1N3
⭐ 1,843 Python 👤 1N3 User 🕐 更新日時 2026-04-17 📅 作成日 2018-01-06
40
eatmoreduck/boss-zhipin-scraper

BOSS Zhipinスクレイパー / BOSS Zhipin求人データ収集ツール。Chrome CDPプロトコルに基づいて実際のログイン状態を再利用し、フォントのアンチスクレイピングを回避。プレーンテキストの給与JSON/CSVおよび給与・スキル分析を出力します。

eatmoreduck
⭐ 1,781 Python 👤 eatmoreduck User 🕐 更新日時 2026-11-03 📅 作成日 2026-06-11
41
u3c3/BT-btt

磁力サイトU3C3の紹介とドメイン更新

u3c3
⭐ 1,779 👤 u3c3 User 🕐 更新日時 2025-01-01 📅 作成日 2020-04-28
42
howie6879/ruia

asyncio を基盤とした非同期 Python 3.6+ ウェブスクレイピング用マイクロフレームワーク

howie6879
⭐ 1,738 Python 👤 howie6879 User 🕐 更新日時 2026-10-30 📅 作成日 2018-07-10
43
erma0/douyin

Douyinクローラー - アカウントのホームページ、いいね、コレクション、音楽のオリジナルサウンド、トピック、検索、コレクション、作品、フォロー、フォロワーなどの公開データを収集します。

erma0
⭐ 1,625 👤 erma0 User 🕐 更新日時 2026-08-14 📅 作成日 2022-05-29
44
ArchiveTeam/grab-site

アーキビストのWebクローラー:WARC出力、すべてのクロール用のダッシュボード、動的な無視パターン

ArchiveTeam
⭐ 1,572 Python 👤 ArchiveTeam Organization 🕐 更新日時 2025-05-23 📅 作成日 2015-02-05
45
srx-2000/spider_collection

Pythonクローラー、現在在庫:NetEase Cloud Music楽曲クローリング、Bilibili動画クローリング、Zhihu Q&Aクローリング、壁紙クローリング、xvideos動画クローリング、有声書籍クローリング、Weiboクローラー、Anjuke情報クローリング+データ可視化、Bilibili動画カバー抽出器、IPプロキシヌールプールカプセル化、Zhihu百万級ユーザークローラー+データ分析、GitHubユーザークローラー

srx-2000
⭐ 1,554 Python 👤 srx-2000 User 🕐 更新日時 2024-04-23 📅 作成日 2020-02-04
46
darbra/sperm

閲覧した素晴らしいリバースエンジニアリング記事のまとめ、見る価値あり

darbra
⭐ 1,427 👤 darbra User 🕐 更新日時 2026-04-13 📅 作成日 2022-03-02
47
okfn-brasil/querido-diario

📰 ブラジルの公報がすべての人にアクセス可能 | 📰 ブラジル政府の官報、すべての人にアクセス可能。

okfn-brasil
⭐ 1,424 Python 👤 okfn-brasil Organization 🕐 更新日時 2026-10-12 📅 作成日 2018-04-01
48
kgspider/crawler

K兄クローラーコード共有、JSリバースエンジニアリング、クローラー上級編。公式WeChatアカウントをフォローしてください:K兄クローラー

kgspider
⭐ 1,371 JavaScript 👤 kgspider User 🕐 更新日時 2025-05-12 📅 作成日 2021-08-24
49
0xInfection/XSRFProbe

Prime Cross Site Request Forgery (CSRF) 監査およびエクスプロイトツールキット。

0xInfection
⭐ 1,310 Python 👤 0xInfection User 🕐 更新日時 2026-07-12 📅 作成日 2018-08-21
50
bookstairs/bookhunter

インターネットから電子書籍をクロールするためのダウンロードツール。

bookstairs
⭐ 1,305 Go 👤 bookstairs Organization 🕐 更新日時 2026-02-28 📅 作成日 2022-04-08

よくある質問

1

GitHubで最も人気のある#spiderリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#spiderプロジェクトは、44,801個のスターを獲得しているNaiboWang/EasySpiderです。ビジュアルなノーコードWebクローラー/スパイダー:ブラウザ自動化、データ収集、Webスクレイピングのためのソフトウェアで、コードを書かずにグラフィカルにクローリングタスクを設計・実行できます。別名:ServiceWrapper(Webアプリケーション向けのインテリジェントなサービスカプセル化システム)。

2

#spiderリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#spiderプロジェクトでは、Python, Go, PHP, TypeScriptが最も一般的なプログラミング言語です。

3

#spiderリポジトリのランキングはどのように算出されていますか?

#spiderのタグが付いた92件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は325,814個で、リポジトリあたりの平均は3,541個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。