Git Stars Git Stars

#spider 저장소

#spider 태그가 지정된 GitHub의 활성 오픈 소스 저장소 92개를 확인해 보세요. 총 325,814개의 스타를 획득했으며 프로젝트당 평균 3,541개입니다. 이 주제를 이끄는 저장소는 44,801개의 스타를 받은 NaiboWang/EasySpider입니다.

92
총 리포지토리
325,814
총 별점
3,541
리포지토리당 평균 스타 수

저장소 총 92개

1
NaiboWang/EasySpider

시각적 노코드 웹 크롤러/스파이더: 브라우저 자동화, 데이터 수집 및 웹 스크래핑 소프트웨어로, 코딩 없이 그래픽 방식으로 크롤링 작업을 설계하고 실행할 수 있습니다. 별칭: ServiceWrapper(웹 애플리케이션을 위한 지능형 서비스 캡슐화 시스템).

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 업데이트됨 2026-11-16 📅 생성됨 2020-07-18
2
gocolly/colly

Golang을 위한 우아한 스크래퍼 및 크롤러 프레임워크

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 업데이트됨 2026-10-16 📅 생성됨 2017-09-29
3
jhao104/proxy_pool

웹 스파이더를 위한 Python ProxyPool

jhao104
⭐ 23,798 Python 👤 jhao104 User 🕐 업데이트됨 2026-06-15 📅 생성됨 2016-11-25
4
shengqiangzhang/examples-of-web-crawlers

몇 가지 매우 흥미로운 Python 크롤러 예제, 초보자에게 친화적이며 주로 Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ 등의 웹사이트를 크롤링합니다. (Some interesting examples of python crawlers that are friendly to beginners.)

shengqiangzhang
⭐ 14,654 HTML 👤 shengqiangzhang User 🕐 업데이트됨 2025-06-28 📅 생성됨 2019-03-13
5
s0md3v/Photon

OSINT를 위해 설계된 놀라울 정도로 빠른 크롤러.

s0md3v
⭐ 13,377 Python 👤 s0md3v User 🕐 업데이트됨 2026-10-17 📅 생성됨 2018-03-30
6
crawlab-team/crawlab

언어와 프레임워크에 관계없이 스파이더 관리를 위한 분산 웹 크롤러 관리 플랫폼. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 업데이트됨 2026-02-10 📅 생성됨 2019-02-10
7
ihmily/DouyinLiveRecorder

순환 당직 및 다중 사용자 녹화를 지원하는 라이브 녹화 소프트웨어로, Douyin, TikTok, Youtube, Kuaishou, Huya, Douyu, Bilibili, Xiaohongshu, pandatv, sooplive, flextv, popkontv, twitcasting, winktv, Baidu, Weibo, Kugou, 17Live, Twitch, Acfun, CHZZK, shopee 등 40개 이상의 플랫폼 라이브 녹화를 지원합니다.

ihmily
⭐ 11,278 Python 👤 ihmily User 🕐 업데이트됨 2026-04-01 📅 생성됨 2023-07-17
8
guyueyingmu/avbook

AV 영화 관리 시스템, avmoo, javbus, javlibrary 크롤러, 온라인 AV 영상 도서관, AV 토렌트 링크 데이터베이스, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database

guyueyingmu
⭐ 9,894 PHP 👤 guyueyingmu User 🕐 업데이트됨 2024-06-01 📅 생성됨 2017-02-19
9
kangvcar/InfoSpider

INFO-SPIDER는 다양한 데이터 소스를 통합한 크롤러 툴박스🧰로, 사용자가 자신의 데이터를 안전하고 신속하게 가져올 수 있도록 지원하며, 도구 코드는 오픈 소스이고 프로세스는 투명합니다. 지원되는 데이터 소스는 GitHub, QQ 메일, Netease 메일, Ali 메일, Sina 메일, Hotmail, Outlook, JD, Taobao, Alipay, China Mobile, China Unicom, China Telecom, Zhihu, Bilibili, Netease Cloud Music, QQ 친구, QQ 그룹, WeChat Moments 앨범 생성, 브라우저 방문 기록, 12306, CSDN 블로그, OSCHINA 블로그, JianShu입니다.

kangvcar
⭐ 8,275 Python 👤 kangvcar User 🕐 업데이트됨 2026-04-21 📅 생성됨 2020-07-11
10
lorien/awesome-web-scraping

웹 스크래핑 및 데이터 처리용 라이브러리, 도구 및 API 목록.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 업데이트됨 2026-11-21 📅 생성됨 2015-08-12
11
andeya/pholcus

Pholcus는 순수 golang으로 작성된 분산형 고동시성 크롤러 소프트웨어입니다

andeya
⭐ 7,583 Go 👤 andeya User 🕐 업데이트됨 2026-08-24 📅 생성됨 2015-07-03
12
BruceDone/awesome-crawler

다양한 언어의 멋진 웹 크롤러, 스파이더 컬렉션

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 업데이트됨 2024-06-16 📅 생성됨 2016-10-10
13
bda-research/node-crawler

NodeJS용 Web Crawler/Spider + 서버 측 jQuery ;-)

bda-research
⭐ 6,797 TypeScript 👤 bda-research Organization 🕐 업데이트됨 2026-06-18 📅 생성됨 2010-11-25
14
wechatsync/Wechatsync

하나의 클릭으로 여러 콘텐츠 플랫폼에 기사를 동기화하고, 투탸오, 워드프레스, 즈후, 젠슈, 쥔진, CSDN, 타입체코 등 주요 플랫폼을 지원합니다. 한 번의 게시로 여러 플랫폼에 동시에 게시할 수 있습니다. 개인 생산성을 해방하세요.

wechatsync
⭐ 6,663 TypeScript 👤 wechatsync Organization 🕐 업데이트됨 2026-11-15 📅 생성됨 2020-09-01
15
DedSecInside/TorBot

다크 웹 OSINT 도구

DedSecInside
⭐ 5,220 Python 👤 DedSecInside Organization 🕐 업데이트됨 2026-11-12 📅 생성됨 2017-05-17
16
201206030/novel-plus

novel-plus는 PC, WAP, 앱, 미니 프로그램 등 여러 플랫폼을 지원하는 기능이 풍부한 소설 CMS입니다. 소설 추천, 검색, 순위, 읽기, 책장, 서평, 독서 목록, 웹 소설 수집, 회원 센터, 작가 전용 공간, 충전 및 구독, 뉴스 게시 등의 기능을 제공합니다.

201206030
⭐ 4,822 Java 👤 201206030 User 🕐 업데이트됨 2026-11-17 📅 생성됨 2020-05-02
17
Nemo2011/bilibili-api

Bilibili 일반 API 호출. 비디오, 애니메이션, 사용자, 채널, 오디오 등 기능을 지원합니다. 원본 저장소 주소: https://github.com/MoyuScript/bilibili-api

Nemo2011
⭐ 4,197 Python 👤 Nemo2011 User 🕐 업데이트됨 2026-07-03 📅 생성됨 2022-04-27
18
Boris-code/feapder

🚀🚀🚀feapder는 사용하기 쉽고 강력한 크롤러 프레임워크입니다 | feapder는 사용하기 쉽고 강력한 Python 크롤러 프레임워크입니다. AirSpider, Spider, TaskSpider, BatchSpider의 네 가지 유형의 크롤러가 내장되어 있어 다양한 시나리오의 요구 사항을 충족합니다. 중단점 계속 실행, 모니터링 및 경고, 브라우저 렌더링, 대규모 데이터 중복 제거와 같은 기능을 지원합니다. 또한 강력한 크롤러 관리 시스템인 feaplat은 편리한 배포 및 예약을 제공합니다.

Boris-code
⭐ 3,732 Python 👤 Boris-code User 🕐 업데이트됨 2026-08-21 📅 생성됨 2021-02-08
19
elliotgao2/toapi

모든 웹사이트는 API를 제공합니다.

elliotgao2
⭐ 3,557 Python 👤 elliotgao2 User 🕐 업데이트됨 2026-08-27 📅 생성됨 2017-11-27
20
Gerapy/Gerapy

Scrapy, Scrapyd, Django 및 Vue.js 기반의 분산 크롤러 관리 프레임워크

Gerapy
⭐ 3,518 Python 👤 Gerapy Organization 🕐 업데이트됨 2026-07-04 📅 생성됨 2017-06-30
21
my8100/scrapydweb

Scrapyd 클러스터 관리, Scrapy 로그 분석 및 시각화, 자동 패키징, 타이머 작업, 모니터링 및 알림, 그리고 모바일 UI를 위한 웹 앱. Docs 문서 :point_right:

my8100
⭐ 3,403 Python 👤 my8100 User 🕐 업데이트됨 2025-02-19 📅 생성됨 2018-09-30
22
wnma3mz/wechat_articles_spider

위챗 공식 계정 기사 크롤러

wnma3mz
⭐ 3,326 Python 👤 wnma3mz User 🕐 업데이트됨 2024-04-18 📅 생성됨 2018-03-04
23
5ime/video_spider

짧은 동영상 워터마크 제거: Douyin, Pipixia, Huoshan, Weishi, Weibo, Oasis, Zuiyou, Qingshipin, Kuaishou, Quanmin Xiaoshipin, Barcelona Film, Momo, Before Bifeng, Kaiyan, Vue Vlog Xiaokuxiu, Pipixia Funny, Quanmin K Ge, Xigua Video, Doupai, Huya, 6 Rooms, Li Video, Xinpianchang, acfun, Meipai...

5ime
⭐ 3,001 PHP 👤 5ime User 🕐 업데이트됨 2025-12-03 📅 생성됨 2020-07-22
24
howie6879/owllook

owllook-소설 검색 엔진

howie6879
⭐ 2,900 Python 👤 howie6879 User 🕐 업데이트됨 2026-10-30 📅 생성됨 2017-02-18
25
CharlesPikachu/DecryptLogin

DecryptLogin: requests를 사용해 일부 웹사이트에 로그인하는 API.

CharlesPikachu
⭐ 2,871 Python 👤 CharlesPikachu User 🕐 업데이트됨 2024-08-09 📅 생성됨 2019-02-25
26
spider-rs/spider

Rust를 활용한 기반 저지연 웹 데이터 수집

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2018-01-07
27
jaeles-project/gospider

Gospider - Go로 작성된 빠른 웹 스파이더

jaeles-project
⭐ 2,851 Go 👤 jaeles-project Organization 🕐 업데이트됨 2024-04-21 📅 생성됨 2020-01-22
28
geziyor/geziyor

Geziyor, Go를 위한 초고속 웹 크롤링 및 스크래핑 프레임워크. JS 렌더링 지원.

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 업데이트됨 2026-07-02 📅 생성됨 2019-06-06
29
pibigstar/go-demo

Go 언어 예제 튜토리얼: 초보자부터 고급까지, 기본 라이브러리 사용, 디자인 패턴, 인터뷰 취약점, 유틸리티 클래스, 타사 통합 등 포함

pibigstar
⭐ 2,708 Go 👤 pibigstar User 🕐 업데이트됨 2025-06-07 📅 생성됨 2018-08-29
30
jae-jae/QueryList

:spider: 점진적인 PHP 크롤러 프레임워크! 우아한 점진적 PHP 수집 프레임워크.

jae-jae
⭐ 2,689 PHP 👤 jae-jae User 🕐 업데이트됨 2026-10-20 📅 생성됨 2015-12-20
31
lorien/grab

웹 스크래핑 프레임워크

lorien
⭐ 2,461 Python 👤 lorien User 🕐 업데이트됨 2025-09-19 📅 생성됨 2013-05-01
32
JayBizzle/Crawler-Detect

🕷 CrawlerDetect는 사용자 에이전트를 통해 봇/크롤러/스파이더를 감지하는 PHP 클래스입니다

JayBizzle
⭐ 2,410 PHP 👤 JayBizzle User 🕐 업데이트됨 2026-11-16 📅 생성됨 2015-03-23
33
QianyanTech/Image-Downloader

Google, Bing, Baidu에서 이미지 다운로드. Google, Baidu, Bing의 이미지 다운로드.

QianyanTech
⭐ 2,331 Python 👤 QianyanTech Organization 🕐 업데이트됨 2024-07-07 📅 생성됨 2016-07-17
34
sjdirect/abot

속도와 유연성을 위해 구축된 크로스 플랫폼 C# 웹 크롤러 프레임워크입니다. 이 프로젝트에 좋아요 눌러주세요! +1.

sjdirect
⭐ 2,308 C# 👤 sjdirect User 🕐 업데이트됨 2026-07-17 📅 생성됨 2013-08-08
35
zorlan/skycaiji

Blue Sky Collector는 규칙을 클릭하고 편집하기만 하면 데이터를 수집할 수 있는 오픈 소스 무료 크롤러 시스템으로, 로컬, 가상 호스트 또는 클라우드 서버에서 실행할 수 있으며 거의 모든 유형의 웹페이지를 수집할 수 있습니다. 다양한 CMS 웹 구축 프로그램과 원활하게 통합되며, 로그인 없이 실시간으로 데이터를 게시하고 완벽하게 자동화되어 수동 개입이 필요 없습니다! 웹 빅데이터 수집 소프트웨어의 완전한 크로스 플랫폼 클라우드 크롤러 시스템입니다.

zorlan
⭐ 2,098 PHP 👤 zorlan User 🕐 업데이트됨 2026-10-07 📅 생성됨 2018-02-26
36
elliotgao2/gain

asyncio 기반의 웹 크롤링 프레임워크.

elliotgao2
⭐ 2,017 Python 👤 elliotgao2 User 🕐 업데이트됨 2026-08-09 📅 생성됨 2017-05-31
37
ShunCai/QZoneExport

QQ 공간 내보내기 도우미로, QQ 공간의 게시글, 일기, 비공개 일기, 앨범, 동영상, 방명록, QQ 친구, 즐겨찾기, 공유 항목 및 최근 방문자를 파일로 백업하여 쉽게 이전하고 보관할 수 있도록 합니다.

ShunCai
⭐ 1,927 TypeScript 👤 ShunCai User 🕐 업데이트됨 2026-11-16 📅 생성됨 2019-03-10
38
coder-hxl/x-crawl

유연한 Node.js 크롤러 라이브러리

coder-hxl
⭐ 1,888 TypeScript 👤 coder-hxl User 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-01-22
39
1N3/BlackWidow

Python 기반 웹 애플리케이션 스캐너로, 대상 웹사이트의 OWASP 취약점에 대한 OSINT 수집 및 퍼징을 수행합니다.

1N3
⭐ 1,843 Python 👤 1N3 User 🕐 업데이트됨 2026-04-17 📅 생성됨 2018-01-06
40
eatmoreduck/boss-zhipin-scraper

BOSS Zhipin 스크레이퍼 / BOSS Zhipin 채용 정보 데이터 수집 도구. Chrome CDP 프로토콜을 기반으로 실제 로그인 상태를 재사용하여 폰트 안티 스크래핑을 우회하고, 일반 텍스트 급여 JSON/CSV 및 급여-기술 분석을 출력합니다.

eatmoreduck
⭐ 1,781 Python 👤 eatmoreduck User 🕐 업데이트됨 2026-11-03 📅 생성됨 2026-06-11
41
u3c3/BT-btt

자력 웹사이트 U3C3 소개 및 도메인 업데이트

u3c3
⭐ 1,779 👤 u3c3 User 🕐 업데이트됨 2025-01-01 📅 생성됨 2020-04-28
42
howie6879/ruia

asyncio 기반의 비동기 Python 3.6+ 웹 스크래핑 마이크로 프레임워크

howie6879
⭐ 1,738 Python 👤 howie6879 User 🕐 업데이트됨 2026-10-30 📅 생성됨 2018-07-10
43
erma0/douyin

도우인 크롤러 - 계정 프로필 페이지, 좋아요, 컬렉션, 음악 원본, 주제, 검색, 컬렉션, 작품, 팔로잉, 팔로워 등 공개 데이터 수집.

erma0
⭐ 1,625 👤 erma0 User 🕐 업데이트됨 2026-08-14 📅 생성됨 2022-05-29
44
ArchiveTeam/grab-site

아카이브 관리자의 웹 크롤러: WARC 출력, 모든 크롤에 대한 대시보드, 동적 무시 패턴

ArchiveTeam
⭐ 1,572 Python 👤 ArchiveTeam Organization 🕐 업데이트됨 2025-05-23 📅 생성됨 2015-02-05
45
srx-2000/spider_collection

Python 크롤러, 현재 재고: 네이버 클라우드 뮤직 노래 크롤링, Bilibili 비디오 크롤링, Zhihu Q&A 크롤링, 벽지 크롤링, xvideos 비디오 크롤링, 유음책 크롤링, Weibo 크롤러, Anjuke 정보 크롤링 + 데이터 시각화, Bilibili 비디오 표지 추출기, IP 프록시 풀 캡슐화, Zhihu 백만급 사용자 크롤러 + 데이터 분석, GitHub 사용자 크롤러

srx-2000
⭐ 1,554 Python 👤 srx-2000 User 🕐 업데이트됨 2024-04-23 📅 생성됨 2020-02-04
46
darbra/sperm

둘러본 훌륭한 리버스 엔지니어링 글 모음, 볼 만함

darbra
⭐ 1,427 👤 darbra User 🕐 업데이트됨 2026-04-13 📅 생성됨 2022-03-02
47
okfn-brasil/querido-diario

📰 브라질 공식 관보 모두에게 접근 가능 | 📰 브라질 정부 관보, 모두에게 접근 가능.

okfn-brasil
⭐ 1,424 Python 👤 okfn-brasil Organization 🕐 업데이트됨 2026-10-12 📅 생성됨 2018-04-01
48
kgspider/crawler

K 형 웹 크롤링 코드 공유, JS 역분석, 웹 크롤링 심화. WeChat 공식 계정 팔로우: K 형 웹 크롤링

kgspider
⭐ 1,371 JavaScript 👤 kgspider User 🕐 업데이트됨 2025-05-12 📅 생성됨 2021-08-24
49
0xInfection/XSRFProbe

Prime Cross Site Request Forgery (CSRF) 감사 및 악용 툴킷.

0xInfection
⭐ 1,310 Python 👤 0xInfection User 🕐 업데이트됨 2026-07-12 📅 생성됨 2018-08-21
50
bookstairs/bookhunter

인터넷에서 전자책을 긁어오는 다운로드 도구.

bookstairs
⭐ 1,305 Go 👤 bookstairs Organization 🕐 업데이트됨 2026-02-28 📅 생성됨 2022-04-08

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #spider 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #spider 프로젝트는 44,801개의 스타를 받은 NaiboWang/EasySpider입니다. 시각적 노코드 웹 크롤러/스파이더: 브라우저 자동화, 데이터 수집 및 웹 스크래핑 소프트웨어로, 코딩 없이 그래픽 방식으로 크롤링 작업을 설계하고 실행할 수 있습니다. 별칭: ServiceWrapper(웹 애플리케이션을 위한 지능형 서비스 캡슐화 시스템).

2

#spider 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #spider 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, Go, PHP, TypeScript입니다.

3

#spider 저장소 순위는 어떻게 계산되나요?

#spider 태그가 지정된 활성 오픈 소스 저장소(92개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 325,814개이며 저장소당 평균 3,541개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.