Git Stars Git Stars

#crawler 저장소

162
총 리포지토리
1.1M
총 별점
6,863
리포지토리당 평균 스타 수

저장소 총 162개

51
thewhiteh4t/FinalRecon

올인원 웹 정찰

thewhiteh4t
⭐ 3,058 Python 👤 thewhiteh4t User 🕐 업데이트됨 2026-10-31 📅 생성됨 2019-03-28
52
Qianlitp/crawlergo

웹 취약점 스캐너를 위한 강력한 브라우저 크롤러

Qianlitp
⭐ 3,034 Go 👤 Qianlitp User 🕐 업데이트됨 2025-03-11 📅 생성됨 2019-12-25
53
facundoolano/google-play-scraper

Google Play에서 데이터를 가져오는 Node.js 스크래퍼

facundoolano
⭐ 3,005 JavaScript 👤 facundoolano User 🕐 업데이트됨 2026-10-17 📅 생성됨 2015-04-07
54
howie6879/owllook

owllook-소설 검색 엔진

howie6879
⭐ 2,900 Python 👤 howie6879 User 🕐 업데이트됨 2026-10-30 📅 생성됨 2017-02-18
55
CharlesPikachu/DecryptLogin

DecryptLogin: requests를 사용해 일부 웹사이트에 로그인하는 API.

CharlesPikachu
⭐ 2,871 Python 👤 CharlesPikachu User 🕐 업데이트됨 2024-08-09 📅 생성됨 2019-02-25
56
spider-rs/spider

Rust를 활용한 기반 저지연 웹 데이터 수집

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2018-01-07
57
jaeles-project/gospider

Gospider - Go로 작성된 빠른 웹 스파이더

jaeles-project
⭐ 2,851 Go 👤 jaeles-project Organization 🕐 업데이트됨 2024-04-21 📅 생성됨 2020-01-22
58
spatie/crawler

https://spatie.be/docs/crawler

spatie
⭐ 2,827 PHP 👤 spatie Organization 🕐 업데이트됨 2026-11-05 📅 생성됨 2015-11-02
59
geziyor/geziyor

Geziyor, Go를 위한 초고속 웹 크롤링 및 스크래핑 프레임워크. JS 렌더링 지원.

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 업데이트됨 2026-07-02 📅 생성됨 2019-06-06
60
jae-jae/QueryList

:spider: 점진적인 PHP 크롤러 프레임워크! 우아한 점진적 PHP 수집 프레임워크.

jae-jae
⭐ 2,689 PHP 👤 jae-jae User 🕐 업데이트됨 2026-10-20 📅 생성됨 2015-12-20
61
Autumn-27/ScopeSentry

ScopeSentry-사이버스페이스 매핑, 하위 도메인 열거, 포트 스캔, 민감한 정보 검색, 취약점 스캔, 분산 노드

Autumn-27
⭐ 2,597 Go 👤 Autumn-27 User 🕐 업데이트됨 2026-10-11 📅 생성됨 2024-02-27
62
xtuhcy/gecco

사용하기 쉬운 경량 웹 크롤러

xtuhcy
⭐ 2,510 Java 👤 xtuhcy User 🕐 업데이트됨 2026-10-09 📅 생성됨 2015-12-12
63
fhamborg/news-please

news-please - 뉴스용 통합 웹 크롤러 및 정보 추출기, 그냥 작동합니다

fhamborg
⭐ 2,494 Python 👤 fhamborg User 🕐 업데이트됨 2026-04-14 📅 생성됨 2016-12-18
64
lorien/grab

웹 스크래핑 프레임워크

lorien
⭐ 2,461 Python 👤 lorien User 🕐 업데이트됨 2025-09-19 📅 생성됨 2013-05-01
65
JayBizzle/Crawler-Detect

🕷 CrawlerDetect는 사용자 에이전트를 통해 봇/크롤러/스파이더를 감지하는 PHP 클래스입니다

JayBizzle
⭐ 2,410 PHP 👤 JayBizzle User 🕐 업데이트됨 2026-11-16 📅 생성됨 2015-03-23
66
friuns2/Leaked-GPTs

유출된 GPTs 프롬프트는 25개 메시지 제한을 우회하거나 Plus 구독 없이 GPTs를 사용해 볼 수 있습니다.

friuns2
⭐ 2,396 Python 👤 friuns2 User 🕐 업데이트됨 2024-01-17 📅 생성됨 2023-11-27
67
sjdirect/abot

속도와 유연성을 위해 구축된 크로스 플랫폼 C# 웹 크롤러 프레임워크입니다. 이 프로젝트에 좋아요 눌러주세요! +1.

sjdirect
⭐ 2,308 C# 👤 sjdirect User 🕐 업데이트됨 2026-07-17 📅 생성됨 2013-08-08
68
goclone-dev/goclone

Website Cloner - 강력한 Go 루틴을 사용하여 몇 초 안에 웹사이트를 컴퓨터로 복제합니다.

goclone-dev
⭐ 2,303 Go 👤 goclone-dev Organization 🕐 업데이트됨 2026-06-02 📅 생성됨 2020-03-23
69
AAndyProgram/SCrawler

Twitter, Reddit, Instagram, BlueSky, TikTok, Threads, Facebook, OnlyFans, YouTube, Pinterest, PornHub, XHamster, XVIDEOS, ThisVid 등을 포함한 모든 사이트의 미디어 다운로더.

AAndyProgram
⭐ 2,263 Visual Basic .NET 👤 AAndyProgram User 🕐 업데이트됨 2026-11-08 📅 생성됨 2021-12-07
70
watercrawl/WaterCrawl

웹 콘텐츠를 LLM 준비 데이터로 변환

watercrawl
⭐ 2,244 TypeScript 👤 watercrawl Organization 🕐 업데이트됨 2026-08-17 📅 생성됨 2024-12-15
71
zorlan/skycaiji

Blue Sky Collector는 규칙을 클릭하고 편집하기만 하면 데이터를 수집할 수 있는 오픈 소스 무료 크롤러 시스템으로, 로컬, 가상 호스트 또는 클라우드 서버에서 실행할 수 있으며 거의 모든 유형의 웹페이지를 수집할 수 있습니다. 다양한 CMS 웹 구축 프로그램과 원활하게 통합되며, 로그인 없이 실시간으로 데이터를 게시하고 완벽하게 자동화되어 수동 개입이 필요 없습니다! 웹 빅데이터 수집 소프트웨어의 완전한 크로스 플랫폼 클라우드 크롤러 시스템입니다.

zorlan
⭐ 2,098 PHP 👤 zorlan User 🕐 업데이트됨 2026-10-07 📅 생성됨 2018-02-26
72
TeamNewPipe/NewPipeExtractor

NewPipe의 스트리밍 사이트에서 데이터를 추출하기 위한 핵심 라이브러리

TeamNewPipe
⭐ 2,070 Java 👤 TeamNewPipe Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2017-03-01
73
elliotgao2/gain

asyncio 기반의 웹 크롤링 프레임워크.

elliotgao2
⭐ 2,017 Python 👤 elliotgao2 User 🕐 업데이트됨 2026-08-09 📅 생성됨 2017-05-31
74
coder-hxl/x-crawl

유연한 Node.js 크롤러 라이브러리

coder-hxl
⭐ 1,888 TypeScript 👤 coder-hxl User 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-01-22
75
JSREI/ast-hook-for-js-RE

브라우저 메모리 로밍 솔루션 (탐색 중...)

JSREI
⭐ 1,882 JavaScript 👤 JSREI Organization 🕐 업데이트됨 2024-05-07 📅 생성됨 2021-01-15
76
lixi5338619/lxSpider

크롤링 사례 모음. "타오바오, 징동, 티몰, 더우반, 더우인, 콰이서우, 웨이보, 위챗, 알리바바, 토티아오, PDD, 유쿠, 아이치이, 씨트립, 12306, 58, 소후, 각종 지수, 웨이푸, 완팡, ZLibrary, Oalib, 소설, 조달망, 구매망, 샤오홍슈, 따중뎬핑, 트위터, 마이마이, 즈후"를 포함하되 이에 국한되지 않음

lixi5338619
⭐ 1,876 Python 👤 lixi5338619 User 🕐 업데이트됨 2024-05-09 📅 생성됨 2021-01-29
77
diskoverdata/diskover-community

Diskover Community Edition - Elasticsearch로 구동되는 오픈 소스 파일 인덱서, 파일 검색 엔진 및 데이터 관리와 분석

diskoverdata
⭐ 1,831 PHP 👤 diskoverdata Organization 🕐 업데이트됨 2026-03-25 📅 생성됨 2017-04-19
78
eatmoreduck/boss-zhipin-scraper

BOSS Zhipin 스크레이퍼 / BOSS Zhipin 채용 정보 데이터 수집 도구. Chrome CDP 프로토콜을 기반으로 실제 로그인 상태를 재사용하여 폰트 안티 스크래핑을 우회하고, 일반 텍스트 급여 JSON/CSV 및 급여-기술 분석을 출력합니다.

eatmoreduck
⭐ 1,781 Python 👤 eatmoreduck User 🕐 업데이트됨 2026-11-03 📅 생성됨 2026-06-11
79
u3c3/BT-btt

자력 웹사이트 U3C3 소개 및 도메인 업데이트

u3c3
⭐ 1,779 👤 u3c3 User 🕐 업데이트됨 2025-01-01 📅 생성됨 2020-04-28
80
howie6879/ruia

asyncio 기반의 비동기 Python 3.6+ 웹 스크래핑 마이크로 프레임워크

howie6879
⭐ 1,738 Python 👤 howie6879 User 🕐 업데이트됨 2026-10-30 📅 생성됨 2018-07-10
81
rushter/selectolax

Modest 및 Lexbor 엔진에 대한 Python 바인딩. Python용 CSS 선택기가 있는 빠른 HTML5 파서.

rushter
⭐ 1,717 Python 👤 rushter User 🕐 업데이트됨 2026-11-10 📅 생성됨 2017-11-26
82
gildas-lormeau/single-file-cli

SingleFile 기반으로 완전한 웹페이지를 단일 HTML 파일로 충실하게 복사하여 저장하는 CLI 도구

gildas-lormeau
⭐ 1,702 JavaScript 👤 gildas-lormeau User 🕐 업데이트됨 2026-11-18 📅 생성됨 2022-05-31
83
YoongiKim/AutoCrawler

Google, Naver 멀티프로세스 이미지 웹 크롤러 (Selenium)

YoongiKim
⭐ 1,700 Python 👤 YoongiKim User 🕐 업데이트됨 2026-11-12 📅 생성됨 2018-11-21
84
orangecoding/fredy

❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] (진짜 부동산을 아주 쉽게 찾기) - Fredy는 ImmoScout24, Immowelt, eBay Kleinanzeigen 같은 플랫폼에서 유럽의 새로운 아파트, 주택, 플랫을 계속 검색하고, Slack, Telegram, 이메일, Discord 또는 ntfy를 통해 결과를 즉시 전달해 줍니다. 덕분에 인생에서 더 중요한 일에 집중할 수 있습니다 ;)

orangecoding
⭐ 1,648 JavaScript 👤 orangecoding User 🕐 업데이트됨 2026-11-19 📅 생성됨 2018-01-15
85
erma0/douyin

도우인 크롤러 - 계정 프로필 페이지, 좋아요, 컬렉션, 음악 원본, 주제, 검색, 컬렉션, 작품, 팔로잉, 팔로워 등 공개 데이터 수집.

erma0
⭐ 1,625 👤 erma0 User 🕐 업데이트됨 2026-08-14 📅 생성됨 2022-05-29
86
ArchiveTeam/grab-site

아카이브 관리자의 웹 크롤러: WARC 출력, 모든 크롤에 대한 대시보드, 동적 무시 패턴

ArchiveTeam
⭐ 1,572 Python 👤 ArchiveTeam Organization 🕐 업데이트됨 2025-05-23 📅 생성됨 2015-02-05
87
srx-2000/spider_collection

Python 크롤러, 현재 재고: 네이버 클라우드 뮤직 노래 크롤링, Bilibili 비디오 크롤링, Zhihu Q&A 크롤링, 벽지 크롤링, xvideos 비디오 크롤링, 유음책 크롤링, Weibo 크롤러, Anjuke 정보 크롤링 + 데이터 시각화, Bilibili 비디오 표지 추출기, IP 프록시 풀 캡슐화, Zhihu 백만급 사용자 크롤러 + 데이터 분석, GitHub 사용자 크롤러

srx-2000
⭐ 1,554 Python 👤 srx-2000 User 🕐 업데이트됨 2024-04-23 📅 생성됨 2020-02-04
88
0x676e67/wreq-python

인체공학적이고 개인정보 보호에 신경을 쓴 Python HTTP 클라이언트

0x676e67
⭐ 1,526 Python 👤 0x676e67 User 🕐 업데이트됨 2026-11-15 📅 생성됨 2025-02-10
89
rebrowser/rebrowser-patches

자동화 탐지 및 유출을 방지하는 puppeteer 및 playwright용 패치 모음입니다. Cloudflare 및 DataDome CAPTCHA 페이지를 피하는 데 도움이 됩니다. 패치/패치 해제가 용이하며 필요에 따라 활성화/비활성화할 수 있습니다.

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 업데이트됨 2026-11-02 📅 생성됨 2024-08-06
90
dadoonet/fscrawler

Elasticsearch 파일 시스템 크롤러 (FS 크롤러)

dadoonet
⭐ 1,459 Java 👤 dadoonet User 🕐 업데이트됨 2026-11-19 📅 생성됨 2012-06-08
91
xisuo67/XHS-Spider

샤오홍슈 데이터 수집, 웹사이트 이미지, 비디오 리소스 일괄 다운로드 도구, 외관이 매우 뛰어난 데이터 수집 도구 (일괄 다운로드, 비디오 추출, 이미지) Telegram:https://t.me/+ZtLSwuIKTo44MDY1

xisuo67
⭐ 1,456 👤 xisuo67 User 🕐 업데이트됨 2025-12-16 📅 생성됨 2023-04-25
92
openwpm/OpenWPM

웹 개인 정보 보호 측정 프레임워크

openwpm
⭐ 1,429 Python 👤 openwpm Organization 🕐 업데이트됨 2026-10-13 📅 생성됨 2014-06-10
93
darbra/sperm

둘러본 훌륭한 리버스 엔지니어링 글 모음, 볼 만함

darbra
⭐ 1,427 👤 darbra User 🕐 업데이트됨 2026-04-13 📅 생성됨 2022-03-02
94
kgspider/crawler

K 형 웹 크롤링 코드 공유, JS 역분석, 웹 크롤링 심화. WeChat 공식 계정 팔로우: K 형 웹 크롤링

kgspider
⭐ 1,371 JavaScript 👤 kgspider User 🕐 업데이트됨 2025-05-12 📅 생성됨 2021-08-24
95
lorey/mlscraper

🤖 예시만 제공하여 HTML 웹사이트에서 데이터를 자동으로 스크랩하세요

lorey
⭐ 1,370 Python 👤 lorey User 🕐 업데이트됨 2024-03-17 📅 생성됨 2020-07-30
96
felipecsl/wombat

페이지에서 구조화된 데이터를 추출하는 우아한 DSL을 가진 가벼운 Ruby 웹 크롤러/스크레이퍼.

felipecsl
⭐ 1,360 Ruby 👤 felipecsl User 🕐 업데이트됨 2026-10-27 📅 생성됨 2011-11-14
97
0xInfection/XSRFProbe

Prime Cross Site Request Forgery (CSRF) 감사 및 악용 툴킷.

0xInfection
⭐ 1,310 Python 👤 0xInfection User 🕐 업데이트됨 2026-07-12 📅 생성됨 2018-08-21
98
fastcrw/crw

Rust로 작성된 빠르고 가벼운 Firecrawl/Tavily 대안. AI 에이전트를 위한 MCP 서버가 포함된 웹 스크레이퍼, 크롤러 및 검색 API. Firecrawl 호환 드롭인 API(/scrape, /crawl, /search) 제공. 1K URL 벤치마크에서 Tavily보다 2.3배, Firecrawl보다 1.5배 빠름. 6MB RAM, 단일 바이너리. 자체 호스팅 또는 관리형 클라우드 사용 가능.

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-03-02
99
dwisiswant0/go-dork

Go로 작성된 가장 빠른 더크 스캐너.

dwisiswant0
⭐ 1,266 Go 👤 dwisiswant0 User 🕐 업데이트됨 2024-02-04 📅 생성됨 2020-07-13
100
kiddyuchina/Beanbun

Beanbun은 PHP로 작성된 다중 프로세스 웹 크롤링 프레임워크로, 좋은 개방성과 높은 확장성을 가지며 Workerman을 기반으로 합니다.

kiddyuchina
⭐ 1,258 PHP 👤 kiddyuchina User 🕐 업데이트됨 2026-05-26 📅 생성됨 2017-04-13