Git Stars Git Stars

#crawler 저장소

162
총 리포지토리
1.1M
총 별점
6,863
리포지토리당 평균 스타 수

저장소 총 162개

101
Zeal-L/BiliBili-Manga-Downloader

그래픽 인터페이스를 갖춘 사용하기 쉬운 Bilibili 만화 다운로더, 키워드로 만화 검색 및 QR 코드 로그인 지원, 잠금 해제되지 않은 챕터 다운로드를 위한 블랙 테크놀로지, 멀티스레드 다운로드, 다양한 저장 형식, 로컬 만화 관리, 원클릭 업데이트 확인!

Zeal-L
⭐ 1,244 Python 👤 Zeal-L User 🕐 업데이트됨 2025-07-23 📅 생성됨 2023-01-15
102
InstaPy/instagram-profilecrawl

📝 인스타그램 프로필의 정보(예: 팔로워, 태그 등...)를 빠르게 크롤링하세요.

InstaPy
⭐ 1,244 Python 👤 InstaPy Organization 🕐 업데이트됨 2024-03-19 📅 생성됨 2017-02-15
103
seveniruby/AppCrawler

Appium 기반 앱 자동 탐색 도구

seveniruby
⭐ 1,244 Scala 👤 seveniruby User 🕐 업데이트됨 2026-04-20 📅 생성됨 2016-02-16
104
webrecorder/browsertrix-crawler

단일 Docker 컨테이너에서 고충실도 브라우저 기반 웹 아카이빙 크롤러 실행

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2020-11-02
105
AndyTheFactory/newspaper4k

📰 Newspaper4k - 사랑받는 Newspaper3k의 포크 버전입니다. 뉴스 웹사이트에서 기사, 제목, 메타데이터를 추출합니다.

AndyTheFactory
⭐ 1,170 Python 👤 AndyTheFactory User 🕐 업데이트됨 2026-11-01 📅 생성됨 2023-10-22
106
dixudx/tumblr-crawler

Tumblr 블로그에서 모든 사진/비디오를 쉽게 다운로드하세요. 지정된 Tumblr 블로그의 이미지, 비디오 다운로드

dixudx
⭐ 1,160 Python 👤 dixudx User 🕐 업데이트됨 2025-12-26 📅 생성됨 2016-04-15
107
codelibs/fess

OpenSearch 기반의 오픈 소스, 자체 호스팅 엔터프라이즈 및 사이트 검색 서버입니다. 웹/파일/DB/클라우드 소스 크롤링, 20개 이상의 언어 지원, REST API, AI/RAG 및 의미론적 검색 기능을 제공합니다. Apache-2.0 라이선스.

codelibs
⭐ 1,152 Java 👤 codelibs Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2013-09-13
108
scrapfly/scrapfly-scrapers

80개 이상의 인기 도메인을 위한 확장 가능한 Python 웹 스크래핑 스크립트

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-05-22
109
BaiduSpider/BaiduSpider

Baidu 검색 결과를 크롤링하는 크롤러인 BaiduSpider는 현재 Baidu 웹 검색, Baidu 이미지 검색, Baidu 지식 검색, Baidu 동영상 검색, Baidu 뉴스 검색, Baidu Wenku 검색, Baidu 경험 검색 및 Baidu 백과 검색을 지원합니다.

BaiduSpider
⭐ 1,130 Python 👤 BaiduSpider Organization 🕐 업데이트됨 2024-06-14 📅 생성됨 2020-10-03
110
elixir-crawly/crawly

Crawly, Elixir를 위한 고급 웹 크롤링 및 스크래핑 프레임워크.

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2019-03-09
111
0x676e67/wreq

인체공학적이고 개인정보 보호를 고려한 Rust HTTP 클라이언트

0x676e67
⭐ 1,118 Rust 👤 0x676e67 User 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-09-19
112
wujunwei928/parse-video

Golang 짧은 비디오 워터마크 제거: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipixia Gaoqiao, Xigua Video, Huya, Li Video, AcFun, Haokan Video...

wujunwei928
⭐ 1,104 Go 👤 wujunwei928 User 🕐 업데이트됨 2026-11-08 📅 생성됨 2022-07-12
113
vifreefly/kimuraframework

AI 지원 정돈된 DSL을 사용하여 Ruby에서 웹 스크레이퍼를 작성하세요. Kimurai는 AI를 사용해 데이터가 어디에 있는지 파악한 뒤 선택자를 캐시하고 순수 Ruby로 스크레이핑합니다. 요청마다 지연 시간이나 토큰 비용 없이 LLM의 인텔리전스를 활용하세요.

vifreefly
⭐ 1,102 Ruby 👤 vifreefly User 🕐 업데이트됨 2026-01-27 📅 생성됨 2018-08-23
114
antibrow/antibrow

이미 사용 중인 Playwright API를 지원하는 커널 수준 안티탐지 브라우저입니다. Python + Node SDK, MCP 지원, 로컬 프로필 무제한을 제공합니다. Linux x64 + arm64, macOS Intel + Apple Silicon, Windows x64를 지원합니다.

antibrow
⭐ 1,068 TypeScript 👤 antibrow User 🕐 업데이트됨 2026-09-28 📅 생성됨 2026-07-29
115
darbra/awesome-ai-reverse

AI 리버스 엔지니어링, 한 번에 끝내기

darbra
⭐ 1,026 👤 darbra User 🕐 업데이트됨 2026-09-29 📅 생성됨 2026-04-14
116
janreges/siteone-crawler

SiteOne Crawler는 SEO, 보안, 접근성 및 성능 최적화를 위한 크로스 플랫폼 웹사이트 크롤러 및 분석기이며 개발자, DevOps, QA 엔지니어 및 컨설턴트에게 이상적입니다. Windows, macOS 및 Linux(x64 및 arm64)를 지원합니다.

janreges
⭐ 1,019 Rust 👤 janreges User 🕐 업데이트됨 2026-09-27 📅 생성됨 2023-10-04
117
apache/stormcrawler

Apache Storm 기반의 확장 가능하고 성숙하며 다재다능한 웹 크롤러

apache
⭐ 1,014 Java 👤 apache Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2013-04-12
118
pea3nut/Pxer

pixiv.net을 위한 도구. 모든 사람이 사용할 수 있는 P스테이션 크롤러

pea3nut
⭐ 1,010 JavaScript 👤 pea3nut User 🕐 업데이트됨 2025-03-03 📅 생성됨 2015-12-16
119
spidersuite/SpiderSuite

SpiderSuite(웹 보안 크롤러) 릴리스, 위키 및 로드맵

spidersuite
⭐ 990 👤 spidersuite Organization 🕐 업데이트됨 2026-08-13 📅 생성됨 2023-04-05
120
fredwu/crawler

Elixir로 작성된 고성능 웹 크롤러/스크레이퍼.

fredwu
⭐ 963 Elixir 👤 fredwu User 🕐 업데이트됨 2026-11-21 📅 생성됨 2016-08-08
121
ma6254/FictionDown

소설 다운로드|소설 크롤링|起点|笔趣阁|Markdown 내보내기|txt 내보내기|epub 변환|광고 필터링|자동 교정

ma6254
⭐ 955 Go 👤 ma6254 User 🕐 업데이트됨 2025-01-21 📅 생성됨 2019-03-03
122
xiaoxiunique/x-kit

X.com을 위한 순수 Python 프로토콜 도구 및 연구 노트, VibeLoft Twitter 계정 데이터셋 포함

xiaoxiunique
⭐ 947 Python 👤 xiaoxiunique User 🕐 업데이트됨 2026-11-04 📅 생성됨 2024-12-16
123
0xAllenChen/spider_reverse

크롤러 리버스 엔지니어링 사례, 완료: TLS 지문 | Ruishu | Zhenkunxing | NetEase Yudun | WeChat 미니 프로그램 디컴파일 리버스 엔지니어링 (Baida Xingxi) | Tonghuashun | RPC 복호화 | Jiasule | Jueyan 슬라이더 캡차 | Julang Sanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | 산업 정책 빅데이터 플랫폼 | Qizhidiao | Xueqiu.com (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Keji | mohurd | Ejoin Data | Ouke Yunlian

0xAllenChen
⭐ 946 Python 👤 0xAllenChen User 🕐 업데이트됨 2026-11-17 📅 생성됨 2023-06-02
124
TikHub/TikHub-API-Python-SDK

Douyin(抖音), TikTok, Xiaohongshu(小红书), Kuaishou(快手), Weibo(微博), Instagram, YouTube(油管), Twitter(X)용 임시 메일(Temp Mail) API(인터페이스) 고성능 비동기 캡차 해결사(Captcha Solver).

TikHub
⭐ 943 Python 👤 TikHub Organization 🕐 업데이트됨 2026-10-03 📅 생성됨 2022-12-17
125
hellock/icrawler

많은 내장 이미지 크롤러가 제공되는 멀티스레드 크롤러 프레임워크.

hellock
⭐ 936 Python 👤 hellock User 🕐 업데이트됨 2025-12-10 📅 생성됨 2016-03-19
126
JoMingyu/google-play-scraper

<facundoolano/google-play-scraper>에서 영감을 받은 Python용 Google Play 스크래퍼

JoMingyu
⭐ 930 Python 👤 JoMingyu User 🕐 업데이트됨 2024-08-05 📅 생성됨 2019-06-04
127
SkywalkerDarren/chatWeb

ChatWeb은 웹 페이지를 크롤링하고, PDF, DOCX, TXT를 읽고 주요 콘텐츠를 추출한 다음, 해당 콘텐츠를 기반으로 질문에 답하거나 주요 요점을 요약할 수 있습니다.

SkywalkerDarren
⭐ 916 Python 👤 SkywalkerDarren User 🕐 업데이트됨 2026-05-25 📅 생성됨 2023-03-09
128
scrapinghub/scrapyrt

Scrapy 스파이더용 HTTP API

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 업데이트됨 2026-10-13 📅 생성됨 2015-01-06
129
rndinfosecguy/Scavenger

텍스트 공유 사이트에서 유출 정보를 검색하는 크롤러(봇).

rndinfosecguy
⭐ 883 Python 👤 rndinfosecguy User 🕐 업데이트됨 2026-11-20 📅 생성됨 2018-03-10
130
skrapeit/skrape.it

Kotlin 기반의 테스트/스크래핑/파싱 라이브러리로, 서버 및 클라이언트 측 렌더링된 HTML에서 데이터를 분석하고 추출할 수 있는 기능을 제공합니다. 직관적인 DSL을 제공하여 사용의 용이성과 높은 가독성을 강조합니다. 테스트 라이브러리를 목표로 하지만, 편리한 방식으로 웹사이트를 스크래핑하는 데도 사용할 수 있습니다.

skrapeit
⭐ 874 Kotlin 👤 skrapeit User 🕐 업데이트됨 2026-10-20 📅 생성됨 2019-01-14
131
StJudeWasHere/seonaut

오픈 소스 SEO 감사 도구.

StJudeWasHere
⭐ 873 Go 👤 StJudeWasHere User 🕐 업데이트됨 2026-10-08 📅 생성됨 2022-03-02
132
setvisible/ArrowDL

ArrowDL (Arrow Downloader)은 Windows, MacOS 및 Linux용 다운로드 관리자입니다.

setvisible
⭐ 855 C++ 👤 setvisible User 🕐 업데이트됨 2026-05-04 📅 생성됨 2019-07-04
133
BlessedRebuS/Krawl

Krawl은 사용자 지정 가능하고 가벼운 클라우드 네이티브 웹 속임수 서버이자 안티 크롤러로, 현실적이고 무작위로 생성된 미끼 데이터와 AI 생성 HTML 템플릿을 사용하여 낮은 임계값 취약점이 있는 가짜 웹 애플리케이션을 만듭니다.

BlessedRebuS
⭐ 844 Python 👤 BlessedRebuS User 🕐 업데이트됨 2026-11-20 📅 생성됨 2025-12-10
134
postmodern/spidr

다양한 Ruby 웹 스파이더링 라이브러리로, 사이트, 여러 도메인, 특정 링크 또는 무한정 스파이더링할 수 있습니다. Spidr은 빠르고 사용하기 쉬운 디자인입니다.

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 업데이트됨 2026-01-12 📅 생성됨 2009-03-08
135
tiliondev/fortress

코드 한 줄만 변경하면 스크레이퍼와 브라우저 에이전트가 차단되지 않도록 해주는 스텔스 Chromium 엔진입니다.

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 업데이트됨 2026-11-03 📅 생성됨 2026-07-02
136
MorvanZhou/easy-scraping-tutorial

간단하지만 유용한 Python 웹 스크래핑 튜토리얼 코드.

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 업데이트됨 2024-04-07 📅 생성됨 2017-12-29
137
fffonion/xeHentai

Doujinshi 다운로더 신사 만화 다운로드

fffonion
⭐ 808 Python 👤 fffonion User 🕐 업데이트됨 2026-11-15 📅 생성됨 2013-03-23
138
fanyong920/jvppeteer

Chrome 및 Firefox용 Java API

fanyong920
⭐ 805 Java 👤 fanyong920 User 🕐 업데이트됨 2026-10-04 📅 생성됨 2020-03-11
139
chadi0x/TheBigBrother

The Big Brother는 사용자 이름 열거(473개 이상의 플랫폼), 4중 벡터 시각 정보 분석, Sky Radar 추적, 암호화폐 지갑 분석, SSL 인텔리전스, 디지털 발자국 재구성, EXIF 추출, 고급 도킹, 네트워크 정찰 기능을 갖춘 무기화된 OSINT 플랫폼입니다.

chadi0x
⭐ 787 Python 👤 chadi0x User 🕐 업데이트됨 2026-11-14 📅 생성됨 2025-12-08
140
JSREI/js-cookie-monitor-debugger-hook

JS 쿠키 리버스 엔지니어링의 핵심 도구: JS 쿠키 변경 감시 시각화 도구 & 조건부 중단점을 위한 JS 쿠키 훅

JSREI
⭐ 779 TypeScript 👤 JSREI Organization 🕐 업데이트됨 2026-01-28 📅 생성됨 2022-07-22
141
lixi5338619/lxBook

"크롤러 리버스 엔지니어링 고급 실전" 서적 코드 저장소

lixi5338619
⭐ 770 JavaScript 👤 lixi5338619 User 🕐 업데이트됨 2026-01-26 📅 생성됨 2021-11-16
142
xuxueli/xxl-crawler

가벼운 웹 크롤러 프레임워크. (Java 크롤러 프레임워크)

xuxueli
⭐ 756 Java 👤 xuxueli User 🕐 업데이트됨 2026-08-08 📅 생성됨 2017-10-17
143
polyrabbit/hacker-news-digest

📰 LLM에게 Hacker News를 요약해 달라고 하세요

polyrabbit
⭐ 754 Python 👤 polyrabbit User 🕐 업데이트됨 2026-11-21 📅 생성됨 2014-09-17
144
TumblThreeApp/TumblThree

Tumblr와 Twitter 블로그 백업 애플리케이션

TumblThreeApp
⭐ 744 C# 👤 TumblThreeApp Organization 🕐 업데이트됨 2026-11-14 📅 생성됨 2018-12-29
145
PyPtt/PyPtt

최고의 PTT 라이브러리

PyPtt
⭐ 733 Python 👤 PyPtt Organization 🕐 업데이트됨 2026-11-13 📅 생성됨 2017-05-28
146
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ LinkedIn 프로필 스크래퍼, JSON 형식의 구조화된 프로필 데이터를 반환합니다.

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 업데이트됨 2024-04-05 📅 생성됨 2018-12-21
147
chushuai/wscan

Wscan은 웹 보안에 중점을 둔 웹 보안 스캐너로, 누구나 웹 보안에 접근할 수 있도록 만드는 데 전념하고 있습니다.

chushuai
⭐ 717 Go 👤 chushuai User 🕐 업데이트됨 2026-09-21 📅 생성됨 2022-05-06
148
tasos-py/Search-Engines-Scraper

Python으로 Google, Bing, Yahoo 및 기타 검색 엔진 검색

tasos-py
⭐ 672 Python 👤 tasos-py User 🕐 업데이트됨 2025-04-02 📅 생성됨 2018-01-08
149
C0D3D3V/Moodle-DL

Moodle-DL은 Moodle에서 빠르게 강의 내용을 다운로드합니다 (예: 강의 PDF)

C0D3D3V
⭐ 668 Python 👤 C0D3D3V User 🕐 업데이트됨 2026-10-22 📅 생성됨 2019-12-19
150
cxcscmu/Craw4LLM

"Craw4LLM: LLM 사전 훈련을 위한 효율적인 웹 크롤링" 공식 리포지토리

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 업데이트됨 2025-02-24 📅 생성됨 2025-02-17