Git Stars Git Stars

#crawler 저장소

162
총 리포지토리
1.1M
총 별점
6,863
리포지토리당 평균 스타 수

저장소 총 162개

151
fengzhizi715/NetDiscovery

NetDiscovery는 Vert.x, RxJava 2와 같은 프레임워크를 기반으로 구현된 범용 크롤러 프레임워크/미들웨어입니다.

fengzhizi715
⭐ 643 Java 👤 fengzhizi715 User 🕐 업데이트됨 2026-06-05 📅 생성됨 2017-11-26
152
cv-cat/catbus

하나의 명령으로 Xiaohongshu, Douyin, TikTok, Bilibili, Kuaishou, Weibo, Xianyu, Taobao, JD.com, X 사용: 사람과 AI 에이전트를 위한 통합 명령 및 JSON 출력

cv-cat
⭐ 641 TypeScript 👤 cv-cat User 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-09-27
153
rajatomar788/pywebcopy

이미지, CSS, JS 및 링크를 그대로 포함하여 웹페이지를 하드 디스크에 로컬로 저장합니다.

rajatomar788
⭐ 639 Python 👤 rajatomar788 User 🕐 업데이트됨 2025-05-13 📅 생성됨 2018-07-23
154
scrapfly/Antibot-Detector

안티봇 시스템, 캡차 및 핑거프린팅 기술을 실시간으로 탐지합니다. Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security 등을 식별하며 신뢰도 점수와 고급 캡처 도구를 제공합니다.

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2025-09-03
155
yhy0/Jie

Jie는 웹 애플리케이션을 위해 세심하게 제작된 포괄적인 보안 평가 및 악용 도구로 두각을 나타냅니다. 강력한 기능군은 취약점 스캔, 정보 수집 및 악용을 포함하여 보안 전문가와 침투 테스터 모두에게 필수적인 툴킷이 됩니다. 挖洞辅助工具(漏洞扫描、信息收集)

yhy0
⭐ 599 Go 👤 yhy0 User 🕐 업데이트됨 2024-07-05 📅 생성됨 2023-01-30
156
CharlesPikachu/freeproxy

FreeProxy: 인터넷에서 무료 프록시를 수집합니다. (전 세계의 대량 고품질 무료 프록시, 수십 개의 무료 프록시 공유 소스 크롤링 지원, 사용자 정의 규칙 프록시 필터링 지원, 웹 스크래핑 및 데이터 분석에 필수, 매일 대량의 무료 프록시 업데이트.)

CharlesPikachu
⭐ 594 Python 👤 CharlesPikachu User 🕐 업데이트됨 2026-11-21 📅 생성됨 2018-10-29
157
vakra-dev/reader

AI를 위한 오픈 소스 웹 인프라스트럭처. 웹을 스크랩하고, 크롤링하며, 자동화하고, 마크다운을 정리하고, 브라우저 세션을 관리하여 에이전트에 바로 사용할 수 있습니다.

vakra-dev
⭐ 577 TypeScript 👤 vakra-dev Organization 🕐 업데이트됨 2026-10-06 📅 생성됨 2026-01-07
158
zhuyingda/webster

Node.js를 위한 신뢰할 수 있는 고급 웹 크롤링 및 스크래핑 프레임워크.

zhuyingda
⭐ 560 JavaScript 👤 zhuyingda User 🕐 업데이트됨 2025-03-12 📅 생성됨 2017-11-04
159
MikeMeliz/TorCrawl.py

TOR 네트워크를 통해 (일반 또는 오니언) 웹페이지를 크롤링하고 추출

MikeMeliz
⭐ 550 Python 👤 MikeMeliz User 🕐 업데이트됨 2026-06-29 📅 생성됨 2016-12-05
160
dirtyfilthy/freshonions-torscraper

Fresh Onions는 zlal32teyptf4tvi.onion에서 호스팅되는 오픈 소스 TOR 스파이더 / 히든 서비스 onion 크롤러입니다

dirtyfilthy
⭐ 543 Python 👤 dirtyfilthy User 🕐 업데이트됨 2026-11-19 📅 생성됨 2017-02-15
161
dengmeiluan/ticket-monitoring

✈️ 셀프 호스팅 방식의 멀티채널 항공권 가격 모니터링: 항공편 상세 정보 수집 → DingTalk로 텍스트·이미지 알림 전송 → 조건 달성 시 4단계 강력 알림. 국내선과 국제선(5대륙 목적지)에 동일한 수집·판정·알림 흐름을 적용합니다. 데이터는 로컬 기기에 보관되고, 모든 설정은 웹에서 할 수 있으며, 오픈 소스로 무료입니다.

dengmeiluan
⭐ 528 Python 👤 dengmeiluan User 🕐 업데이트됨 2026-11-18 📅 생성됨 2026-09-15
162
AlexMathew/scrapple

준자동 웹 콘텐츠 추출기 제작을 위한 프레임워크

AlexMathew
⭐ 506 Python 👤 AlexMathew User 🕐 업데이트됨 2026-01-16 📅 생성됨 2014-12-13