Git Stars Git Stars

#spider 저장소

92
총 리포지토리
325,814
총 별점
3,541
리포지토리당 평균 스타 수

저장소 총 92개

51
kiddyuchina/Beanbun

Beanbun은 PHP로 작성된 다중 프로세스 웹 크롤링 프레임워크로, 좋은 개방성과 높은 확장성을 가지며 Workerman을 기반으로 합니다.

kiddyuchina
⭐ 1,258 PHP 👤 kiddyuchina User 🕐 업데이트됨 2026-05-26 📅 생성됨 2017-04-13
52
scrapfly/scrapfly-scrapers

80개 이상의 인기 도메인을 위한 확장 가능한 Python 웹 스크래핑 스크립트

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-05-22
53
BaiduSpider/BaiduSpider

Baidu 검색 결과를 크롤링하는 크롤러인 BaiduSpider는 현재 Baidu 웹 검색, Baidu 이미지 검색, Baidu 지식 검색, Baidu 동영상 검색, Baidu 뉴스 검색, Baidu Wenku 검색, Baidu 경험 검색 및 Baidu 백과 검색을 지원합니다.

BaiduSpider
⭐ 1,130 Python 👤 BaiduSpider Organization 🕐 업데이트됨 2024-06-14 📅 생성됨 2020-10-03
54
elixir-crawly/crawly

Crawly, Elixir를 위한 고급 웹 크롤링 및 스크래핑 프레임워크.

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2019-03-09
55
skygazer42/DL-Hub

LLM 대규모 모델 노트 50개 이 리포지토리에는 머신러닝, 딥러닝, 컴퓨터 비전, 자연어 처리, 대규모 모델, 웹 크롤링 등 분야의 프로젝트 실습이 포함되어 있습니다.

skygazer42
⭐ 1,121 Python 👤 skygazer42 User 🕐 업데이트됨 2026-08-30 📅 생성됨 2022-04-05
56
wujunwei928/parse-video

Golang 짧은 비디오 워터마크 제거: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipixia Gaoqiao, Xigua Video, Huya, Li Video, AcFun, Haokan Video...

wujunwei928
⭐ 1,104 Go 👤 wujunwei928 User 🕐 업데이트됨 2026-11-08 📅 생성됨 2022-07-12
57
zhangyd-c/OneBlog

:alien: OneBlog, 간결하고 아름답고, 기능이 강력하며 적응형인 Java 블로그

zhangyd-c
⭐ 1,103 Java 👤 zhangyd-c User 🕐 업데이트됨 2025-03-16 📅 생성됨 2018-04-10
58
1061700625/WeChat_Article

위챗 공식 계정 기사 크롤링

1061700625
⭐ 1,089 Python 👤 1061700625 User 🕐 업데이트됨 2026-06-17 📅 생성됨 2019-02-21
59
gsh199449/spider

사용하기 쉬운 웹 콘솔을 갖춘 구성 가능한 웹 스파이더

gsh199449
⭐ 996 Java 👤 gsh199449 User 🕐 업데이트됨 2026-06-03 📅 생성됨 2016-11-24
60
spidersuite/SpiderSuite

SpiderSuite(웹 보안 크롤러) 릴리스, 위키 및 로드맵

spidersuite
⭐ 990 👤 spidersuite Organization 🕐 업데이트됨 2026-08-13 📅 생성됨 2023-04-05
61
QIN2DIM/V2RSS

:rocket: 수집|무료|고품질|구독?

QIN2DIM
⭐ 978 Python 👤 QIN2DIM User 🕐 업데이트됨 2026-11-17 📅 생성됨 2020-06-02
62
LoseNine/Crack-JS-Spider

JS 역분석, JS 안티스크래핑 암호화 파라미터 복호화, 지연 슬라이더 W (2022.2.19) 복호화 완료, QQ 음악 sign (2022.2.13), 핀둬둬 anti_content, 보스 직파 zp_token, 즈후 x-zse-96, 쿠거 kg_mid/dfid, 핀치후 마스_cid, 중국 판결문망 (2020-06-30 업데이트), 타오바오 비밀번호, 천안보험 로그인, 비리비리 로그인, 팡닷컴 로그인, WPS 로그인, 웨이보 로그인, 유다 번역, 넷이즈 로그인, 위챗 공식 계정 로그인, 에어차이나 네트워크 로그인, 진보 로그인, 학생 정보 관리 시스템 로그인, 공영금융 로그인, 충칭 과학기술 자원 공유 플랫폼 로그인, 넷이즈 클라우드 음악 다운로드, 원클릭 비디오 링크 파싱, 차이롄서 로그인.

LoseNine
⭐ 974 JavaScript 👤 LoseNine User 🕐 업데이트됨 2024-05-03 📅 생성됨 2020-02-09
63
fredwu/crawler

Elixir로 작성된 고성능 웹 크롤러/스크레이퍼.

fredwu
⭐ 963 Elixir 👤 fredwu User 🕐 업데이트됨 2026-11-21 📅 생성됨 2016-08-08
64
ma6254/FictionDown

소설 다운로드|소설 크롤링|起点|笔趣阁|Markdown 내보내기|txt 내보내기|epub 변환|광고 필터링|자동 교정

ma6254
⭐ 955 Go 👤 ma6254 User 🕐 업데이트됨 2025-01-21 📅 생성됨 2019-03-03
65
0xAllenChen/spider_reverse

크롤러 리버스 엔지니어링 사례, 완료: TLS 지문 | Ruishu | Zhenkunxing | NetEase Yudun | WeChat 미니 프로그램 디컴파일 리버스 엔지니어링 (Baida Xingxi) | Tonghuashun | RPC 복호화 | Jiasule | Jueyan 슬라이더 캡차 | Julang Sanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | 산업 정책 빅데이터 플랫폼 | Qizhidiao | Xueqiu.com (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Keji | mohurd | Ejoin Data | Ouke Yunlian

0xAllenChen
⭐ 946 Python 👤 0xAllenChen User 🕐 업데이트됨 2026-11-17 📅 생성됨 2023-06-02
66
hellock/icrawler

많은 내장 이미지 크롤러가 제공되는 멀티스레드 크롤러 프레임워크.

hellock
⭐ 936 Python 👤 hellock User 🕐 업데이트됨 2025-12-10 📅 생성됨 2016-03-19
67
alltheplaces/alltheplaces

인터넷에 위치를 게시하는 장소들로부터 위치 정보를 추출하기 위한 스파이더와 스크레이퍼의 집합.

alltheplaces
⭐ 851 Python 👤 alltheplaces Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2016-06-15
68
BlessedRebuS/Krawl

Krawl은 사용자 지정 가능하고 가벼운 클라우드 네이티브 웹 속임수 서버이자 안티 크롤러로, 현실적이고 무작위로 생성된 미끼 데이터와 AI 생성 HTML 템플릿을 사용하여 낮은 임계값 취약점이 있는 가짜 웹 애플리케이션을 만듭니다.

BlessedRebuS
⭐ 844 Python 👤 BlessedRebuS User 🕐 업데이트됨 2026-11-20 📅 생성됨 2025-12-10
69
kingschan1204/istock

:point_right: Spring Boot 기반의 Java 주식 크롤러(A주만 지원), 좋아하시면 :heart: :star: 해주세요. V2 업그레이드 버전 개발 중!

kingschan1204
⭐ 836 Java 👤 kingschan1204 User 🕐 업데이트됨 2024-12-27 📅 생성됨 2017-03-09
70
postmodern/spidr

다양한 Ruby 웹 스파이더링 라이브러리로, 사이트, 여러 도메인, 특정 링크 또는 무한정 스파이더링할 수 있습니다. Spidr은 빠르고 사용하기 쉬운 디자인입니다.

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 업데이트됨 2026-01-12 📅 생성됨 2009-03-08
71
DoiiarX/NLCISBNPlugin

중국 국립 도서관 ISBN 검색을 기반으로 하는 Calibre용 source/metadata 플러그인. https://doiiars.com/article/NLCISBNPlugin

DoiiarX
⭐ 812 Python 👤 DoiiarX User 🕐 업데이트됨 2026-01-07 📅 생성됨 2023-12-14
72
bahaabdelwahed/killshot

침투 테스트 프레임워크, 정보 수집 도구 및 웹사이트 취약점 스캐너

bahaabdelwahed
⭐ 791 Ruby 👤 bahaabdelwahed User 🕐 업데이트됨 2025-12-07 📅 생성됨 2018-10-27
73
montaro2017/bili_novel_packer

라이트 노벨 패커(Light Novel Packer)는 빌리 라이트 노벨 웹사이트(bilinovel.com linovelib.com)의 콘텐츠를 수집하여 표지, 삽화, 목차를 지원하고 개별 권 병합을 지원하는 EPUB 형식으로 패키징합니다.

montaro2017
⭐ 787 Dart 👤 montaro2017 User 🕐 업데이트됨 2026-11-13 📅 생성됨 2023-02-20
74
xuxueli/xxl-crawler

가벼운 웹 크롤러 프레임워크. (Java 크롤러 프레임워크)

xuxueli
⭐ 756 Java 👤 xuxueli User 🕐 업데이트됨 2026-08-08 📅 생성됨 2017-10-17
75
polyrabbit/hacker-news-digest

📰 LLM에게 Hacker News를 요약해 달라고 하세요

polyrabbit
⭐ 754 Python 👤 polyrabbit User 🕐 업데이트됨 2026-11-21 📅 생성됨 2014-09-17
76
signal18/replication-manager

Signal 18 repman - MySQL / MariaDB / Percona Server용 복제 관리자

signal18
⭐ 747 Go 👤 signal18 Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2015-10-14
77
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ LinkedIn 프로필 스크래퍼, JSON 형식의 구조화된 프로필 데이터를 반환합니다.

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 업데이트됨 2024-04-05 📅 생성됨 2018-12-21
78
wujunwei928/parse-video-py

Python 단편 비디오 워터마크 제거 크롤러: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, 국가 단편 비디오, Pipi 재미, Xigua Video, Huya, Li Video, AcFun, Haokan Video...

wujunwei928
⭐ 721 Python 👤 wujunwei928 User 🕐 업데이트됨 2026-11-08 📅 생성됨 2024-04-03
79
xinlingqudongX/TSDK

타오바오 크롤러 SDK, 타오바오 오픈 플랫폼 또는 타오바오, 티몰, 알리바바 로그인 크롤링용

xinlingqudongX
⭐ 716 Python 👤 xinlingqudongX User 🕐 업데이트됨 2026-03-26 📅 생성됨 2018-12-06
80
casual-silva/NewsCrawl

엔터프라이즈급 여론 뉴스 크롤러 프로젝트를 오픈소스로 공개: 임의의 수의 크롤러 원클릭 실행, 크롤러 예약 작업, 크롤러 일괄 삭제 지원; 크롤러 원클릭 배포; 크롤러 모니터링 시각화; 클러스터 크롤러 할당 전략 구성; 👉 기성 Docker 원클릭 배포 문서가 여러분을 위해 문제를 해결했습니다.

casual-silva
⭐ 688 Python 👤 casual-silva User 🕐 업데이트됨 2026-05-23 📅 생성됨 2022-07-08
81
darbra/sign

앱 파라미터 역분석 방법 및 경험, 안드로이드 역분석

darbra
⭐ 667 👤 darbra User 🕐 업데이트됨 2024-06-13 📅 생성됨 2020-05-26
82
spiritLHLS/Hang-up-items

설문 조사 프로젝트, 클라우드 서버 추천, 방치형 프로젝트, 무료 프록시, 다양한 스크립트 수집. 실시간 업데이트 정보를 받으려면 오른쪽 상단의 종을 클릭하세요. (포크하지 마세요, 조용히 하세요)

spiritLHLS
⭐ 646 👤 spiritLHLS User 🕐 업데이트됨 2026-11-13 📅 생성됨 2022-04-11
83
fengzhizi715/NetDiscovery

NetDiscovery는 Vert.x, RxJava 2와 같은 프레임워크를 기반으로 구현된 범용 크롤러 프레임워크/미들웨어입니다.

fengzhizi715
⭐ 643 Java 👤 fengzhizi715 User 🕐 업데이트됨 2026-06-05 📅 생성됨 2017-11-26
84
cv-cat/catbus

하나의 명령으로 Xiaohongshu, Douyin, TikTok, Bilibili, Kuaishou, Weibo, Xianyu, Taobao, JD.com, X 사용: 사람과 AI 에이전트를 위한 통합 명령 및 JSON 출력

cv-cat
⭐ 641 TypeScript 👤 cv-cat User 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-09-27
85
scrapfly/Antibot-Detector

안티봇 시스템, 캡차 및 핑거프린팅 기술을 실시간으로 탐지합니다. Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security 등을 식별하며 신뢰도 점수와 고급 캡처 도구를 제공합니다.

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2025-09-03
86
l4rm4nd/LinkedInDumper

LinkedIn API에서 회사 직원을 덤프/스크랩/추출하기 위한 Python 3 스크립트

l4rm4nd
⭐ 624 Python 👤 l4rm4nd User 🕐 업데이트됨 2026-08-21 📅 생성됨 2022-10-17
87
mouday/spider-admin-pro

spider-admin-pro 크롤러 Scrapy+Scrapyd 크롤러 프로젝트 보기 및 크롤러 작업 예약 스케줄링을 위한 시각적 관리 도구, SpiderAdmin의 업그레이드 버전

mouday
⭐ 614 Python 👤 mouday User 🕐 업데이트됨 2026-06-15 📅 생성됨 2021-01-25
88
jadehh/TVSpider

영화 및 고양이 영화 크롤러 저장소

jadehh
⭐ 604 JavaScript 👤 jadehh User 🕐 업데이트됨 2024-09-18 📅 생성됨 2023-02-16
89
CharlesPikachu/freeproxy

FreeProxy: 인터넷에서 무료 프록시를 수집합니다. (전 세계의 대량 고품질 무료 프록시, 수십 개의 무료 프록시 공유 소스 크롤링 지원, 사용자 정의 규칙 프록시 필터링 지원, 웹 스크래핑 및 데이터 분석에 필수, 매일 대량의 무료 프록시 업데이트.)

CharlesPikachu
⭐ 594 Python 👤 CharlesPikachu User 🕐 업데이트됨 2026-11-21 📅 생성됨 2018-10-29
90
zhuyingda/webster

Node.js를 위한 신뢰할 수 있는 고급 웹 크롤링 및 스크래핑 프레임워크.

zhuyingda
⭐ 560 JavaScript 👤 zhuyingda User 🕐 업데이트됨 2025-03-12 📅 생성됨 2017-11-04
91
dirtyfilthy/freshonions-torscraper

Fresh Onions는 zlal32teyptf4tvi.onion에서 호스팅되는 오픈 소스 TOR 스파이더 / 히든 서비스 onion 크롤러입니다

dirtyfilthy
⭐ 543 Python 👤 dirtyfilthy User 🕐 업데이트됨 2026-11-19 📅 생성됨 2017-02-15
92
sansan0/bilibili-comment-analyzer

🎯 빌리빌리(bilibili) 댓글 데이터 시각화 분석 소프트웨어 -- 업로더가 자신의 주제 선택을 안내하고 팬 그룹을 명확히 하는 데 사용할 수 있습니다.

sansan0
⭐ 503 Python 👤 sansan0 User 🕐 업데이트됨 2025-06-27 📅 생성됨 2025-06-03