Git Stars Git Stars

#scrapy 저장소

#scrapy 태그가 지정된 GitHub의 활성 오픈 소스 저장소 38개를 확인해 보세요. 총 84,191개의 스타를 획득했으며 프로젝트당 평균 2,215개입니다. 이 주제를 이끄는 저장소는 12,301개의 스타를 받은 crawlab-team/crawlab입니다.

38
총 리포지토리
84,191
총 별점
2,215
리포지토리당 평균 스타 수

저장소 총 38개

1
crawlab-team/crawlab

언어와 프레임워크에 관계없이 스파이더 관리를 위한 분산 웹 크롤러 관리 플랫폼. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 업데이트됨 2026-02-10 📅 생성됨 2019-02-10
2
chyroc/WechatSogou

Sogou WeChat 검색 기반 WeChat 공식 계정 크롤러 인터페이스

chyroc
⭐ 6,411 Python 👤 chyroc User 🕐 업데이트됨 2026-10-23 📅 생성됨 2016-05-09
3
rmax/scrapy-redis

Scrapy를 위한 Redis 기반 구성 요소.

rmax
⭐ 5,648 Python 👤 rmax User 🕐 업데이트됨 2026-11-21 📅 생성됨 2011-08-29
4
DropsDevopsOrg/ECommerceCrawlers

실전 🐍 다양한 웹사이트, 전자상거래 데이터 크롤러 🕷. 포함 🕸: 타오바오 상품, 위챗 공공 계정, 다중 평가, 치차차, 채용 웹사이트, 선어, 알리 작업, 블로그 가든, 웨이보, 바이두 티에바, 더반 영화, 바오투왕, 취안징왕, 더반 음악, 특정 성 약물 감독국, 소후 뉴스, 머신러닝 텍스트 수집, 포파 자산 수집, 자동차의 집, 국가 통계국, 바이두 키워드 수록 수, 거미 일반 디렉토리, 투톄우, 더반 영화 리뷰, 시트립, 샤오미 앱 스토어, 안주커, 투자 민속 ❤️❤️❤️. 위챗 크롤러 데모 프로젝트:

DropsDevopsOrg
⭐ 5,355 Python 👤 DropsDevopsOrg Organization 🕐 업데이트됨 2024-05-22 📅 생성됨 2019-03-29
5
nghuyong/WeiboSpider

지속적으로 유지보수되는 Sina Weibo 수집 도구🚀🚀🚀

nghuyong
⭐ 4,125 Python 👤 nghuyong User 🕐 업데이트됨 2026-06-30 📅 생성됨 2017-10-29
6
Boris-code/feapder

🚀🚀🚀feapder는 사용하기 쉽고 강력한 크롤러 프레임워크입니다 | feapder는 사용하기 쉽고 강력한 Python 크롤러 프레임워크입니다. AirSpider, Spider, TaskSpider, BatchSpider의 네 가지 유형의 크롤러가 내장되어 있어 다양한 시나리오의 요구 사항을 충족합니다. 중단점 계속 실행, 모니터링 및 경고, 브라우저 렌더링, 대규모 데이터 중복 제거와 같은 기능을 지원합니다. 또한 강력한 크롤러 관리 시스템인 feaplat은 편리한 배포 및 예약을 제공합니다.

Boris-code
⭐ 3,732 Python 👤 Boris-code User 🕐 업데이트됨 2026-08-21 📅 생성됨 2021-02-08
7
Gerapy/Gerapy

Scrapy, Scrapyd, Django 및 Vue.js 기반의 분산 크롤러 관리 프레임워크

Gerapy
⭐ 3,518 Python 👤 Gerapy Organization 🕐 업데이트됨 2026-07-04 📅 생성됨 2017-06-30
8
my8100/scrapydweb

Scrapyd 클러스터 관리, Scrapy 로그 분석 및 시각화, 자동 패키징, 타이머 작업, 모니터링 및 알림, 그리고 모바일 UI를 위한 웹 앱. Docs 문서 :point_right:

my8100
⭐ 3,403 Python 👤 my8100 User 🕐 업데이트됨 2025-02-19 📅 생성됨 2018-09-30
9
scrapy-plugins/scrapy-splash

JavaScript 통합을 위한 Scrapy+Splash

scrapy-plugins
⭐ 3,230 Python 👤 scrapy-plugins Organization 🕐 업데이트됨 2025-02-11 📅 생성됨 2013-05-13
10
scrapy/scrapyd

Scrapy 스파이더를 실행하는 서비스 데몬

scrapy
⭐ 3,100 Python 👤 scrapy Organization 🕐 업데이트됨 2026-10-23 📅 생성됨 2013-02-01
11
RayXBuilds/Movie_Recommend

과거 학습 프로젝트: Spark 영화 추천, 웹 스크래핑, 웹 앱 및 백엔드. 새 버전은 cinematch-recommender에서 계속 개발 중입니다.

RayXBuilds
⭐ 3,007 Java 👤 RayXBuilds User 🕐 업데이트됨 2026-10-21 📅 생성됨 2018-04-18
12
dataabc/weibo-search

Weibo 검색 결과 정보를 가져옵니다. 검색은 Weibo 키워드 검색 또는 Weibo 토픽 검색이 될 수 있습니다.

dataabc
⭐ 2,340 Python 👤 dataabc User 🕐 업데이트됨 2026-06-05 📅 생성됨 2020-03-25
13
QianyanTech/Image-Downloader

Google, Bing, Baidu에서 이미지 다운로드. Google, Baidu, Bing의 이미지 다운로드.

QianyanTech
⭐ 2,331 Python 👤 QianyanTech Organization 🕐 업데이트됨 2024-07-07 📅 생성됨 2016-07-17
14
ictar/python-doc

편리한 참조를 위해 Python 문서를 중국어로 번역 간단히 말해서, 여기는 그 파이썬 문서들을 보관하고 중국어로 번역하기 위해 최선을 다할 것입니다~~

ictar
⭐ 1,942 👤 ictar User 🕐 업데이트됨 2024-05-17 📅 생성됨 2015-12-18
15
DanMcInerney/xsscrapy

XSS 스파이더 - 66/66 wavsep XSS 감지됨

DanMcInerney
⭐ 1,731 Python 👤 DanMcInerney User 🕐 업데이트됨 2024-06-13 📅 생성됨 2014-06-23
16
TheWebScrapingClub/webscraping-from-0-to-hero

Python을 이용한 웹 스크래핑에 대한 지식과 경험을 공유하는 것을 목표로 하는 웹 스크래핑 오픈 프로젝트 저장소입니다.

TheWebScrapingClub
⭐ 1,695 👤 TheWebScrapingClub Organization 🕐 업데이트됨 2024-05-27 📅 생성됨 2022-05-26
17
eliasdabbas/advertools

advertools - 온라인 마케팅 생산성과 분석 도구

eliasdabbas
⭐ 1,508 Python 👤 eliasdabbas User 🕐 업데이트됨 2026-06-30 📅 생성됨 2017-05-14
18
scrapy-plugins/scrapy-playwright

Scrapy용 Playwright 통합

scrapy-plugins
⭐ 1,469 Python 👤 scrapy-plugins Organization 🕐 업데이트됨 2026-11-02 📅 생성됨 2020-11-10
19
tb0hdan/domains

세계에서 가장 큰 단일 인터넷 도메인 데이터셋

tb0hdan
⭐ 1,181 Shell 👤 tb0hdan User 🕐 업데이트됨 2026-11-11 📅 생성됨 2020-01-12
20
xingag/spider_python

Python 크롤러

xingag
⭐ 1,165 Python 👤 xingag User 🕐 업데이트됨 2026-08-07 📅 생성됨 2018-09-12
21
juancarlospaco/faster-than-requests

Python 3에서 더 빠른 요청

juancarlospaco
⭐ 1,131 Nim 👤 juancarlospaco User 🕐 업데이트됨 2026-11-19 📅 생성됨 2018-11-13
22
vifreefly/kimuraframework

AI 지원 정돈된 DSL을 사용하여 Ruby에서 웹 스크레이퍼를 작성하세요. Kimurai는 AI를 사용해 데이터가 어디에 있는지 파악한 뒤 선택자를 캐시하고 순수 Ruby로 스크레이핑합니다. 요청마다 지연 시간이나 토큰 비용 없이 LLM의 인텔리전스를 활용하세요.

vifreefly
⭐ 1,102 Ruby 👤 vifreefly User 🕐 업데이트됨 2026-01-27 📅 생성됨 2018-08-23
23
moyada/stealer

도우인, 콰이쇼우, 화산, 피피샤, 동영상 워터마크 제거 프로그램

moyada
⭐ 1,094 Python 👤 moyada User 🕐 업데이트됨 2024-05-21 📅 생성됨 2020-04-07
24
clemfromspace/scrapy-selenium

Selenium을 사용하여 JavaScript 페이지를 처리하기 위한 Scrapy 미들웨어

clemfromspace
⭐ 950 Python 👤 clemfromspace User 🕐 업데이트됨 2026-04-13 📅 생성됨 2018-02-11
25
TikHub/TikHub-API-Python-SDK

Douyin(抖音), TikTok, Xiaohongshu(小红书), Kuaishou(快手), Weibo(微博), Instagram, YouTube(油管), Twitter(X)용 임시 메일(Temp Mail) API(인터페이스) 고성능 비동기 캡차 해결사(Captcha Solver).

TikHub
⭐ 943 Python 👤 TikHub Organization 🕐 업데이트됨 2026-10-03 📅 생성됨 2022-12-17
26
hellock/icrawler

많은 내장 이미지 크롤러가 제공되는 멀티스레드 크롤러 프레임워크.

hellock
⭐ 936 Python 👤 hellock User 🕐 업데이트됨 2025-12-10 📅 생성됨 2016-03-19
27
superboyyy/xianyu_spider

Xianyu 웹 클라이언트를 기반으로 개발된 Xianyu 크롤러입니다. FastAPI로 구축된 Xianyu 상품 검색 API를 제공하며, 비동기 동시 요청과 데이터 자동 중복 제거 및 저장을 지원합니다. 현재 로그인도 지원합니다.

superboyyy
⭐ 922 Python 👤 superboyyy User 🕐 업데이트됨 2026-09-18 📅 생성됨 2025-06-04
28
scrapinghub/scrapyrt

Scrapy 스파이더용 HTTP API

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 업데이트됨 2026-10-13 📅 생성됨 2015-01-06
29
alltheplaces/alltheplaces

인터넷에 위치를 게시하는 장소들로부터 위치 정보를 추출하기 위한 스파이더와 스크레이퍼의 집합.

alltheplaces
⭐ 851 Python 👤 alltheplaces Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2016-06-15
30
MorvanZhou/easy-scraping-tutorial

간단하지만 유용한 Python 웹 스크래핑 튜토리얼 코드.

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 업데이트됨 2024-04-07 📅 생성됨 2017-12-29
31
unnohwn/telegram-scraper

Telethon 라이브러리를 사용하여 Telegram 채널에서 메시지와 미디어를 스크랩할 수 있는 강력한 Python 스크립트입니다. 실시간 연속 스크래핑, 미디어 다운로드, 데이터 내보내기 기능이 포함됩니다.

unnohwn
⭐ 797 Python 👤 unnohwn User 🕐 업데이트됨 2026-04-11 📅 생성됨 2024-11-04
32
scrapy/scrapyd-client

Scrapyd 서버를 위한 명령줄 클라이언트

scrapy
⭐ 773 Python 👤 scrapy Organization 🕐 업데이트됨 2026-02-27 📅 생성됨 2015-03-27
33
TeamHG-Memex/scrapy-rotating-proxies

Scrapy에서 여러 프록시 사용

TeamHG-Memex
⭐ 772 Python 👤 TeamHG-Memex Organization 🕐 업데이트됨 2026-04-08 📅 생성됨 2017-02-01
34
casual-silva/NewsCrawl

엔터프라이즈급 여론 뉴스 크롤러 프로젝트를 오픈소스로 공개: 임의의 수의 크롤러 원클릭 실행, 크롤러 예약 작업, 크롤러 일괄 삭제 지원; 크롤러 원클릭 배포; 크롤러 모니터링 시각화; 클러스터 크롤러 할당 전략 구성; 👉 기성 Docker 원클릭 배포 문서가 여러분을 위해 문제를 해결했습니다.

casual-silva
⭐ 688 Python 👤 casual-silva User 🕐 업데이트됨 2026-05-23 📅 생성됨 2022-07-08
35
lzjqsdd/NewsSpider

오늘의 헤드라인, 네이트, 텐센트 등의 뉴스를 크롤링하고 간단한 검색 엔진을 구축

lzjqsdd
⭐ 638 Python 👤 lzjqsdd User 🕐 업데이트됨 2024-05-14 📅 생성됨 2016-04-19
36
mouday/spider-admin-pro

spider-admin-pro 크롤러 Scrapy+Scrapyd 크롤러 프로젝트 보기 및 크롤러 작업 예약 스케줄링을 위한 시각적 관리 도구, SpiderAdmin의 업그레이드 버전

mouday
⭐ 614 Python 👤 mouday User 🕐 업데이트됨 2026-06-15 📅 생성됨 2021-01-25
37
spekulatius/PHPScraper

PHP용 범용 웹 유틸리티입니다.

spekulatius
⭐ 588 PHP 👤 spekulatius User 🕐 업데이트됨 2026-09-08 📅 생성됨 2020-04-21
38
AlexMathew/scrapple

준자동 웹 콘텐츠 추출기 제작을 위한 프레임워크

AlexMathew
⭐ 506 Python 👤 AlexMathew User 🕐 업데이트됨 2026-01-16 📅 생성됨 2014-12-13

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #scrapy 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #scrapy 프로젝트는 12,301개의 스타를 받은 crawlab-team/crawlab입니다. 언어와 프레임워크에 관계없이 스파이더 관리를 위한 분산 웹 크롤러 관리 플랫폼. 分布式爬虫管理平台,支持任何语言和框架

2

#scrapy 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #scrapy 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, Go, Java, Shell입니다.

3

#scrapy 저장소 순위는 어떻게 계산되나요?

#scrapy 태그가 지정된 활성 오픈 소스 저장소(38개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 84,191개이며 저장소당 평균 2,215개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.