Git Stars Git Stars

#crawler 저장소

#crawler 태그가 지정된 GitHub의 활성 오픈 소스 저장소 162개를 확인해 보세요. 총 1,111,814개의 스타를 획득했으며 프로젝트당 평균 6,863개입니다. 이 주제를 이끄는 저장소는 205,758개의 스타를 받은 firecrawl/firecrawl입니다.

162
총 리포지토리
1.1M
총 별점
6,863
리포지토리당 평균 스타 수

저장소 총 162개

1
firecrawl/firecrawl

에이전트를 더 똑똑하게 만드는 지식 인프라입니다. 하나의 API를 통해 550개 이상의 데이터 제공업체를 검색하고, 스크래핑하고, 액세스하세요.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-04-15
2
D4Vinci/Scrapling

🕷️ 단일 요청부터 대규모 크롤링까지 모든 작업을 처리하는 최고의 웹 스크래핑 프레임워크! 망설이지 말고 여기에서 참여하세요: https://discord.gg/EMgGbDceNQ 매일 유용한 팁과 요령을 보려면 여기에서 팔로우하세요: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 업데이트됨 2026-11-17 📅 생성됨 2024-10-13
3
unclecode/crawl4ai

공식 Crawl4AI Cloud: AI 에이전트를 위한 호스팅형 웹 스크래핑·추출·검색 API입니다. API 키는 무료이며 매월 1,000크레딧이 제공되고, 카드 등록도 필요 없습니다. 완전한 오픈 소스입니다. 이 저장소에는 서비스를 구동하는 Apache-2.0 크롤러가 포함되어 있으며, 직접 호스팅할 수도 있습니다.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-05-09
4
scrapy/scrapy

Scrapy, Python을 위한 빠르고 고급 웹 크롤링 및 스크래핑 프레임워크.

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2010-02-22
5
NaiboWang/EasySpider

시각적 노코드 웹 크롤러/스파이더: 브라우저 자동화, 데이터 수집 및 웹 스크래핑 소프트웨어로, 코딩 없이 그래픽 방식으로 크롤링 작업을 설계하고 실행할 수 있습니다. 별칭: ServiceWrapper(웹 애플리케이션을 위한 지능형 서비스 캡슐화 시스템).

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 업데이트됨 2026-11-16 📅 생성됨 2020-07-18
6
ScrapeGraphAI/Scrapegraph-ai

AI 기반 Python 스크래퍼

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 업데이트됨 2026-10-06 📅 생성됨 2024-01-27
7
iawia002/lux

👾 Go로 작성된 빠르고 간단한 비디오 다운로드 라이브러리 및 CLI 도구

iawia002
⭐ 31,854 Go 👤 iawia002 User 🕐 업데이트됨 2026-03-29 📅 생성됨 2018-02-24
8
apify/crawlee

Crawlee—Node.js용 웹 스크래핑 및 브라우저 자동화 라이브러리로, 안정적인 크롤러를 구축할 수 있습니다. JavaScript와 TypeScript로 작성됨. AI, LLMs, RAG 또는 GPTs를 위한 데이터 추출. 웹사이트에서 HTML, PDF, JPG, PNG 및 기타 파일 다운로드. Puppeteer, Playwright, Cheerio, JSDOM, raw HTTP와 함께 작동. 헤드풀 및 헤드리스 모드 모두 지원. 프록시 로테이션 포함.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2016-08-26
9
gocolly/colly

Golang을 위한 우아한 스크래퍼 및 크롤러 프레임워크

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 업데이트됨 2026-10-16 📅 생성됨 2017-09-29
10
jhao104/proxy_pool

웹 스파이더를 위한 Python ProxyPool

jhao104
⭐ 23,798 Python 👤 jhao104 User 🕐 업데이트됨 2026-06-15 📅 생성됨 2016-11-25
11
Evil0ctal/Douyin_TikTok_Download_API

🚀 Douyin, TikTok, Bilibili 데이터 수집 및 워터마크 없는 동영상 다운로드를 위한 셀프 호스팅 API입니다. MCP를 통한 AI 에이전트 호출과 오프라인 음성 텍스트 변환을 지원하며, Docker로 원클릭 배포할 수 있습니다. | TikTok, Douyin, Bilibili용 셀프 호스팅 스크레이퍼 및 워터마크 없는 동영상 다운로더 — 비동기 REST API, AI 에이전트용 MCP 서버, CLI와 웹 콘솔을 제공하며 다운로드한 동영상의 오프라인 음성 텍스트 변환도 지원합니다. 자동 복구 ID 풀, PostgreSQL 아카이브를 갖추고 `docker compose up` 한 번으로 실행할 수 있습니다.

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 업데이트됨 2026-11-20 📅 생성됨 2021-11-07
12
getmaxun/maxun

모든 웹사이트를 구조화된 API로 변환하세요. 웹을 추출하고, 자동화하고, 검색하고, 모니터링하세요.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2023-10-23
13
projectdiscovery/katana

차세대 크롤링 및 스파이더링 프레임워크.

projectdiscovery
⭐ 17,878 Go 👤 projectdiscovery Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2021-01-02
14
codelucas/newspaper

newspaper3k는 Python 3의 뉴스, 전체 텍스트 및 기사 메타데이터 추출 도구입니다. 고급 문서:

codelucas
⭐ 15,192 Python 👤 codelucas User 🕐 업데이트됨 2026-10-26 📅 생성됨 2013-11-25
15
shengqiangzhang/examples-of-web-crawlers

몇 가지 매우 흥미로운 Python 크롤러 예제, 초보자에게 친화적이며 주로 Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ 등의 웹사이트를 크롤링합니다. (Some interesting examples of python crawlers that are friendly to beginners.)

shengqiangzhang
⭐ 14,654 HTML 👤 shengqiangzhang User 🕐 업데이트됨 2025-06-28 📅 생성됨 2019-03-13
16
s0md3v/Photon

OSINT를 위해 설계된 놀라울 정도로 빠른 크롤러.

s0md3v
⭐ 13,377 Python 👤 s0md3v User 🕐 업데이트됨 2026-10-17 📅 생성됨 2018-03-30
17
crawlab-team/crawlab

언어와 프레임워크에 관계없이 스파이더 관리를 위한 분산 웹 크롤러 관리 플랫폼. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 업데이트됨 2026-02-10 📅 생성됨 2019-02-10
18
code4craft/webmagic

Java를 위한 확장 가능한 웹 크롤러 프레임워크.

code4craft
⭐ 11,660 Java 👤 code4craft User 🕐 업데이트됨 2025-12-20 📅 생성됨 2013-04-23
19
injetlee/Python

Python 스크립트. Zhihu 로그인 시뮬레이션, 웹 크롤링, Excel 조작, 위챗 공식 계정, 원격 부팅.

injetlee
⭐ 10,920 Python 👤 injetlee User 🕐 업데이트됨 2026-05-09 📅 생성됨 2016-06-23
20
guyueyingmu/avbook

AV 영화 관리 시스템, avmoo, javbus, javlibrary 크롤러, 온라인 AV 영상 도서관, AV 토렌트 링크 데이터베이스, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database

guyueyingmu
⭐ 9,894 PHP 👤 guyueyingmu User 🕐 업데이트됨 2024-06-01 📅 생성됨 2017-02-19
21
apify/crawlee-python

Crawlee는 신뢰할 수 있는 크롤러를 구축하기 위한 Python 웹 스크래핑 및 브라우저 자동화 라이브러리입니다. Pydantic AI를 통해 LLM으로 구조화된 데이터를 추출하거나, Stagehand를 사용해 자연어로 브라우저를 제어할 수 있습니다. BeautifulSoup, Parsel, Playwright 및 원시 HTTP를 지원합니다. HTML, PDF, 이미지 및 기타 파일을 다운로드할 수 있습니다. 프록시 로테이션 기능도 포함되어 있습니다.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-01-10
22
TeamWiseFlow/xiaobei

OPC/중소기업을 위해 맞춤 제작된 자사 미디어 고객 유치 에이전트

TeamWiseFlow
⭐ 8,743 Python 👤 TeamWiseFlow Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-04-24
23
lorien/awesome-web-scraping

웹 스크래핑 및 데이터 처리용 라이브러리, 도구 및 API 목록.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 업데이트됨 2026-11-21 📅 생성됨 2015-08-12
24
hect0x7/JMComic-Crawler-Python

JMComic용 Python API | JinManTiantang에 대한 Python API 액세스 제공, 웹 및 모바일 지원 | JinManTiantang GitHub Actions 다운로더🚀

hect0x7
⭐ 8,148 Python 👤 hect0x7 User 🕐 업데이트됨 2026-11-13 📅 생성됨 2023-04-02
25
alirezamika/autoscraper

Python을 위한 스마트하고 자동화되며 빠르고 가벼운 웹 스크래퍼

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 업데이트됨 2026-07-29 📅 생성됨 2020-08-31
26
mvdctop/Movie_Data_Capture

AI 로컬 미디어 메타데이터 크롤러

mvdctop
⭐ 7,449 Python 👤 mvdctop User 🕐 업데이트됨 2026-11-17 📅 생성됨 2019-05-26
27
adbar/trafilatura

웹에서 텍스트와 메타데이터를 수집하는 Python 및 명령줄 도구: 크롤링, 스크래핑, 추출, CSV, JSON, HTML, MD, TXT, XML 형식으로 출력

adbar
⭐ 7,157 Python 👤 adbar User 🕐 업데이트됨 2026-11-20 📅 생성됨 2019-04-08
28
BruceDone/awesome-crawler

다양한 언어의 멋진 웹 크롤러, 스파이더 컬렉션

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 업데이트됨 2024-06-16 📅 생성됨 2016-10-10
29
bda-research/node-crawler

NodeJS용 Web Crawler/Spider + 서버 측 jQuery ;-)

bda-research
⭐ 6,797 TypeScript 👤 bda-research Organization 🕐 업데이트됨 2026-06-18 📅 생성됨 2010-11-25
30
chyroc/WechatSogou

Sogou WeChat 검색 기반 WeChat 공식 계정 크롤러 인터페이스

chyroc
⭐ 6,411 Python 👤 chyroc User 🕐 업데이트됨 2026-10-23 📅 생성됨 2016-05-09
31
rmax/scrapy-redis

Scrapy를 위한 Redis 기반 구성 요소.

rmax
⭐ 5,648 Python 👤 rmax User 🕐 업데이트됨 2026-11-21 📅 생성됨 2011-08-29
32
DropsDevopsOrg/ECommerceCrawlers

실전 🐍 다양한 웹사이트, 전자상거래 데이터 크롤러 🕷. 포함 🕸: 타오바오 상품, 위챗 공공 계정, 다중 평가, 치차차, 채용 웹사이트, 선어, 알리 작업, 블로그 가든, 웨이보, 바이두 티에바, 더반 영화, 바오투왕, 취안징왕, 더반 음악, 특정 성 약물 감독국, 소후 뉴스, 머신러닝 텍스트 수집, 포파 자산 수집, 자동차의 집, 국가 통계국, 바이두 키워드 수록 수, 거미 일반 디렉토리, 투톄우, 더반 영화 리뷰, 시트립, 샤오미 앱 스토어, 안주커, 투자 민속 ❤️❤️❤️. 위챗 크롤러 데모 프로젝트:

DropsDevopsOrg
⭐ 5,355 Python 👤 DropsDevopsOrg Organization 🕐 업데이트됨 2024-05-22 📅 생성됨 2019-03-29
33
DedSecInside/TorBot

다크 웹 OSINT 도구

DedSecInside
⭐ 5,220 Python 👤 DedSecInside Organization 🕐 업데이트됨 2026-11-12 📅 생성됨 2017-05-17
34
niespodd/browser-fingerprinting

사용 가능한 대응책 🚿으로 봇 보호 시스템 분석. 웹 스크래핑 시 봇 방지 시스템 👻을 이기고 브라우저 핑거프린팅 스크립트 🕵️‍♂️을 우회하는 방법은 무엇인가요?

niespodd
⭐ 5,171 JavaScript 👤 niespodd User 🕐 업데이트됨 2026-07-27 📅 생성됨 2021-01-23
35
hiddendevj/Crawler_Illegal_Cases_In_China

본 프로젝트는 중국 대륙에서 웹 크롤러 개발자와 관련된 소송 및 위반 사항에 관한 뉴스, 자료, 법규를 정리하기 위한 것입니다. 중국 대륙에서 일하는 웹 크롤러 산업 종사자들이 관련 법을 이해하고 데이터 규정의 허용 범위를 넘어가지 않도록 돕는 것을 목표로 합니다.

hiddendevj
⭐ 4,759 HTML 👤 hiddendevj User 🕐 업데이트됨 2026-03-12 📅 생성됨 2019-09-29
36
dataabc/weibo-crawler

시나 웨이보 크롤러, 파이썬을 사용해 시나 웨이보 데이터를 크롤링하고 웨이보 이미지 및 비디오 다운로드

dataabc
⭐ 4,705 Python 👤 dataabc User 🕐 업데이트됨 2026-11-06 📅 생성됨 2019-06-25
37
myreader-io/myGPTReader

chatGPT 기반의 AI 봇과 읽고 채팅할 수 있는 커뮤니티 주도 방식입니다.

myreader-io
⭐ 4,416 Python 👤 myreader-io Organization 🕐 업데이트됨 2026-02-05 📅 생성됨 2023-03-08
38
kanasimi/work_crawler

만화 소설 다운로드 도구:腾讯漫画 大角虫漫画 有妖气 咪咕 SF漫画 哦漫画 看漫画 漫画柜 汗汗酷漫 動漫伊甸園 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 無限動漫 動漫狂 卡推漫画 动漫之家 动漫屋 古风漫画网 36漫画网 亲亲漫画网 乙女漫画 webtoons 咚漫 ニコニコ静画 ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub.

kanasimi
⭐ 4,391 JavaScript 👤 kanasimi User 🕐 업데이트됨 2026-10-12 📅 생성됨 2016-11-02
39
dotnetcore/DotnetSpider

DotnetSpider, .NET 표준 웹 크롤링 라이브러리입니다. 가볍고 효율적이며 빠른 고급 웹 크롤링 및 스크래핑 프레임워크입니다.

dotnetcore
⭐ 4,142 C# 👤 dotnetcore Organization 🕐 업데이트됨 2026-04-03 📅 생성됨 2016-03-21
40
constverum/ProxyBroker

프록시 [검색기 | 검사기 | 서버]. HTTP(S) & SOCKS :performing_arts:

constverum
⭐ 4,084 Python 👤 constverum User 🕐 업데이트됨 2024-03-18 📅 생성됨 2015-10-11
41
MikeChongCan/scylla

인간을 위한 지능형 프록시 풀™: 새로운 AI 시대에 인터넷에서 콘텐츠를 추출하고 자신의 대형 언어 모델을 구축하세요

MikeChongCan
⭐ 4,021 Python 👤 MikeChongCan User 🕐 업데이트됨 2026-11-03 📅 생성됨 2018-04-10
42
Arachni/arachni

웹 애플리케이션 보안 스캐너 프레임워크

Arachni
⭐ 4,020 Ruby 👤 Arachni Organization 🕐 업데이트됨 2026-04-22 📅 생성됨 2010-08-25
43
hardkoded/puppeteer-sharp

헤드리스 크롬 .NET API

hardkoded
⭐ 3,936 C# 👤 hardkoded Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2017-09-30
44
edoardottt/cariddi

도메인 목록을 가져와 URL을 크롤링하고 엔드포인트, 비밀, API 키, 파일 확장자, 토큰 등을 검색합니다.

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 업데이트됨 2026-11-19 📅 생성됨 2021-04-27
45
3441293738/creatorhub

멀티 플랫폼 콘텐츠 모니터링·수집·재게시. 하나의 웹 패널로 Douyin / Xiaohongshu / Kuaishou / WeChat 채널 / TikTok / Bilibili / Instagram / 해외판 Xiaohongshu(rednote)를 관리

3441293738
⭐ 3,774 Python 👤 3441293738 User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-07-03
46
Boris-code/feapder

🚀🚀🚀feapder는 사용하기 쉽고 강력한 크롤러 프레임워크입니다 | feapder는 사용하기 쉽고 강력한 Python 크롤러 프레임워크입니다. AirSpider, Spider, TaskSpider, BatchSpider의 네 가지 유형의 크롤러가 내장되어 있어 다양한 시나리오의 요구 사항을 충족합니다. 중단점 계속 실행, 모니터링 및 경고, 브라우저 렌더링, 대규모 데이터 중복 제거와 같은 기능을 지원합니다. 또한 강력한 크롤러 관리 시스템인 feaplat은 편리한 배포 및 예약을 제공합니다.

Boris-code
⭐ 3,732 Python 👤 Boris-code User 🕐 업데이트됨 2026-08-21 📅 생성됨 2021-02-08
47
sqzw-x/mdcx

영화 메타데이터 스크래퍼

sqzw-x
⭐ 3,727 Python 👤 sqzw-x User 🕐 업데이트됨 2026-08-23 📅 생성됨 2023-11-06
48
elliotgao2/toapi

모든 웹사이트는 API를 제공합니다.

elliotgao2
⭐ 3,557 Python 👤 elliotgao2 User 🕐 업데이트됨 2026-08-27 📅 생성됨 2017-11-27
49
Tuhinshubhra/RED_HAWK

정보 수집, 취약점 스캔 및 크롤링을 위한 올인원 도구. 모든 침투 테스터에게 필수 도구

Tuhinshubhra
⭐ 3,491 PHP 👤 Tuhinshubhra User 🕐 업데이트됨 2024-07-31 📅 생성됨 2017-06-11
50
CharlesPikachu/videodl

Videodl: 순수 파이썬으로 작성된 가벼운 영상 다운로드 프로그램입니다. (고화질 무워터마크 다운로드를 우선시하고 Douyin, Kuaishou, Xiaohongshu, Bilibili, TikTok, YouTube, FIFA+, Youku, Tencent Video, iQIYI, 1905 Movie Network, LeTV, Mango TV, Migu, PPTV, Sohu, Facebook, Twitter, Sina Weibo, Today’s Headlines, NetEase Open Classes, 全民K歌, CCTV, Kugou MV, New Film, Zhihu, Baidu Tieba, TED 등 방대한 스트리밍 플랫폼을 지원합니다.)

CharlesPikachu
⭐ 3,294 Python 👤 CharlesPikachu User 🕐 업데이트됨 2026-11-21 📅 생성됨 2018-07-10

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #crawler 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #crawler 프로젝트는 205,758개의 스타를 받은 firecrawl/firecrawl입니다. 에이전트를 더 똑똑하게 만드는 지식 인프라입니다. 하나의 API를 통해 550개 이상의 데이터 제공업체를 검색하고, 스크래핑하고, 액세스하세요.

2

#crawler 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #crawler 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, Go, TypeScript, JavaScript입니다.

3

#crawler 저장소 순위는 어떻게 계산되나요?

#crawler 태그가 지정된 활성 오픈 소스 저장소(162개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 1,111,814개이며 저장소당 평균 6,863개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.