Git Stars Git Stars

#scraper 저장소

#scraper 태그가 지정된 GitHub의 활성 오픈 소스 저장소 128개를 확인해 보세요. 총 792,441개의 스타를 획득했으며 프로젝트당 평균 6,190개입니다. 이 주제를 이끄는 저장소는 205,758개의 스타를 받은 firecrawl/firecrawl입니다.

128
총 리포지토리
792,441
총 별점
6,190
리포지토리당 평균 스타 수

저장소 총 128개

1
firecrawl/firecrawl

에이전트를 더 똑똑하게 만드는 지식 인프라입니다. 하나의 API를 통해 550개 이상의 데이터 제공업체를 검색하고, 스크래핑하고, 액세스하세요.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-04-15
2
unclecode/crawl4ai

공식 Crawl4AI Cloud: AI 에이전트를 위한 호스팅형 웹 스크래핑·추출·검색 API입니다. API 키는 무료이며 매월 1,000크레딧이 제공되고, 카드 등록도 필요 없습니다. 완전한 오픈 소스입니다. 이 저장소에는 서비스를 구동하는 Apache-2.0 크롤러가 포함되어 있으며, 직접 호스팅할 수도 있습니다.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-05-09
3
huginn/huginn

대리인을 생성하여 모니터링하고 대신 행동하게 하세요. 당신의 대리인들이 대기 중입니다!

huginn
⭐ 50,601 Ruby 👤 huginn Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2013-03-10
4
NaiboWang/EasySpider

시각적 노코드 웹 크롤러/스파이더: 브라우저 자동화, 데이터 수집 및 웹 스크래핑 소프트웨어로, 코딩 없이 그래픽 방식으로 크롤링 작업을 설계하고 실행할 수 있습니다. 별칭: ServiceWrapper(웹 애플리케이션을 위한 지능형 서비스 캡슐화 시스템).

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 업데이트됨 2026-11-16 📅 생성됨 2020-07-18
5
iawia002/lux

👾 Go로 작성된 빠르고 간단한 비디오 다운로드 라이브러리 및 CLI 도구

iawia002
⭐ 31,854 Go 👤 iawia002 User 🕐 업데이트됨 2026-03-29 📅 생성됨 2018-02-24
6
cheeriojs/cheerio

HTML과 XML을 파싱하고 조작하기 위한 빠르고 유연하며 우아한 라이브러리.

cheeriojs
⭐ 30,552 TypeScript 👤 cheeriojs Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2011-10-09
7
apify/crawlee

Crawlee—Node.js용 웹 스크래핑 및 브라우저 자동화 라이브러리로, 안정적인 크롤러를 구축할 수 있습니다. JavaScript와 TypeScript로 작성됨. AI, LLMs, RAG 또는 GPTs를 위한 데이터 추출. 웹사이트에서 HTML, PDF, JPG, PNG 및 기타 파일 다운로드. Puppeteer, Playwright, Cheerio, JSDOM, raw HTTP와 함께 작동. 헤드풀 및 헤드리스 모드 모두 지원. 프록시 로테이션 포함.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2016-08-26
8
gocolly/colly

Golang을 위한 우아한 스크래퍼 및 크롤러 프레임워크

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 업데이트됨 2026-10-16 📅 생성됨 2017-09-29
9
Evil0ctal/Douyin_TikTok_Download_API

🚀 Douyin, TikTok, Bilibili 데이터 수집 및 워터마크 없는 동영상 다운로드를 위한 셀프 호스팅 API입니다. MCP를 통한 AI 에이전트 호출과 오프라인 음성 텍스트 변환을 지원하며, Docker로 원클릭 배포할 수 있습니다. | TikTok, Douyin, Bilibili용 셀프 호스팅 스크레이퍼 및 워터마크 없는 동영상 다운로더 — 비동기 REST API, AI 에이전트용 MCP 서버, CLI와 웹 콘솔을 제공하며 다운로드한 동영상의 오프라인 음성 텍스트 변환도 지원합니다. 자동 복구 ID 풀, PostgreSQL 아카이브를 갖추고 `docker compose up` 한 번으로 실행할 수 있습니다.

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 업데이트됨 2026-11-20 📅 생성됨 2021-11-07
10
getmaxun/maxun

모든 웹사이트를 구조화된 API로 변환하세요. 웹을 추출하고, 자동화하고, 검색하고, 모니터링하세요.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2023-10-23
11
codelucas/newspaper

newspaper3k는 Python 3의 뉴스, 전체 텍스트 및 기사 메타데이터 추출 도구입니다. 고급 문서:

codelucas
⭐ 15,192 Python 👤 codelucas User 🕐 업데이트됨 2026-10-26 📅 생성됨 2013-11-25
12
NopeCHALLC/nopecha-extension

브라우저용 자동 CAPTCHA 솔버. Selenium, Puppeteer, Playwright 등과 함께 작동합니다.

NopeCHALLC
⭐ 11,140 👤 NopeCHALLC User 🕐 업데이트됨 2026-10-02 📅 생성됨 2023-03-23
13
guyueyingmu/avbook

AV 영화 관리 시스템, avmoo, javbus, javlibrary 크롤러, 온라인 AV 영상 도서관, AV 토렌트 링크 데이터베이스, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database

guyueyingmu
⭐ 9,894 PHP 👤 guyueyingmu User 🕐 업데이트됨 2024-06-01 📅 생성됨 2017-02-19
14
apify/crawlee-python

Crawlee는 신뢰할 수 있는 크롤러를 구축하기 위한 Python 웹 스크래핑 및 브라우저 자동화 라이브러리입니다. Pydantic AI를 통해 LLM으로 구조화된 데이터를 추출하거나, Stagehand를 사용해 자연어로 브라우저를 제어할 수 있습니다. BeautifulSoup, Parsel, Playwright 및 원시 HTTP를 지원합니다. HTML, PDF, 이미지 및 기타 파일을 다운로드할 수 있습니다. 프록시 로테이션 기능도 포함되어 있습니다.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-01-10
15
alirezamika/autoscraper

Python을 위한 스마트하고 자동화되며 빠르고 가벼운 웹 스크래퍼

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 업데이트됨 2026-07-29 📅 생성됨 2020-08-31
16
go-rod/rod

웹 자동화 및 스크래핑을 위한 Chrome DevTools Protocol 드라이버.

go-rod
⭐ 7,160 Go 👤 go-rod Organization 🕐 업데이트됨 2026-08-11 📅 생성됨 2020-01-21
17
BruceDone/awesome-crawler

다양한 언어의 멋진 웹 크롤러, 스파이더 컬렉션

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 업데이트됨 2024-06-16 📅 생성됨 2016-10-10
18
mishushakov/llm-scraper

LLM을 사용하여 모든 웹페이지를 구조화된 데이터로 변환

mishushakov
⭐ 6,956 TypeScript 👤 mishushakov User 🕐 업데이트됨 2026-10-26 📅 생성됨 2024-04-20
19
AhmadIbrahiim/Website-downloader

💡 Node.js를 사용해 아무 웹사이트의 전체 소스 코드(모든 자산 포함)를 다운로드하세요. [ Javascripts, Stylesheets, Images ]

AhmadIbrahiim
⭐ 6,206 HTML 👤 AhmadIbrahiim User 🕐 업데이트됨 2026-08-12 📅 생성됨 2019-10-26
20
niespodd/browser-fingerprinting

사용 가능한 대응책 🚿으로 봇 보호 시스템 분석. 웹 스크래핑 시 봇 방지 시스템 👻을 이기고 브라우저 핑거프린팅 스크립트 🕵️‍♂️을 우회하는 방법은 무엇인가요?

niespodd
⭐ 5,171 JavaScript 👤 niespodd User 🕐 업데이트됨 2026-07-27 📅 생성됨 2021-01-23
21
d60/twikit

Twitter API 스크레이퍼 | API 키 없이 | Twitter 내부 API | 무료 | Twitter 스크레이퍼 | Twitter 봇

d60
⭐ 4,785 Python 👤 d60 User 🕐 업데이트됨 2026-03-10 📅 생성됨 2024-01-20
22
fent/node-ytdl-core

JavaScript로 YouTube 동영상 다운로더.

fent
⭐ 4,732 JavaScript 👤 fent User 🕐 업데이트됨 2026-11-10 📅 생성됨 2014-06-29
23
joeyism/linkedin_scraper

LinkedIn에서 사용자 데이터를 스크래핑하는 라이브러리

joeyism
⭐ 4,699 Python 👤 joeyism User 🕐 업데이트됨 2026-04-10 📅 생성됨 2017-10-27
24
bjesus/pipet

온라인 자산에서 데이터를 스크랩하고 추출하기 위한 해커를 위한 스위스 군용 칼

bjesus
⭐ 4,610 Go 👤 bjesus User 🕐 업데이트됨 2024-10-12 📅 생성됨 2024-08-31
25
myreader-io/myGPTReader

chatGPT 기반의 AI 봇과 읽고 채팅할 수 있는 커뮤니티 주도 방식입니다.

myreader-io
⭐ 4,416 Python 👤 myreader-io Organization 🕐 업데이트됨 2026-02-05 📅 생성됨 2023-03-08
26
UltimaHoarder/UltimaScraper

현재 성인 콘텐츠(OnlyFans 등)에 중점을 둔 데이터 스크레이퍼 — 정기적으로 업데이트

UltimaHoarder
⭐ 4,302 TypeScript 👤 UltimaHoarder User 🕐 업데이트됨 2026-11-21 📅 생성됨 2019-06-24
27
IonicaBizau/scrape-it

🔮 인간을 위한 Node.js 스크래퍼.

IonicaBizau
⭐ 4,069 JavaScript 👤 IonicaBizau User 🕐 업데이트됨 2026-11-20 📅 생성됨 2016-04-28
28
edoardottt/cariddi

도메인 목록을 가져와 URL을 크롤링하고 엔드포인트, 비밀, API 키, 파일 확장자, 토큰 등을 검색합니다.

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 업데이트됨 2026-11-19 📅 생성됨 2021-04-27
29
Anakin-Inc/anakin

오픈 소스 웹 스크래핑 API. 모든 웹사이트를 깔끔한 마크다운이나 구조화된 JSON으로 변환하세요. 안티 디텍트 브라우저, 프록시 자동 선택, 자체 호스팅 지원. 명령어 하나로 시작: make up

Anakin-Inc
⭐ 3,764 Go 👤 Anakin-Inc Organization 🕐 업데이트됨 2026-08-18 📅 생성됨 2026-03-17
30
sqzw-x/mdcx

영화 메타데이터 스크래퍼

sqzw-x
⭐ 3,727 Python 👤 sqzw-x User 🕐 업데이트됨 2026-08-23 📅 생성됨 2023-11-06
31
JavScraper/Emby.Plugins.JavScraper

Emby/Jellyfin의 일본 영화 스크래퍼 플러그인으로, 특정 웹사이트에서 영화 정보를 가져올 수 있습니다.

JavScraper
⭐ 3,709 C# 👤 JavScraper User 🕐 업데이트됨 2024-07-08 📅 생성됨 2020-01-20
32
itsOwen/CyberScraper-2077

LLM 기반의 강력한 웹 스크레이퍼 | OpenAI, Gemini & Ollama

itsOwen
⭐ 3,302 Python 👤 itsOwen User 🕐 업데이트됨 2026-10-12 📅 생성됨 2024-08-17
33
aapatre/Automatic-Udemy-Course-Enroller-GET-PAID-UDEMY-COURSES-for-FREE

무료로 새로운 것을 배우고 싶으신가요? 걱정 마세요. 웹 스크래핑 및 자동화의 힘으로 이 스크립트는 필요한 Udemy 쿠폰을 찾아 유료 Udemy 강의에 무료로 등록시켜 드립니다!

aapatre
⭐ 3,289 Python 👤 aapatre User 🕐 업데이트됨 2026-04-28 📅 생성됨 2020-09-12
34
facundoolano/google-play-scraper

Google Play에서 데이터를 가져오는 Node.js 스크래퍼

facundoolano
⭐ 3,005 JavaScript 👤 facundoolano User 🕐 업데이트됨 2026-10-17 📅 생성됨 2015-04-07
35
vladkens/twscrape

X/Twitter 스크래핑을 위한 Python 라이브러리 및 CLI로, 다중 계정 로테이션과 내장된 속도 제한 처리를 지원합니다.

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 업데이트됨 2026-11-19 📅 생성됨 2023-05-05
36
oxylabs/how-to-scrape-google-trends

Python과 Oxylabs SERP API를 사용하여 Google 트렌드 데이터를 스크랩하고 결과를 비교하는 방법을 단계별로 알아보세요. 키워드, 인기, 지역별 분석, 관련 검색어 등을 추출합니다.

oxylabs
⭐ 2,907 Python 👤 oxylabs Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2024-08-06
37
geziyor/geziyor

Geziyor, Go를 위한 초고속 웹 크롤링 및 스크래핑 프레임워크. JS 렌더링 지원.

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 업데이트됨 2026-07-02 📅 생성됨 2019-06-06
38
microlinkhq/metascraper

Open Graph, JSON-LD, HTML 메타 태그 및 스마트 폴백을 사용하여 모든 URL에서 메타데이터를 스크래핑합니다.

microlinkhq
⭐ 2,754 HTML 👤 microlinkhq Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2016-05-25
39
jae-jae/QueryList

:spider: 점진적인 PHP 크롤러 프레임워크! 우아한 점진적 PHP 수집 프레임워크.

jae-jae
⭐ 2,689 PHP 👤 jae-jae User 🕐 업데이트됨 2026-10-20 📅 생성됨 2015-12-20
40
Serene-Arc/bulk-downloader-for-reddit

Reddit에서 콘텐츠를 다운로드하고 아카이브합니다

Serene-Arc
⭐ 2,631 Python 👤 Serene-Arc User 🕐 업데이트됨 2026-04-12 📅 생성됨 2018-06-14
41
zerodytrash/TikTok-Live-Connector

Node.js용 TikTok LIVE API: TikTok LIVE에서 라이브 스트리밍 이벤트(댓글, 선물 등)를 실시간으로 수신하는 비공식 라이브러리입니다.

zerodytrash
⭐ 2,332 TypeScript 👤 zerodytrash User 🕐 업데이트됨 2026-11-11 📅 생성됨 2022-02-04
42
watercrawl/WaterCrawl

웹 콘텐츠를 LLM 준비 데이터로 변환

watercrawl
⭐ 2,244 TypeScript 👤 watercrawl Organization 🕐 업데이트됨 2026-08-17 📅 생성됨 2024-12-15
43
cyberagiinc/DevDocs

완전 무료, 개인 정보 보호, UI 기반 기술 문서 MCP 서버. 코더 및 소프트웨어 개발자를 염두에 두고 설계되었습니다. Cursor, Windsurf, Cline, Roo Code, Claude Desktop App에 쉽게 통합

cyberagiinc
⭐ 2,106 TypeScript 👤 cyberagiinc Organization 🕐 업데이트됨 2026-02-04 📅 생성됨 2025-01-15
44
PaulMcInnis/JobFunnel

중복 없이 단일 스프레드시트로 직업 웹사이트를 스크랩하세요.

PaulMcInnis
⭐ 2,103 Python 👤 PaulMcInnis User 🕐 업데이트됨 2025-12-04 📅 생성됨 2017-08-25
45
TeamNewPipe/NewPipeExtractor

NewPipe의 스트리밍 사이트에서 데이터를 추출하기 위한 핵심 라이브러리

TeamNewPipe
⭐ 2,070 Java 👤 TeamNewPipe Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2017-03-01
46
KatrielMoses/MailAccess

무료 이메일 OSINT 도구로, 5,000개 이상의 플랫폼, 신원 클러스터링 및 데이터 유출 탐지를 지원합니다. API 키가 필요하지 않습니다. pip install mailaccess

KatrielMoses
⭐ 1,824 Python 👤 KatrielMoses User 🕐 업데이트됨 2026-11-17 📅 생성됨 2026-05-18
47
eatmoreduck/boss-zhipin-scraper

BOSS Zhipin 스크레이퍼 / BOSS Zhipin 채용 정보 데이터 수집 도구. Chrome CDP 프로토콜을 기반으로 실제 로그인 상태를 재사용하여 폰트 안티 스크래핑을 우회하고, 일반 텍스트 급여 JSON/CSV 및 급여-기술 분석을 출력합니다.

eatmoreduck
⭐ 1,781 Python 👤 eatmoreduck User 🕐 업데이트됨 2026-11-03 📅 생성됨 2026-06-11
48
website-scraper/node-website-scraper

웹사이트를 로컬 디렉토리로 다운로드 (모든 css, 이미지, js 등 포함)

website-scraper
⭐ 1,773 JavaScript 👤 website-scraper Organization 🕐 업데이트됨 2026-11-11 📅 생성됨 2014-09-04
49
oxylabs/how-to-scrape-google-jobs

Python과 Oxylabs의 Google Jobs Scraper API를 사용하여 여러 검색어와 지리적 위치에 대한 Google Jobs를 동시에 스크랩하는 자신만의 Google Jobs 스크래퍼를 구축하는 방법을 알아보세요. https://oxylabs.io/blog/how-to-scrape-google-jobs

oxylabs
⭐ 1,761 Python 👤 oxylabs Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2024-02-08
50
oxylabs/google-play-scraper

애플리케이션, 게임, 영화 및 TV 프로그램, 도서 등에 대한 공개 세부 정보를 수집하기 위한 Google Play 스크레이퍼입니다.

oxylabs
⭐ 1,746 Python 👤 oxylabs Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2023-09-01

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #scraper 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #scraper 프로젝트는 205,758개의 스타를 받은 firecrawl/firecrawl입니다. 에이전트를 더 똑똑하게 만드는 지식 인프라입니다. 하나의 API를 통해 550개 이상의 데이터 제공업체를 검색하고, 스크래핑하고, 액세스하세요.

2

#scraper 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #scraper 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, TypeScript, Go, JavaScript입니다.

3

#scraper 저장소 순위는 어떻게 계산되나요?

#scraper 태그가 지정된 활성 오픈 소스 저장소(128개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 792,441개이며 저장소당 평균 6,190개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.