Git Stars Git Stars

#web-scraping 저장소

#web-scraping 태그가 지정된 GitHub의 활성 오픈 소스 저장소 381개를 확인해 보세요. 총 2,147,590개의 스타를 획득했으며 프로젝트당 평균 5,636개입니다. 이 주제를 이끄는 저장소는 205,758개의 스타를 받은 firecrawl/firecrawl입니다.

381
총 리포지토리
2.1M
총 별점
5,636
리포지토리당 평균 스타 수

저장소 총 382개

1
firecrawl/firecrawl

에이전트를 더 똑똑하게 만드는 지식 인프라입니다. 하나의 API를 통해 550개 이상의 데이터 제공업체를 검색하고, 스크래핑하고, 액세스하세요.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-04-15
2
jackfrued/Python-100-Days

Python - 초보자에서 마스터까지 100일

jackfrued
⭐ 187,961 Jupyter Notebook 👤 jackfrued User 🕐 업데이트됨 2026-07-29 📅 생성됨 2018-03-01
3
ytdl-org/youtube-dl

YouTube.com 및 기타 비디오 사이트에서 비디오를 다운로드하는 명령줄 프로그램

ytdl-org
⭐ 141,627 Python 👤 ytdl-org Organization 🕐 업데이트됨 2026-11-06 📅 생성됨 2010-10-31
4
browser-use/browser-use

AI 브라우저 에이전트를 위한 오픈소스 Python 라이브러리와 스텔스 브라우저 및 호스팅 에이전트 API를 제공하는 Browser Use Cloud.

browser-use
⭐ 121,654 Python 👤 browser-use Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-10-31
5
D4Vinci/Scrapling

🕷️ 단일 요청부터 대규모 크롤링까지 모든 작업을 처리하는 최고의 웹 스크래핑 프레임워크! 망설이지 말고 여기에서 참여하세요: https://discord.gg/EMgGbDceNQ 매일 유용한 팁과 요령을 보려면 여기에서 팔로우하세요: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 업데이트됨 2026-11-17 📅 생성됨 2024-10-13
6
unclecode/crawl4ai

공식 Crawl4AI Cloud: AI 에이전트를 위한 호스팅형 웹 스크래핑·추출·검색 API입니다. API 키는 무료이며 매월 1,000크레딧이 제공되고, 카드 등록도 필요 없습니다. 완전한 오픈 소스입니다. 이 저장소에는 서비스를 구동하는 Apache-2.0 크롤러가 포함되어 있으며, 직접 호스팅할 수도 있습니다.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-05-09
7
NanmiCoder/MediaCrawler

샤오홍슈 노트 | 댓글 크롤러, 도우인 동영상 | 댓글 크롤러, 콰이쇼우 동영상 | 댓글 크롤러, B站 동영상 | 댓글 크롤러, 웨이보 게시글 | 댓글 크롤러, 바이두 톄바 게시글 | 바이두 톄바 댓글 답글 크롤러 | 즈후 질문 답변 글 | 댓글 크롤러

NanmiCoder
⭐ 71,528 Python 👤 NanmiCoder User 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-06-09
8
scrapy/scrapy

Scrapy, Python을 위한 빠르고 고급 웹 크롤링 및 스크래핑 프레임워크.

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2010-02-22
9
soimort/you-get

:arrow_double_down: 웹을 스크레이핑하는 단순 다운로더

soimort
⭐ 56,851 Python 👤 soimort User 🕐 업데이트됨 2026-11-15 📅 생성됨 2012-08-20
10
gedoor/legado

Legado 3.0 Book Reader with powerful controls & full functions❤️독서 3.0, 독서는 사용자 정의 소스를 통해 온라인 콘텐츠를 읽을 수 있는 도구로, 네트워크 문학 애호가들에게 편리하고 빠르며 쾌적한 시험 독서 경험을 제공합니다.

gedoor
⭐ 47,268 Kotlin 👤 gedoor User 🕐 업데이트됨 2026-05-27 📅 생성됨 2019-05-22
11
JCodesMore/ai-website-cloner-template

AI 코딩 에이전트를 사용해 한 명령어로 어떤 웹사이트든 복제하세요

JCodesMore
⭐ 39,582 TypeScript 👤 JCodesMore User 🕐 업데이트됨 2026-11-10 📅 생성됨 2026-03-13
12
dgtlmoon/changedetection.io

웹사이트 변경 감지, 웹페이지 모니터링 및 변경 알림을 위한 최고의 간편한 도구입니다. 콘텐츠 변경, 가격 인하, 재입고 알림, 웹사이트 변조 모니터링에 적합하며 MCP도 포함되어 있습니다! 모두 무료로 이용하거나 SaaS 플랜을 이용해 보세요!

dgtlmoon
⭐ 35,939 Python 👤 dgtlmoon User 🕐 업데이트됨 2026-11-20 📅 생성됨 2021-01-27
13
CloakHQ/CloakBrowser

모든 봇 탐지 테스트를 통과하는 스텔스 Chromium. 소스 코드 수준의 핑거프린트 패치가 적용되어 Playwright를 그대로 대체할 수 있습니다. 50개 이상의 테스트 통과.

CloakHQ
⭐ 33,007 Python 👤 CloakHQ Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-02-22
14
ScrapeGraphAI/Scrapegraph-ai

AI 기반 Python 스크래퍼

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 업데이트됨 2026-10-06 📅 생성됨 2024-01-27
15
apify/crawlee

Crawlee—Node.js용 웹 스크래핑 및 브라우저 자동화 라이브러리로, 안정적인 크롤러를 구축할 수 있습니다. JavaScript와 TypeScript로 작성됨. AI, LLMs, RAG 또는 GPTs를 위한 데이터 추출. 웹사이트에서 HTML, PDF, JPG, PNG 및 기타 파일 다운로드. Puppeteer, Playwright, Cheerio, JSDOM, raw HTTP와 함께 작동. 헤드풀 및 헤드리스 모드 모두 지원. 프록시 로테이션 포함.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2016-08-26
16
browserbase/stagehand

웹상의 모든 사이트에서 데이터를 추출하고 상호작용할 수 있는 SDK입니다. Claude Code, Codex, Eve, Mastra 등으로 시작해 보세요.

browserbase
⭐ 26,109 TypeScript 👤 browserbase Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-03-24
17
lexmount/moli

AI 에이전트를 위한 최고의 헤드리스 브라우저. 가볍고 빠르며 높은 호환성. Rust로 구축

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-08-10
18
Evil0ctal/Douyin_TikTok_Download_API

🚀 Douyin, TikTok, Bilibili 데이터 수집 및 워터마크 없는 동영상 다운로드를 위한 셀프 호스팅 API입니다. MCP를 통한 AI 에이전트 호출과 오프라인 음성 텍스트 변환을 지원하며, Docker로 원클릭 배포할 수 있습니다. | TikTok, Douyin, Bilibili용 셀프 호스팅 스크레이퍼 및 워터마크 없는 동영상 다운로더 — 비동기 REST API, AI 에이전트용 MCP 서버, CLI와 웹 콘솔을 제공하며 다운로드한 동영상의 오프라인 음성 텍스트 변환도 지원합니다. 자동 복구 ID 풀, PostgreSQL 아카이브를 갖추고 `docker compose up` 한 번으로 실행할 수 있습니다.

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 업데이트됨 2026-11-20 📅 생성됨 2021-11-07
19
getmaxun/maxun

모든 웹사이트를 구조화된 API로 변환하세요. 웹을 추출하고, 자동화하고, 검색하고, 모니터링하세요.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2023-10-23
20
MODSetter/SurfSense

네트워크와 분리되어 있고 개인정보 보호에 중점을 둔 오픈 소스 NotebookLM 대안입니다. 문서를 조사하고 변환하며 편집하는 AI 에이전트입니다. Discord에 참여하세요: https://discord.gg/ejRNvftDp9

MODSetter
⭐ 16,907 Python 👤 MODSetter User 🕐 업데이트됨 2026-11-14 📅 생성됨 2024-07-30
21
yusufkaraaslan/Skill_Seekers

문서 웹사이트, GitHub 리포지토리 및 PDF를 자동 충돌 감지 기능이 있는 Claude AI 스킬로 변환합니다

yusufkaraaslan
⭐ 15,351 Python 👤 yusufkaraaslan User 🕐 업데이트됨 2026-11-16 📅 생성됨 2025-10-17
22
pjialin/py12306

🚂 12306 예매 도우미, 클러스터 지원, 다중 계정, 다중 작업 예매 및 웹 페이지 관리

pjialin
⭐ 14,960 Python 👤 pjialin User 🕐 업데이트됨 2026-10-01 📅 생성됨 2019-01-07
23
nanobrowser/nanobrowser

웹 자동화를 위한 오픈 소스 AI 에이전트. 실제 로그인된 브라우저를 사용해 일상적인 작업을 자동화하세요.

nanobrowser
⭐ 14,359 TypeScript 👤 nanobrowser Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2024-12-31
24
seleniumbase/SeleniumBase

엔드투엔드 테스트, 스크래핑 및 스텔스 작업을 위한 빠르고 안정적인 브라우저 자동화입니다. CDP 모드로 봇 탐지를 우회합니다. pytest, Playwright, MCP와 통합됩니다.

seleniumbase
⭐ 13,272 Python 👤 seleniumbase Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2014-03-04
25
jiji262/douyin-downloader

개별 항목 및 프로필 일괄 다운로드를 모두 지원하는 실용적인 Douyin 다운로더로, 진행률 표시, 재시도, SQLite 중복 제거, 브라우저 폴백을 제공합니다. 동영상, 이미지 앨범, 컬렉션, 음악(원본 오디오)의 일괄 다운로드를 지원합니다.

jiji262
⭐ 12,644 Python 👤 jiji262 User 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-05-25
26
jo-inc/camofox-browser

AI 에이전트를 위한 스텔스 헤드리스 브라우저 — Cloudflare, 봇 탐지, 안티 스크래핑 우회. Puppeteer/Playwright 드롭인 대체.

jo-inc
⭐ 12,437 JavaScript 👤 jo-inc Organization 🕐 업데이트됨 2026-11-10 📅 생성됨 2026-01-26
27
jhy/jsoup

jsoup: Java HTML 파서, HTML 편집, 정리, 스크래핑 및 XSS 안전을 위해 제작됨.

jhy
⭐ 11,418 Java 👤 jhy User 🕐 업데이트됨 2026-11-18 📅 생성됨 2009-12-19
28
NopeCHALLC/nopecha-extension

브라우저용 자동 CAPTCHA 솔버. Selenium, Puppeteer, Playwright 등과 함께 작동합니다.

NopeCHALLC
⭐ 11,140 👤 NopeCHALLC User 🕐 업데이트됨 2026-10-02 📅 생성됨 2023-03-23
29
pinchtab/pinchtab

고성능 브라우저 자동화 브릿지 및 다중 인스턴스 오케스트레이터, 고급 은폐 주입 및 실시간 대시보드.

pinchtab
⭐ 10,599 Go 👤 pinchtab Organization 🕐 업데이트됨 2026-11-10 📅 생성됨 2026-02-15
30
apify/crawlee-python

Crawlee는 신뢰할 수 있는 크롤러를 구축하기 위한 Python 웹 스크래핑 및 브라우저 자동화 라이브러리입니다. Pydantic AI를 통해 LLM으로 구조화된 데이터를 추출하거나, Stagehand를 사용해 자연어로 브라우저를 제어할 수 있습니다. BeautifulSoup, Parsel, Playwright 및 원시 HTTP를 지원합니다. HTML, PDF, 이미지 및 기타 파일을 다운로드할 수 있습니다. 프록시 로테이션 기능도 포함되어 있습니다.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-01-10
31
scrapinghub/portia

Scrapy를 위한 시각적 스크래핑

scrapinghub
⭐ 9,479 Python 👤 scrapinghub Organization 🕐 업데이트됨 2024-06-26 📅 생성됨 2014-03-21
32
nashsu/FreeAskInternet

FreeAskInternet는 GPU가 필요 없는 완전 무료, 개인 정보 보호 및 로컬 실행 검색 집계기 및 답변 생성기로, 여러 LLM을 사용합니다. 사용자는 질문을 할 수 있으며 시스템은 다중 엔진 검색을 수행하고 검색 결과를 LLM과 결합하여 검색 결과를 기반으로 답변을 생성합니다. 모두 무료로 사용할 수 있습니다.

nashsu
⭐ 8,734 Python 👤 nashsu User 🕐 업데이트됨 2024-04-18 📅 생성됨 2024-04-05
33
cv-cat/Spider_XHS

샤오홍슈(RED) 크롤러 데이터 수집, 샤오홍슈 리버스 엔지니어링, 개인 메시지, 라이브 방송, 샤오홍슈 전 영역 운영 솔루션

cv-cat
⭐ 8,542 Python 👤 cv-cat User 🕐 업데이트됨 2026-10-22 📅 생성됨 2023-08-08
34
cporter202/API-mega-list

이 GitHub 리포지토리는 간단한 자동화부터 전체 규모의 애플리케이션에 이르기까지 모든 것을 구축하는 데 즉시 사용할 수 있는 강력한 API 컬렉션입니다. GitHub에서 가장 가치 있는 API 목록 중 하나입니다. 💪

cporter202
⭐ 8,406 JavaScript 👤 cporter202 User 🕐 업데이트됨 2026-11-19 📅 생성됨 2025-12-09
35
ericchiang/pup

명령줄에서 HTML 파싱

ericchiang
⭐ 8,372 HTML 👤 ericchiang User 🕐 업데이트됨 2024-05-02 📅 생성됨 2014-09-01
36
mherrmann/helium

Python을 사용한 가벼운 웹 자동화

mherrmann
⭐ 8,333 Python 👤 mherrmann User 🕐 업데이트됨 2026-10-22 📅 생성됨 2019-11-26
37
gosom/google-maps-scraper

Google Maps에서 데이터 스크래핑. 각 장소에 대한 이름, 주소, 전화번호, 웹사이트 URL, 평점, 리뷰 수, 위도 및 경도, 리뷰, 이메일 등을 추출합니다.

gosom
⭐ 8,291 Go 👤 gosom User 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-04-22
38
lorien/awesome-web-scraping

웹 스크래핑 및 데이터 처리용 라이브러리, 도구 및 API 목록.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 업데이트됨 2026-11-21 📅 생성됨 2015-08-12
39
alirezamika/autoscraper

Python을 위한 스마트하고 자동화되며 빠르고 가벼운 웹 스크래퍼

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 업데이트됨 2026-07-29 📅 생성됨 2020-08-31
40
firecrawl/firecrawl-mcp-server

공식 Firecrawl MCP 서버, AI 에이전트를 위한 컨텍스트 API입니다. 모든 MCP 클라이언트에서 웹 검색, 스크래핑 및 상호작용은 물론 파싱, 크롤링, 매핑, Agent 및 Monitor 기능을 사용할 수 있습니다.

firecrawl
⭐ 7,871 JavaScript 👤 firecrawl Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-12-06
41
WECENG/ticket-purchase

보리 자동 티켓 구매, 인원, 도시, 날짜 회차, 가격 선택 지원

WECENG
⭐ 7,844 Python 👤 WECENG User 🕐 업데이트됨 2026-05-14 📅 생성됨 2023-10-12
42
mgdm/htmlq

jq처럼, 하지만 HTML용.

mgdm
⭐ 7,591 Rust 👤 mgdm User 🕐 업데이트됨 2026-05-27 📅 생성됨 2019-05-07
43
go-rod/rod

웹 자동화 및 스크래핑을 위한 Chrome DevTools Protocol 드라이버.

go-rod
⭐ 7,160 Go 👤 go-rod Organization 🕐 업데이트됨 2026-08-11 📅 생성됨 2020-01-21
44
adbar/trafilatura

웹에서 텍스트와 메타데이터를 수집하는 Python 및 명령줄 도구: 크롤링, 스크래핑, 추출, CSV, JSON, HTML, MD, TXT, XML 형식으로 출력

adbar
⭐ 7,157 Python 👤 adbar User 🕐 업데이트됨 2026-11-20 📅 생성됨 2019-04-08
45
autoscrape-labs/pydoll

Pydoll은 WebDriver 없이 Chromium 기반 브라우저를 자동화하고 사실적인 상호 작용을 제공하는 라이브러리입니다.

autoscrape-labs
⭐ 7,145 HTML 👤 autoscrape-labs Organization 🕐 업데이트됨 2026-11-08 📅 생성됨 2024-10-27
46
lexiforest/curl_cffi

cffi를 통한 curl-impersonate 포크에 대한 Python 바인딩. 브라우저 TLS/ja3/http2 지문을 모방할 수 있는 HTTP 클라이언트.

lexiforest
⭐ 6,909 Python 👤 lexiforest User 🕐 업데이트됨 2026-11-21 📅 생성됨 2022-03-10
47
browser-act/skills

AI 에이전트를 위해 구축된 브라우저 자동화 CLI. 안티봇 장벽을 돌파하고, 막힐 때 여러 플랫폼에서 인간에게 전환합니다. 병렬 멀티태스크 실행, 독립적인 멀티세션 운영, 격리된 멀티계정 브라우징.

browser-act
⭐ 6,385 Python 👤 browser-act Organization 🕐 업데이트됨 2026-11-04 📅 생성됨 2026-02-06
48
nickscamara/open-deep-research

오픈 소스 딥 리서치 클론. Firecrawl로 추출된 방대한 양의 웹 데이터에 대해 추론하는 AI 에이전트

nickscamara
⭐ 6,242 TypeScript 👤 nickscamara User 🕐 업데이트됨 2025-05-07 📅 생성됨 2025-02-03
49
MontFerret/ferret

구조화된 추출 워크플로를 위한 선언적 데이터 자동화 언어 및 Go 런타임.

MontFerret
⭐ 6,025 Go 👤 MontFerret Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2018-08-23
50
RedSiege/EyeWitness

EyeWitness는 웹사이트 스크린샷을 찍고, 일부 서버 헤더 정보를 제공하며, 가능한 경우 기본 자격 증명을 식별하도록 설계되었습니다.

RedSiege
⭐ 5,906 Python 👤 RedSiege Organization 🕐 업데이트됨 2026-01-05 📅 생성됨 2014-02-26

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #web-scraping 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #web-scraping 프로젝트는 205,758개의 스타를 받은 firecrawl/firecrawl입니다. 에이전트를 더 똑똑하게 만드는 지식 인프라입니다. 하나의 API를 통해 550개 이상의 데이터 제공업체를 검색하고, 스크래핑하고, 액세스하세요.

2

#web-scraping 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #web-scraping 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, TypeScript, JavaScript, Go입니다.

3

#web-scraping 저장소 순위는 어떻게 계산되나요?

#web-scraping 태그가 지정된 활성 오픈 소스 저장소(381개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 2,147,590개이며 저장소당 평균 5,636개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.