Git Stars Git Stars

#scraping 저장소

#scraping 태그가 지정된 GitHub의 활성 오픈 소스 저장소 109개를 확인해 보세요. 총 768,143개의 스타를 획득했으며 프로젝트당 평균 7,047개입니다. 이 주제를 이끄는 저장소는 205,758개의 스타를 받은 firecrawl/firecrawl입니다.

109
총 리포지토리
768,143
총 별점
7,047
리포지토리당 평균 스타 수

저장소 총 109개

1
firecrawl/firecrawl

에이전트를 더 똑똑하게 만드는 지식 인프라입니다. 하나의 API를 통해 550개 이상의 데이터 제공업체를 검색하고, 스크래핑하고, 액세스하세요.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-04-15
2
D4Vinci/Scrapling

🕷️ 단일 요청부터 대규모 크롤링까지 모든 작업을 처리하는 최고의 웹 스크래핑 프레임워크! 망설이지 말고 여기에서 참여하세요: https://discord.gg/EMgGbDceNQ 매일 유용한 팁과 요령을 보려면 여기에서 팔로우하세요: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 업데이트됨 2026-11-17 📅 생성됨 2024-10-13
3
scrapy/scrapy

Scrapy, Python을 위한 빠르고 고급 웹 크롤링 및 스크래핑 프레임워크.

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2010-02-22
4
soxoj/maigret

🕵️‍♂️ 사용자 이름으로 6,000개 웹사이트에서 한 사람의 자료를 수집하세요

soxoj
⭐ 41,111 Python 👤 soxoj User 🕐 업데이트됨 2026-11-21 📅 생성됨 2020-06-27
5
ScrapeGraphAI/Scrapegraph-ai

AI 기반 Python 스크래퍼

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 업데이트됨 2026-10-06 📅 생성됨 2024-01-27
6
apify/crawlee

Crawlee—Node.js용 웹 스크래핑 및 브라우저 자동화 라이브러리로, 안정적인 크롤러를 구축할 수 있습니다. JavaScript와 TypeScript로 작성됨. AI, LLMs, RAG 또는 GPTs를 위한 데이터 추출. 웹사이트에서 HTML, PDF, JPG, PNG 및 기타 파일 다운로드. Puppeteer, Playwright, Cheerio, JSDOM, raw HTTP와 함께 작동. 헤드풀 및 헤드리스 모드 모두 지원. 프록시 로테이션 포함.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2016-08-26
7
gocolly/colly

Golang을 위한 우아한 스크래퍼 및 크롤러 프레임워크

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 업데이트됨 2026-10-16 📅 생성됨 2017-09-29
8
psf/requests-html

인간을 위한 Pythonic HTML 파싱™

psf
⭐ 13,874 Python 👤 psf Organization 🕐 업데이트됨 2024-04-16 📅 생성됨 2018-02-24
9
daijro/camoufox

🦊 안티 탐지 브라우저

daijro
⭐ 13,533 C 👤 daijro User 🕐 업데이트됨 2026-11-19 📅 생성됨 2024-07-26
10
ultrafunkamsterdam/undetected-chromedriver

커스텀 Selenium Chromedriver | 무설정 | 모든 봇 완화 시스템 통과 (Distil / Imperva / Datadadome / CloudFlare IUAM 등)

ultrafunkamsterdam
⭐ 12,725 Python 👤 ultrafunkamsterdam User 🕐 업데이트됨 2025-07-05 📅 생성됨 2019-12-22
11
jo-inc/camofox-browser

AI 에이전트를 위한 스텔스 헤드리스 브라우저 — Cloudflare, 봇 탐지, 안티 스크래핑 우회. Puppeteer/Playwright 드롭인 대체.

jo-inc
⭐ 12,437 JavaScript 👤 jo-inc Organization 🕐 업데이트됨 2026-11-10 📅 생성됨 2026-01-26
12
code4craft/webmagic

Java를 위한 확장 가능한 웹 크롤러 프레임워크.

code4craft
⭐ 11,660 Java 👤 code4craft User 🕐 업데이트됨 2025-12-20 📅 생성됨 2013-04-23
13
apify/crawlee-python

Crawlee는 신뢰할 수 있는 크롤러를 구축하기 위한 Python 웹 스크래핑 및 브라우저 자동화 라이브러리입니다. Pydantic AI를 통해 LLM으로 구조화된 데이터를 추출하거나, Stagehand를 사용해 자연어로 브라우저를 제어할 수 있습니다. BeautifulSoup, Parsel, Playwright 및 원시 HTTP를 지원합니다. HTML, PDF, 이미지 및 기타 파일을 다운로드할 수 있습니다. 프록시 로테이션 기능도 포함되어 있습니다.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-01-10
14
lorien/awesome-web-scraping

웹 스크래핑 및 데이터 처리용 라이브러리, 도구 및 API 목록.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 업데이트됨 2026-11-21 📅 생성됨 2015-08-12
15
alirezamika/autoscraper

Python을 위한 스마트하고 자동화되며 빠르고 가벼운 웹 스크래퍼

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 업데이트됨 2026-07-29 📅 생성됨 2020-08-31
16
tabulapdf/tabula

Tabula는 PDF 파일 안에 갇힌 데이터 테이블을 해방하는 도구입니다

tabulapdf
⭐ 7,414 CSS 👤 tabulapdf Organization 🕐 업데이트됨 2025-03-14 📅 생성됨 2013-03-11
17
adbar/trafilatura

웹에서 텍스트와 메타데이터를 수집하는 Python 및 명령줄 도구: 크롤링, 스크래핑, 추출, CSV, JSON, HTML, MD, TXT, XML 형식으로 출력

adbar
⭐ 7,157 Python 👤 adbar User 🕐 업데이트됨 2026-11-20 📅 생성됨 2019-04-08
18
autoscrape-labs/pydoll

Pydoll은 WebDriver 없이 Chromium 기반 브라우저를 자동화하고 사실적인 상호 작용을 제공하는 라이브러리입니다.

autoscrape-labs
⭐ 7,145 HTML 👤 autoscrape-labs Organization 🕐 업데이트됨 2026-11-08 📅 생성됨 2024-10-27
19
proxifly/free-proxy-list

🚀 무료 HTTP, SOCKS4 및 SOCKS5 프록시 목록 * 5분마다 업데이트 * 및 로테이션 프록시 API (100개국 이상)

proxifly
⭐ 7,083 👤 proxifly Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-07-13
20
jaypyles/Scraperr

자체 호스팅 웹 스크래퍼.

jaypyles
⭐ 4,876 TypeScript 👤 jaypyles User 🕐 업데이트됨 2025-10-12 📅 생성됨 2024-07-06
21
d60/twikit

Twitter API 스크레이퍼 | API 키 없이 | Twitter 내부 API | 무료 | Twitter 스크레이퍼 | Twitter 봇

d60
⭐ 4,785 Python 👤 d60 User 🕐 업데이트됨 2026-03-10 📅 생성됨 2024-01-20
22
bjesus/pipet

온라인 자산에서 데이터를 스크랩하고 추출하기 위한 해커를 위한 스위스 군용 칼

bjesus
⭐ 4,610 Go 👤 bjesus User 🕐 업데이트됨 2024-10-12 📅 생성됨 2024-08-31
23
sparklemotion/mechanize

Mechanize는 자동화된 웹 상호 작용을 쉽게 만드는 Ruby 라이브러리입니다.

sparklemotion
⭐ 4,443 Ruby 👤 sparklemotion Organization 🕐 업데이트됨 2026-10-26 📅 생성됨 2008-04-18
24
CodeCutTech/Data-science

기사, 비디오 및 코드와 함께 유용한 데이터 과학 주제 모음

CodeCutTech
⭐ 4,158 Jupyter Notebook 👤 CodeCutTech Organization 🕐 업데이트됨 2025-11-16 📅 생성됨 2020-07-17
25
kalil0321/reverse-api-engineer

모든 웹사이트를 리버스 엔지니어링하여 타입이 지정된 API 클라이언트로 만드세요. Claude Code, Codex, Cursor, OpenCode와 함께 사용할 수 있습니다.

kalil0321
⭐ 4,088 Python 👤 kalil0321 User 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-12-23
26
snooppr/snoop

Snoop – 공개 데이터(OSINT) 기반 정보 수집 도구

snooppr
⭐ 4,072 Python 👤 snooppr User 🕐 업데이트됨 2026-11-20 📅 생성됨 2020-02-14
27
fake-useragent/fake-useragent

최신 간단한 사용자 에이전트 위조기, 실제 세계 데이터베이스 포함

fake-useragent
⭐ 4,047 Python 👤 fake-useragent Organization 🕐 업데이트됨 2026-03-29 📅 생성됨 2013-03-04
28
any4ai/AnyCrawl

AnyCrawl 🚀: 웹사이트를 LLM 준비 데이터를 전환하고 Google/Bing/Baidu/등에서 구조화된 SERP 결과를 추출하는 Node.js/TypeScript 크롤러. 대량 처리를 위한 네이티브 멀티스레딩.

any4ai
⭐ 3,580 TypeScript 👤 any4ai User 🕐 업데이트됨 2026-11-12 📅 생성됨 2025-03-31
29
adryfish/fingerprint-chromium

Ungoogled Chromium 기반 오픈 소스 핑거프린트 브라우저. 핑거프린트 브라우저 개인정보보호 브라우저

adryfish
⭐ 3,300 👤 adryfish User 🕐 업데이트됨 2026-10-02 📅 생성됨 2024-12-09
30
aapatre/Automatic-Udemy-Course-Enroller-GET-PAID-UDEMY-COURSES-for-FREE

무료로 새로운 것을 배우고 싶으신가요? 걱정 마세요. 웹 스크래핑 및 자동화의 힘으로 이 스크립트는 필요한 Udemy 쿠폰을 찾아 유료 Udemy 강의에 무료로 등록시켜 드립니다!

aapatre
⭐ 3,289 Python 👤 aapatre User 🕐 업데이트됨 2026-04-28 📅 생성됨 2020-09-12
31
symfony/panther

PHP와 Symfony를 위한 브라우저 테스트 및 웹 크롤링 라이브러리

symfony
⭐ 3,074 PHP 👤 symfony Organization 🕐 업데이트됨 2026-10-03 📅 생성됨 2018-03-16
32
kevinzg/facebook-scraper

API 키 없이 Facebook 공개 페이지 스크랩

kevinzg
⭐ 3,006 Python 👤 kevinzg User 🕐 업데이트됨 2024-06-22 📅 생성됨 2019-03-15
33
vladkens/twscrape

X/Twitter 스크래핑을 위한 Python 라이브러리 및 CLI로, 다중 계정 로테이션과 내장된 속도 제한 처리를 지원합니다.

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 업데이트됨 2026-11-19 📅 생성됨 2023-05-05
34
oxylabs/how-to-scrape-google-trends

Python과 Oxylabs SERP API를 사용하여 Google 트렌드 데이터를 스크랩하고 결과를 비교하는 방법을 단계별로 알아보세요. 키워드, 인기, 지역별 분석, 관련 검색어 등을 추출합니다.

oxylabs
⭐ 2,907 Python 👤 oxylabs Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2024-08-06
35
spider-rs/spider

Rust를 활용한 기반 저지연 웹 데이터 수집

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2018-01-07
36
geziyor/geziyor

Geziyor, Go를 위한 초고속 웹 크롤링 및 스크래핑 프레임워크. JS 렌더링 지원.

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 업데이트됨 2026-07-02 📅 생성됨 2019-06-06
37
brightdata/brightdata-mcp

공용 웹 액세스를 위한 올인원 솔루션을 제공하는 강력한 모델 컨텍스트 프로토콜(MCP) 서버입니다.

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2025-04-15
38
apify/fingerprint-suite

스크래퍼를 익명화하기 위한 브라우저 핑거프린팅 도구. Apify에서 개발했습니다.

apify
⭐ 2,678 TypeScript 👤 apify Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2022-05-04
39
botswin/BotBrowser

고급 프라이버시 브라우저 코어, 통합 지문 방어: Cloudflare, Akamai, Kasada, Shape, DataDome, PerimeterX, hCaptcha, FunCaptcha, Imperva, reCAPTCHA, ThreatMetrix, Adscore

botswin
⭐ 2,667 TypeScript 👤 botswin Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2024-09-08
40
oss-invisible/playwright

보이지 않는 Playwright: 안티봇 시스템이 감지할 수 없어 CAPTCHA가 발생하지 않는 Playwright. 동일한 API, 탐지 방지 스텔스 헤드리스 Firefox, 감지되지 않는 핑거프린트, 봇 탐지 우회, Python 웹 스크래핑 및 브라우저 자동화.

oss-invisible
⭐ 2,612 Python 👤 oss-invisible Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-05-13
41
simonw/shot-scraper

JavaScript를 사용하여 웹사이트 스크린샷 촬영, 비디오 데모 녹화 및 사이트 스크래핑을 위한 CLI 유틸리티

simonw
⭐ 2,609 Python 👤 simonw User 🕐 업데이트됨 2026-10-14 📅 생성됨 2022-03-08
42
transitive-bullshit/awesome-puppeteer

훌륭한 Puppeteer 자원들의 큐레이션된 목록.

transitive-bullshit
⭐ 2,528 👤 transitive-bullshit User 🕐 업데이트됨 2024-07-19 📅 생성됨 2018-05-07
43
lorien/grab

웹 스크래핑 프레임워크

lorien
⭐ 2,461 Python 👤 lorien User 🕐 업데이트됨 2025-09-19 📅 생성됨 2013-05-01
44
Jieyab89/OSINT-Cheat-sheet

OSINT 치트 시트, OSINT 도구 목록, 위키, 데이터 세트, 기사, 책, 해커를 위한 OSINT 레드팀, OSINT 팁 및 OSINT 브랜치. 이 저장소는 연구할 때마다 성장할 것이며, 연구, 과학 및 기술, 튜토리얼이 있습니다. 현명하게 사용하십시오.

Jieyab89
⭐ 2,333 HTML 👤 Jieyab89 User 🕐 업데이트됨 2026-11-16 📅 생성됨 2021-11-22
45
php-embed/Embed

어떤 웹 서비스나 페이지에서 정보 가져오기

php-embed
⭐ 2,140 PHP 👤 php-embed Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2012-10-09
46
TheGP/untidetect-tools

CAPTCHA solver 및 SMS 인증을 포함한 안티 디텍트 및 인간화 도구 및 브라우저 목록입니다.

TheGP
⭐ 2,075 👤 TheGP User 🕐 업데이트됨 2026-10-07 📅 생성됨 2024-01-21
47
iiab/iiab

Internet-in-a-Box - Raspberry Pi로 당신만의 알렉산드리아 도서관을 구축하세요!

iiab
⭐ 2,056 Jinja 👤 iiab Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2017-05-28
48
claffin/cloudproxy

클라우드 뒤에 스크레이퍼 IP를 숨기세요. 다양한 클라우드 제공업체에 프록시 서버를 프로비저닝하여 스크레이핑 성공률을 높이세요.

claffin
⭐ 1,729 Python 👤 claffin User 🕐 업데이트됨 2026-11-05 📅 생성됨 2021-04-16
49
oxylabs/scrape-google-python

이 튜토리얼에서는 Python과 Oxylabs API를 사용하여 공개 Google 데이터를 스크랩하는 방법을 보여줍니다.

oxylabs
⭐ 1,719 👤 oxylabs Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2024-07-30
50
emcf/thepipe

비전-언어 모델로 까다로운 문서에서 깨끗한 데이터를 얻으세요 ⚡

emcf
⭐ 1,529 Python 👤 emcf User 🕐 업데이트됨 2026-09-28 📅 생성됨 2024-03-22

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #scraping 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #scraping 프로젝트는 205,758개의 스타를 받은 firecrawl/firecrawl입니다. 에이전트를 더 똑똑하게 만드는 지식 인프라입니다. 하나의 API를 통해 550개 이상의 데이터 제공업체를 검색하고, 스크래핑하고, 액세스하세요.

2

#scraping 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #scraping 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, TypeScript, Go, JavaScript입니다.

3

#scraping 저장소 순위는 어떻게 계산되나요?

#scraping 태그가 지정된 활성 오픈 소스 저장소(109개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 768,143개이며 저장소당 평균 7,047개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.