Git Stars Git Stars

#web-scraping 저장소

381
총 리포지토리
2.1M
총 별점
5,636
리포지토리당 평균 스타 수

저장소 총 382개

51
matthewmueller/x-ray

다음 웹 스크래퍼. <html> 노이즈를 꿰뚫어 보세요.

matthewmueller
⭐ 5,899 JavaScript 👤 matthewmueller User 🕐 업데이트됨 2026-08-31 📅 생성됨 2015-02-05
52
omkarcloud/botasaurus

무적의 스크래퍼를 구축하기 위한 올인원 프레임워크

omkarcloud
⭐ 5,857 TypeScript 👤 omkarcloud Organization 🕐 업데이트됨 2026-11-13 📅 생성됨 2023-05-09
53
executeautomation/mcp-playwright

Playwright Model Context Protocol Server - Claude Desktop, Cline, Cursor IDE 등에서 브라우저 및 API 자동화를 위한 도구 🔌

executeautomation
⭐ 5,681 TypeScript 👤 executeautomation User 🕐 업데이트됨 2025-12-13 📅 생성됨 2024-12-03
54
KnockOutEZ/wigolo

AI 코딩 에이전트를 위한 최적의 웹 — MCP를 통한 로컬 우선 검색, 가져오기, 크롤링 및 연구. API 키 불필요, 클라우드 불필요, 쿼리당 $0. 공개 베타.

KnockOutEZ
⭐ 5,560 TypeScript 👤 KnockOutEZ User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-04-12
55
Kaliiiiiiiiii-Vinyzu/patchright

Playwright 테스트 및 자동화 라이브러리의 감지되지 않은 버전입니다.

Kaliiiiiiiiii-Vinyzu
⭐ 5,227 TypeScript 👤 Kaliiiiiiiiii-Vinyzu Organization 🕐 업데이트됨 2026-11-13 📅 생성됨 2023-11-07
56
Manavarya09/design-extract

한 명령어로 어떤 웹사이트든 완전한 디자인 시스템 추출. DTCG 토큰, 시맨틱+프리미티브+컴포지트, Claude Code/Cursor/Windsurf용 MCP 서버, 멀티플랫폼 에미터 (iOS SwiftUI, Android Compose, Flutter, WordPress), Tailwind v4, Figma 변수, shadcn/ui, CSS 건강 감사, WCAG 수정, Chrome 확장. MIT, Playwright, Node 20+.

Manavarya09
⭐ 5,180 HTML 👤 Manavarya09 User 🕐 업데이트됨 2026-11-18 📅 생성됨 2026-04-15
57
ultrafunkamsterdam/nodriver

Undetected-Chromedriver의 후속 버전. Captcha / CloudFlare / Imperva / hCaptcha와 같은 성가신 봇 방지 시스템으로 인해 일반적으로 방해받는 웹 자동화, 웹 스크래핑, 봇 및 기타 모든 창의적인 아이디어를 위한 매우 빠른 프레임워크를 제공합니다.

ultrafunkamsterdam
⭐ 4,950 Python 👤 ultrafunkamsterdam User 🕐 업데이트됨 2026-10-26 📅 생성됨 2024-02-20
58
jaypyles/Scraperr

자체 호스팅 웹 스크래퍼.

jaypyles
⭐ 4,876 TypeScript 👤 jaypyles User 🕐 업데이트됨 2025-10-12 📅 생성됨 2024-07-06
59
NanmiCoder/CrawlerTutorial

크롤링 입문, 크롤링 중급, 고급 크롤링

NanmiCoder
⭐ 4,873 Python 👤 NanmiCoder User 🕐 업데이트됨 2026-04-03 📅 생성됨 2024-03-24
60
request/request-promise

Promise 지원이 포함된 단순화된 HTTP 요청 클라이언트 'request'. Bluebird 기반.

request
⭐ 4,734 JavaScript 👤 request Organization 🕐 업데이트됨 2024-01-31 📅 생성됨 2013-10-04
61
REMitchell/python-scraping

Python을 사용한 웹 스크래핑 책의 코드 샘플 http://shop.oreilly.com/product/0636920034391.do

REMitchell
⭐ 4,669 Jupyter Notebook 👤 REMitchell User 🕐 업데이트됨 2024-06-01 📅 생성됨 2015-06-14
62
AhmadHassan-BTed/Noria

메시징 플랫폼을 위한 에이전트형 정보 추출 도구입니다. Noria는 채팅을 통해 메시지와 URL을 받고, 웹 데이터를 수집해 맞춤형 평가 기준(예: 채용 정보, 장학금)에 따라 콘텐츠를 평가한 뒤, 계산된 적합도 점수가 포함된 구조화된 요약을 지정된 메신저 번호로 직접 전송합니다.

AhmadHassan-BTed
⭐ 4,624 JavaScript 👤 AhmadHassan-BTed User 🕐 업데이트됨 2026-11-10 📅 생성됨 2026-05-31
63
linsomniac/spotify_to_ytmusic

Spotify의 재생목록 및 좋아요한 음악을 YTMusic으로 복사

linsomniac
⭐ 4,588 Python 👤 linsomniac User 🕐 업데이트됨 2026-04-13 📅 생성됨 2023-12-22
64
0xHJK/music-dl

음악 검색 및 다운로드 네이버 클라우드 뮤직, QQ 뮤직, 쿠狗 뮤직, 바이두 뮤직, 샤미 뮤직, 미구 뮤직 등에서 검색하고 곡 다운로드

0xHJK
⭐ 4,423 Python 👤 0xHJK User 🕐 업데이트됨 2025-08-12 📅 생성됨 2019-01-08
65
ssut/py-googletrans

(비공식) Googletrans: Python용 무료 및 무제한 Google 번역 API. 완전히 무료로 번역합니다.

ssut
⭐ 4,303 Python 👤 ssut User 🕐 업데이트됨 2026-08-08 📅 생성됨 2015-06-05
66
RookieEnough/Orion-Store

오픈 소스 및 클린 앱을 위한 최고의 공간. OrionStore에서 YouTube Morphe, YT Music Morphe와 필수 오픈 소스 도구를 번잡함 없이 바로 만나보세요. 서버도, 추적도 없이, 좋아하는 앱으로 이어지는 아름답고 현대적인 관문입니다.

RookieEnough
⭐ 4,285 Kotlin 👤 RookieEnough User 🕐 업데이트됨 2026-11-19 📅 생성됨 2025-11-28
67
scrapinghub/splash

경량, 스크립트 가능한 브라우저 서비스, HTTP API 포함

scrapinghub
⭐ 4,197 Python 👤 scrapinghub Organization 🕐 업데이트됨 2024-08-02 📅 생성됨 2013-05-20
68
kalil0321/reverse-api-engineer

모든 웹사이트를 리버스 엔지니어링하여 타입이 지정된 API 클라이언트로 만드세요. Claude Code, Codex, Cursor, OpenCode와 함께 사용할 수 있습니다.

kalil0321
⭐ 4,088 Python 👤 kalil0321 User 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-12-23
69
snooppr/snoop

Snoop – 공개 데이터(OSINT) 기반 정보 수집 도구

snooppr
⭐ 4,072 Python 👤 snooppr User 🕐 업데이트됨 2026-11-20 📅 생성됨 2020-02-14
70
IonicaBizau/scrape-it

🔮 인간을 위한 Node.js 스크래퍼.

IonicaBizau
⭐ 4,069 JavaScript 👤 IonicaBizau User 🕐 업데이트됨 2026-11-20 📅 생성됨 2016-04-28
71
ericciarla/trendFinder

AI를 통해 소셜 미디어 및 웹의 인기 주제를 파악하세요

ericciarla
⭐ 4,016 TypeScript 👤 ericciarla User 🕐 업데이트됨 2025-02-17 📅 생성됨 2024-12-31
72
osnr/TabFS

🗄 브라우저 탭을 파일 시스템으로 마운트하세요.

osnr
⭐ 3,916 JavaScript 👤 osnr User 🕐 업데이트됨 2024-12-28 📅 생성됨 2019-02-26
73
Samueli924/chaoxing

Superstar Learn Cloud / Superstar Er Ya / Pan Ya Superstar 완전 자동 무인 임무 완료

Samueli924
⭐ 3,883 Python 👤 Samueli924 User 🕐 업데이트됨 2026-09-28 📅 생성됨 2020-11-20
74
sentient-agi/OpenDeepSearch

SOTA 검색 기반 LLM

sentient-agi
⭐ 3,824 Python 👤 sentient-agi Organization 🕐 업데이트됨 2025-04-04 📅 생성됨 2025-03-20
75
edoardottt/cariddi

도메인 목록을 가져와 URL을 크롤링하고 엔드포인트, 비밀, API 키, 파일 확장자, 토큰 등을 검색합니다.

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 업데이트됨 2026-11-19 📅 생성됨 2021-04-27
76
3441293738/creatorhub

멀티 플랫폼 콘텐츠 모니터링·수집·재게시. 하나의 웹 패널로 Douyin / Xiaohongshu / Kuaishou / WeChat 채널 / TikTok / Bilibili / Instagram / 해외판 Xiaohongshu(rednote)를 관리

3441293738
⭐ 3,774 Python 👤 3441293738 User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-07-03
77
Anakin-Inc/anakin

오픈 소스 웹 스크래핑 API. 모든 웹사이트를 깔끔한 마크다운이나 구조화된 JSON으로 변환하세요. 안티 디텍트 브라우저, 프록시 자동 선택, 자체 호스팅 지원. 명령어 하나로 시작: make up

Anakin-Inc
⭐ 3,764 Go 👤 Anakin-Inc Organization 🕐 업데이트됨 2026-08-18 📅 생성됨 2026-03-17
78
cv-cat/DouYin_Spider

틱톡 리버스 엔지니어링, 틱톡 크롤러, 틱톡 전체 API, 쪽지, 라이브 룸 모니터링

cv-cat
⭐ 3,711 Python 👤 cv-cat User 🕐 업데이트됨 2026-10-23 📅 생성됨 2023-10-17
79
oxylabs/amazon-scraper

검색, 제품, 판매 목록, 리뷰, 질문 및 답변, 베스트셀러 및 판매자 데이터를 추출하기 위한 무료 평가판 Amazon 스크래퍼 API.

oxylabs
⭐ 3,417 Python 👤 oxylabs Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2022-11-29
81
oxylabs/oxylabs-ai-studio-py

AI 기반 스크레이퍼, 크롤러 및 브라우저 자동화를 사용하여 모든 웹사이트에서 구조화된 데이터를 수집합니다. 자연어 프롬프트를 사용한 스크레이핑 및 크롤링. LLM 에이전트에게 최신 데이터를 제공하십시오. 지능형 웹 데이터 수집을 위한 AI Studio python SDK.

oxylabs
⭐ 3,394 Python 👤 oxylabs Organization 🕐 업데이트됨 2026-08-21 📅 생성됨 2025-06-17
82
vibheksoni/stealth-browser-mcp

MCP 및 Chrome DevTools 프로토콜을 통한 AI 에이전트용 스텔스 브라우저 자동화: 탐색, 네트워크 훅, DOM 추출, 픽셀 단위의 정확한 UI 복제.

vibheksoni
⭐ 3,384 Python 👤 vibheksoni User 🕐 업데이트됨 2026-11-20 📅 생성됨 2025-08-09
83
php-curl-class/php-curl-class

PHP Curl Class는 HTTP 요청을 보내고 웹 API와 통합하는 것을 쉽게 만들어줍니다.

php-curl-class
⭐ 3,293 PHP 👤 php-curl-class Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2013-08-16
84
Virtual-Browser/VirtualBrowser

무료 안티 핑거프린트 브라우저, 핑거프린트 브라우저, 개인 정보 보호 브라우저, 안티 인식 브라우저, 안티 식별 브라우저, 안티 연관 브라우저, 무료 web3 에어드랍 전용 핑거프린트 브라우저 https://virtualbrowser.cc/?src=github

Virtual-Browser
⭐ 3,282 Vue 👤 Virtual-Browser User 🕐 업데이트됨 2026-10-16 📅 생성됨 2023-05-20
85
hydrusnetwork/hydrus

하드 드라이브와 인기 웹사이트에서 파일과 태그를 가져올 수 있는 개인 보루 스타일 미디어 태거. 콘텐츠는 사용자 운영 서버를 통해 다른 사용자와 공유할 수 있습니다.

hydrusnetwork
⭐ 3,276 Python 👤 hydrusnetwork User 🕐 업데이트됨 2026-11-18 📅 생성됨 2013-02-19
86
oxylabs/how-to-scrape-amazon-product-data

Python을 사용하여 Amazon에서 제품 데이터(제목, 평점, 가격, 이미지 및 설명 포함)를 추출하는 과정.

oxylabs
⭐ 3,248 Python 👤 oxylabs Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2024-09-03
87
mitsuhiko/agent-stuff

이것들은 제가 에이전트들, 주로 Claude와 함께 사용하는 명령어들입니다.

mitsuhiko
⭐ 3,223 TypeScript 👤 mitsuhiko User 🕐 업데이트됨 2026-09-27 📅 생성됨 2025-11-02
88
scrapy/scrapyd

Scrapy 스파이더를 실행하는 서비스 데몬

scrapy
⭐ 3,100 Python 👤 scrapy Organization 🕐 업데이트됨 2026-10-23 📅 생성됨 2013-02-01
90
langchain-ai/social-media-agent

📲 소싱, 큐레이팅 및 소셜 미디어 게시물 예약을 위한 에이전트 (사람의 개입 포함).

langchain-ai
⭐ 3,045 TypeScript 👤 langchain-ai Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2024-11-21
91
TheBlewish/Automated-AI-Web-Researcher-Ollama

Ollama에서 실행되는 LLM을 자동화된 연구원으로 변환하는 Python 프로그램으로, 단일 쿼리로 조사할 집중 영역을 결정하고, 웹 검색을 수행하며, 다양한 관련 웹사이트에서 콘텐츠를 스크랩하고, 자체적으로 연구를 수행합니다! 또한, 찾은 내용을 저장하는 기능도 포함하면서 이에 국한되지 않습니다!

TheBlewish
⭐ 3,019 Python 👤 TheBlewish User 🕐 업데이트됨 2026-09-02 📅 생성됨 2024-11-20
92
x4nth055/pythoncode-tutorials

파이썬 코드 튜토리얼

x4nth055
⭐ 3,003 Jupyter Notebook 👤 x4nth055 User 🕐 업데이트됨 2026-09-30 📅 생성됨 2019-07-29
93
vladkens/twscrape

X/Twitter 스크래핑을 위한 Python 라이브러리 및 CLI로, 다중 계정 로테이션과 내장된 속도 제한 처리를 지원합니다.

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 업데이트됨 2026-11-19 📅 생성됨 2023-05-05
94
rust-headless-chrome/rust-headless-chrome

헤드리스 Chrome 또는 Chromium을 DevTools Protocol을 통해 제어하기 위한 고급 API. 이는 Chrome DevTools 팀이 유지보수하는 Node 라이브러리 Puppeteer의 Rust 등가물입니다.

rust-headless-chrome
⭐ 2,960 Rust 👤 rust-headless-chrome Organization 🕐 업데이트됨 2026-06-11 📅 생성됨 2018-09-18
95
oxylabs/how-to-scrape-google-trends

Python과 Oxylabs SERP API를 사용하여 Google 트렌드 데이터를 스크랩하고 결과를 비교하는 방법을 단계별로 알아보세요. 키워드, 인기, 지역별 분석, 관련 검색어 등을 추출합니다.

oxylabs
⭐ 2,907 Python 👤 oxylabs Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2024-08-06
96
digininja/CeWL

CeWL은 맞춤형 단어 목록 생성기입니다

digininja
⭐ 2,896 Ruby 👤 digininja User 🕐 업데이트됨 2026-06-24 📅 생성됨 2016-04-22
97
spider-rs/spider

Rust를 활용한 기반 저지연 웹 데이터 수집

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2018-01-07
98
Geniusay/ChopperBot

Huya, Douyu, Douyin, BiliBili, TikTok, Twitch🔥인기🔥스마트 라이브 비디오 편집 및 게시 AI 로봇, 자동화🤖, 완전 지능형⚙(자동 클립, 제목, 썸네일, 설명 생성), 시각화👓, 인기 플랫폼 모니터링🌡, 풍부한 플러그인 자유로운 확장🕹, 빠른 배포⚡, 비디오 계정 자동 게시 구축🌟, DIY 지원🎮

Geniusay
⭐ 2,758 Java 👤 Geniusay User 🕐 업데이트됨 2025-08-04 📅 생성됨 2023-04-27
99
levywang/avhub

R18 리소스 검색 및 관리 도구

levywang
⭐ 2,742 Vue 👤 levywang User 🕐 업데이트됨 2026-04-18 📅 생성됨 2025-03-07
100
brightdata/brightdata-mcp

공용 웹 액세스를 위한 올인원 솔루션을 제공하는 강력한 모델 컨텍스트 프로토콜(MCP) 서버입니다.

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2025-04-15