Git Stars Git Stars

#web-scraping 저장소

381
총 리포지토리
2.1M
총 별점
5,636
리포지토리당 평균 스타 수

저장소 총 382개

101
jerry3747/taobao_seckill

타오바오, 티몰 반값 특가, TV 쟁탈전, 마오타이 쟁탈전, 암표상 박멸

jerry3747
⭐ 2,667 Python 👤 jerry3747 User 🕐 업데이트됨 2024-07-12 📅 생성됨 2020-12-29
102
Predidit/KazumiRules

Kazumi의 규칙 호스팅 저장소, 기여 환영 ^•ﻌ•^

Predidit
⭐ 2,653 Dart 👤 Predidit User 🕐 업데이트됨 2026-11-13 📅 생성됨 2024-05-22
103
Anning01/AIMedia

AIMedia는 자동으로 트렌드를 수집하고 AI로 기사를 작성하며 자동으로 발행하는 통합 소프트웨어입니다. Toutiao, Xiaohongshu, WeChat 공식 계정 등을 지원합니다.

Anning01
⭐ 2,619 TypeScript 👤 Anning01 User 🕐 업데이트됨 2026-11-04 📅 생성됨 2024-10-28
104
oss-invisible/playwright

보이지 않는 Playwright: 안티봇 시스템이 감지할 수 없어 CAPTCHA가 발생하지 않는 Playwright. 동일한 API, 탐지 방지 스텔스 헤드리스 Firefox, 감지되지 않는 핑거프린트, 봇 탐지 우회, Python 웹 스크래핑 및 브라우저 자동화.

oss-invisible
⭐ 2,612 Python 👤 oss-invisible Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-05-13
105
Mahanaicoach/google-maps-scraper-kit

리드 생성을 위한 무료 오픈소스 Google 지도 스크래퍼입니다(Python, API 키 및 Docker 불필요). 이름, 전화번호, 이메일, 웹사이트, 평점, Instagram/Facebook/LinkedIn/TikTok/YouTube/X 링크를 CSV로 내보냅니다. 이메일이 있는 장소 100곳을 44초 만에 수집합니다. --grid로 Google의 120개 제한을 넘어설 수 있습니다. 이메일 MX 레코드 확인 및 광고 픽셀 감지 기능을 제공합니다. Claude Code, Codex, Cursor용 스킬입니다.

Mahanaicoach
⭐ 2,567 Python 👤 Mahanaicoach User 🕐 업데이트됨 2026-11-19 📅 생성됨 2026-06-21
106
lorien/grab

웹 스크래핑 프레임워크

lorien
⭐ 2,461 Python 👤 lorien User 🕐 업데이트됨 2025-09-19 📅 생성됨 2013-05-01
107
openbullet/OpenBullet2

OpenBullet 재창조

openbullet
⭐ 2,447 C# 👤 openbullet User 🕐 업데이트됨 2026-09-07 📅 생성됨 2020-04-23
108
0xMassi/webclaw

LLM을 위한 빠르고 로컬 우선 웹 콘텐츠 추출. 스크랩, 크롤링, 구조화된 데이터 추출 — 모두 Rust에서. CLI, REST API, MCP 서버.

0xMassi
⭐ 2,440 Rust 👤 0xMassi User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-03-10
109
paquettg/php-html-parser

HTML DOM 파서입니다. HTML을 조작할 수 있습니다. jQuery와 같은 선택자를 사용하여 HTML 페이지에서 태그를 찾습니다.

paquettg
⭐ 2,405 HTML 👤 paquettg User 🕐 업데이트됨 2024-08-09 📅 생성됨 2013-12-13
110
drunkdream/weread-exporter

WeChat Reading의 책을 epub, pdf, mobi 등 형식으로 내보내기

drunkdream
⭐ 2,403 Python 👤 drunkdream User 🕐 업데이트됨 2026-03-21 📅 생성됨 2023-02-11
111
saifyxpro/HeadlessX

감지되지 않는 자체 호스팅형 브라우저 자동화 플랫폼. Camoufox(Firefox)로 0% 탐지율을 달성했습니다. 속도, 프라이버시 및 확장성을 위해 제작되었습니다.

saifyxpro
⭐ 2,365 TypeScript 👤 saifyxpro User 🕐 업데이트됨 2026-11-12 📅 생성됨 2025-09-12
112
jxhczhl/JsRpc

코드를 직접 작성하고 환경을 설정하는 번거로움 없이 RPC(원격 프로시저 호출) 브라우저 메서드를 호출합니다.

jxhczhl
⭐ 2,352 Go 👤 jxhczhl User 🕐 업데이트됨 2026-06-08 📅 생성됨 2021-09-25
113
codingforentrepreneurs/30-Days-of-Python

다음 30일(또는 그쯤) 동안 Python을 배우세요.

codingforentrepreneurs
⭐ 2,232 HTML 👤 codingforentrepreneurs User 🕐 업데이트됨 2024-02-27 📅 생성됨 2016-03-09
114
chao325/MaoTai_GUIT

티몰 TaoBao i마오타이 iMatoTai JD 징동 러시 구매, 징동 마오타이 러시 윈도우 버전, 개봉 즉시 사용 환경 설정 불필요. 개발 임박 (Apache License 오픈소스 프로토콜 채택)

chao325
⭐ 2,147 Python 👤 chao325 User 🕐 업데이트됨 2026-11-12 📅 생성됨 2023-09-20
115
btahir/open-deep-research

Gemini Deep Research의 오픈 소스 대안. 검색 결과를 기반으로 AI를 활용하여 보고서를 생성합니다.

btahir
⭐ 2,141 TypeScript 👤 btahir User 🕐 업데이트됨 2025-12-15 📅 생성됨 2024-12-24
116
ThePhaseless/Byparr

유효한 안티봇 쿠키를 직접 받으세요!

ThePhaseless
⭐ 2,117 Python 👤 ThePhaseless User 🕐 업데이트됨 2026-11-19 📅 생성됨 2024-07-24
117
oxylabs/how-to-scrape-google-scholar

Python 및 Oxylabs SERP Scraper API를 사용하여 Google Scholar에서 제목, 저자 및 인용을 추출하는 가이드입니다.

oxylabs
⭐ 2,095 Python 👤 oxylabs Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2024-03-07
118
oxylabs/how-to-scrape-amazon-prices

Python과 Oxylabs E-Commerce Scraper API를 사용하여 Amazon에서 베스트셀러 항목, 검색 결과 및 현재 사용 가능한 거래를 추출하는 코드입니다.

oxylabs
⭐ 2,083 Python 👤 oxylabs Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2024-03-21
119
ssili126/tv

자동 수집된 IPv4 호텔 TV 라이브 소스, 자동 재생 속도 테스트, 매일 자동 업데이트. CCTV 중앙 방송 채널 및 일부 지역 채널을 포함하며 재생이 부드럽습니다. OpenWrt 또는 Synology Docker에서도 실행할 수 있습니다.

ssili126
⭐ 2,052 Python 👤 ssili126 User 🕐 업데이트됨 2026-11-04 📅 생성됨 2024-01-12
120
supermemoryai/markdowner

LLM-ready 마크다운 데이터로 모든 웹사이트를 변환하는 빠른 도구. https://supermemory.ai에서 제작

supermemoryai
⭐ 2,033 TypeScript 👤 supermemoryai Organization 🕐 업데이트됨 2026-10-02 📅 생성됨 2024-05-09
121
midudev/curso-python

모든 대상자를 위한 파이썬 기초 강좌 (연습 문제 포함)

midudev
⭐ 2,006 Python 👤 midudev User 🕐 업데이트됨 2026-10-16 📅 생성됨 2025-01-15
122
zhegexiaohuozi/SeimiCrawler

SpringBootをサポートする、シンプル、アジャイル、分散型のJavaクローラフレームワーク。アジャイルで分散型のクローラフレームワーク。

zhegexiaohuozi
⭐ 1,984 Java 👤 zhegexiaohuozi User 🕐 업데이트됨 2026-11-17 📅 생성됨 2015-11-06
123
KEV0143/Parser-Chitai-Gorod

"치타이-고로드(Chitai-Gorod)" 카탈로그용 지능형 파서. ISBN부터 할인 동향에 이르기까지, 지정된 모든 매개변수에 기반한 고속 데이터 수집 및 구조화.

KEV0143
⭐ 1,979 Python 👤 KEV0143 User 🕐 업데이트됨 2026-09-17 📅 생성됨 2025-05-18
124
bogdanfinn/tls-client

net/http.Client는 요청에 사용할 특정 클라이언트 TLS 지문을 선택하는 옵션이 있는 HTTP 클라이언트와 유사합니다.

bogdanfinn
⭐ 1,949 Go 👤 bogdanfinn User 🕐 업데이트됨 2026-11-18 📅 생성됨 2022-07-09
125
stevenyomi/copymanga

Tachiyomi용 CopyManga 확장 프로그램.

stevenyomi
⭐ 1,941 👤 stevenyomi User 🕐 업데이트됨 2024-02-18 📅 생성됨 2022-06-30
126
nat/natbot

GPT-3로 브라우저 구동하기

nat
⭐ 1,933 Python 👤 nat User 🕐 업데이트됨 2024-06-09 📅 생성됨 2022-09-29
127
ARC-MX/sgcc_electricity_new

HomeAssistant 국가 전력망 전기 요금 조회

ARC-MX
⭐ 1,925 Python 👤 ARC-MX User 🕐 업데이트됨 2026-11-07 📅 생성됨 2024-05-08
128
bugswriter/notflix

Notflix는 토렌트를 검색하고 스트리밍하기 위한 쉘 스크립트입니다.

bugswriter
⭐ 1,913 Shell 👤 bugswriter User 🕐 업데이트됨 2024-06-18 📅 생성됨 2022-01-01
129
saermart/DouyinLiveWebFetcher

도우인 라이브 방송 웹 버전 댓글 데이터 수집 (2025 최신 버전)

saermart
⭐ 1,909 Python 👤 saermart User 🕐 업데이트됨 2026-09-08 📅 생성됨 2024-01-02
⭐ 1,894 Python 👤 LawRefBook Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2022-03-21
131
Freedium-cfd/web

이 저장소는 미러일 뿐입니다! 메인 개발 저장소는 https://codeberg.org/Freedium-cfd/web 입니다.

Freedium-cfd
⭐ 1,885 Python 👤 Freedium-cfd Organization 🕐 업데이트됨 2026-10-20 📅 생성됨 2023-08-21
132
enetx/surf

SURF - Chrome/Firefox 브라우저 가장, QUIC 핑거프린팅을 통한 HTTP/3, JA3/JA4 TLS 에뮬레이션, 웹 자동화 및 스크래핑을 위한 봇 방지 우회 기능을 갖춘 고급 Go HTTP 클라이언트.

enetx
⭐ 1,853 Go 👤 enetx User 🕐 업데이트됨 2026-11-15 📅 생성됨 2025-08-30
133
microlinkhq/browserless

Puppeteer 위에 구축된 Headless Chrome/Chromium 드라이버. 프로덕션 대비 API로 스크린샷을 찍고 PDF를 생성하며 텍스트와 HTML을 추출합니다.

microlinkhq
⭐ 1,846 JavaScript 👤 microlinkhq Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2017-09-06
134
tkfy920/qstock

qstock은 'Python 금융 정량' 공식 계정에서 개발되었으며, 개인 정량 투자 연구 분석 패키지를 목표로 합니다. 현재 데이터 수집(data), 시각화(plot), 주식 선정(stock), 정량 백테스팅(strategy backtest) 모듈을 포함하고 있습니다. qstock은 사용자에게 간결한 데이터 인터페이스와 정리된 금융 시장 데이터를 제공할 것입니다. 시각화 모듈은 사용자에게 웹 기반의 상호작용 가능한 그래픽에 대한 간단한 인터페이스를 제공합니다. 주식 선정 모듈은 Tonghuashun의 주식 선정 데이터와 RPS, MM 추세, 재무 지표, 자금 흐름 모델 등을 포함한 맞춤형 주식 선정을 제공합니다. 백테스팅 모듈은 모든 사람에게 벡터화된(pandas 기반) 및 이벤트 기반의 기본 프레임워크와 모델을 제공합니다. "Python 금융 정량" WeChat 공식 계정을 팔로우하여 더 많은 응용 프로그램 정보를 얻으십시오.

tkfy920
⭐ 1,839 Python 👤 tkfy920 User 🕐 업데이트됨 2025-03-16 📅 생성됨 2022-10-10
135
deweizhu/bookget

bookget 디지털 고서 다운로드 도구.

deweizhu
⭐ 1,824 Go 👤 deweizhu User 🕐 업데이트됨 2026-01-23 📅 생성됨 2023-04-09
136
kickscondor/fraidycat

한 페이지에서 블로그, 위키, YouTube 채널뿐만 아니라 Twitter, Instagram 등의 계정을 팔로우하세요.

kickscondor
⭐ 1,809 JavaScript 👤 kickscondor User 🕐 업데이트됨 2024-02-07 📅 생성됨 2019-06-22
137
lit26/finvizfinance

Finviz 분석 파이썬 라이브러리.

lit26
⭐ 1,790 Python 👤 lit26 User 🕐 업데이트됨 2026-11-18 📅 생성됨 2020-07-23
138
adsbypasser/adsbypasser

가능하다면 광고 카운터를 우회하세요.

adsbypasser
⭐ 1,790 JavaScript 👤 adsbypasser Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2012-12-17
139
oxylabs/how-to-scrape-google-jobs

Python과 Oxylabs의 Google Jobs Scraper API를 사용하여 여러 검색어와 지리적 위치에 대한 Google Jobs를 동시에 스크랩하는 자신만의 Google Jobs 스크래퍼를 구축하는 방법을 알아보세요. https://oxylabs.io/blog/how-to-scrape-google-jobs

oxylabs
⭐ 1,761 Python 👤 oxylabs Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2024-02-08
140
ProxyShard/ShardBrowser

웹 스크래핑 및 다중 계정 운영을 위한 무료 오픈 소스 안티 디텍트 브라우저 런처입니다. ShardX 팀(구 ProxyShard)이 개발했습니다. Chromium 158에서 엔진 수준의 핑거프린트 스푸핑(WebGL / WebGPU / Client Hints / 글꼴 / TLS)을 지원하며, 220개 이상의 디바이스 프로필이 기본 제공되고 SOCKS5를 통한 안정적인 QUIC + WebRTC를 지원합니다.

ProxyShard
⭐ 1,735 TypeScript 👤 ProxyShard User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-05-30
141
egoist/sitefetch

전체 사이트를 가져와 텍스트 파일로 저장합니다 (AI 모델용).

egoist
⭐ 1,733 TypeScript 👤 egoist User 🕐 업데이트됨 2025-01-18 📅 생성됨 2025-01-07
142
acoooder/aliyunpanshare

바이두 클라우드(Baidu Netdisk), 쿼크 클라우드(Quark Netdisk), 알리바바 클라우드(Aliyun Drive) 영상 리소스 공유. 최신 드라마, 예능, 영화 리소스를 매일 업데이트합니다.

acoooder
⭐ 1,729 👤 acoooder User 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-02-21
143
qinlili23333/ctfileGet

Chengtong 클라우드 드라이브의 일회용 직접 연결 주소 가져오기

qinlili23333
⭐ 1,725 JavaScript 👤 qinlili23333 User 🕐 업데이트됨 2025-11-07 📅 생성됨 2021-02-11
144
oxylabs/scrape-google-python

이 튜토리얼에서는 Python과 Oxylabs API를 사용하여 공개 Google 데이터를 스크랩하는 방법을 보여줍니다.

oxylabs
⭐ 1,719 👤 oxylabs Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2024-07-30
145
rushter/selectolax

Modest 및 Lexbor 엔진에 대한 Python 바인딩. Python용 CSS 선택기가 있는 빠른 HTML5 파서.

rushter
⭐ 1,717 Python 👤 rushter User 🕐 업데이트됨 2026-11-10 📅 생성됨 2017-11-26
146
Shrans/GalSites

안녕~(∠・ω< )⌒☆

Shrans
⭐ 1,716 Python 👤 Shrans User 🕐 업데이트됨 2026-10-26 📅 생성됨 2024-10-16
147
gildas-lormeau/single-file-cli

SingleFile 기반으로 완전한 웹페이지를 단일 HTML 파일로 충실하게 복사하여 저장하는 CLI 도구

gildas-lormeau
⭐ 1,702 JavaScript 👤 gildas-lormeau User 🕐 업데이트됨 2026-11-18 📅 생성됨 2022-05-31
148
MgArcher/Text_select_captcha

PyTorch 기반 텍스트 선택, 문자 선택, 선택, 터치 캡차 인식 구현

MgArcher
⭐ 1,679 Python 👤 MgArcher User 🕐 업데이트됨 2026-05-08 📅 생성됨 2020-08-23
149
Altimis/Scweet

Python용 Twitter 및 X 스크레이퍼: 공식 API 없이 트윗, 프로필, 팔로워, 팔로잉, 트렌드를 수집하세요. 여러 계정 풀링, 프록시 지원, 비동기 기능을 제공하는 Twitter 스크래핑 라이브러리 또는 Apify에서 호스팅되는 버전을 이용할 수 있습니다.

Altimis
⭐ 1,667 Python 👤 Altimis User 🕐 업데이트됨 2026-11-20 📅 생성됨 2020-12-14
150
ttttmr/Wechat2RSS

위챗 공식 계정 RSS 전환

ttttmr
⭐ 1,665 Shell 👤 ttttmr User 🕐 업데이트됨 2026-11-20 📅 생성됨 2021-09-25