Git Stars Git Stars

#web-scraping 저장소

381
총 리포지토리
2.1M
총 별점
5,636
리포지토리당 평균 스타 수

저장소 총 382개

151
Nutlope/turboseek

Perplexity에서 영감을 받은 AI 검색 엔진

Nutlope
⭐ 1,660 TypeScript 👤 Nutlope User 🕐 업데이트됨 2026-10-23 📅 생성됨 2024-05-26
152
oxylabs/ai-map-py

AI Map은 Oxylabs AI Studio에서 개발한 AI 기반 웹사이트 매핑 도구로, 자연어 프롬프트를 사용하여 모든 웹사이트에서 관련 URL을 지능적으로 발견하고 추출합니다.

oxylabs
⭐ 1,651 👤 oxylabs Organization 🕐 업데이트됨 2026-04-02 📅 생성됨 2025-10-29
153
orangecoding/fredy

❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] (진짜 부동산을 아주 쉽게 찾기) - Fredy는 ImmoScout24, Immowelt, eBay Kleinanzeigen 같은 플랫폼에서 유럽의 새로운 아파트, 주택, 플랫을 계속 검색하고, Slack, Telegram, 이메일, Discord 또는 ntfy를 통해 결과를 즉시 전달해 줍니다. 덕분에 인생에서 더 중요한 일에 집중할 수 있습니다 ;)

orangecoding
⭐ 1,648 JavaScript 👤 orangecoding User 🕐 업데이트됨 2026-11-19 📅 생성됨 2018-01-15
154
Xetera/ghost-cursor

🖱️ Puppeteer를 사용하거나 2D 평면에서 인간 같은 마우스 움직임을 생성하세요

Xetera
⭐ 1,634 TypeScript 👤 Xetera User 🕐 업데이트됨 2026-11-04 📅 생성됨 2019-10-15
155
justmarkham/DAT8

워싱턴 DC의 General Assembly 2015 데이터 사이언스 코스

justmarkham
⭐ 1,622 Jupyter Notebook 👤 justmarkham User 🕐 업데이트됨 2024-06-05 📅 생성됨 2015-08-07
156
karust/openserp

AI 에이전트와 SEO를 위한 셀프 호스팅 웹 검색. Google, Bing, Yandex, Baidu, DuckDuckGo, Ecosia를 실제 브라우저에서 렌더링해 순위별 결과와 깔끔한 페이지 Markdown을 제공합니다. API, CLI, MCP 🎉

karust
⭐ 1,605 Go 👤 karust User 🕐 업데이트됨 2026-11-19 📅 생성됨 2023-06-23
157
Kaliiiiiiiiii-Vinyzu/patchright-python

Playwright 테스트 및 자동화 라이브러리의 감지되지 않은 Python 버전입니다.

Kaliiiiiiiiii-Vinyzu
⭐ 1,603 Python 👤 Kaliiiiiiiiii-Vinyzu Organization 🕐 업데이트됨 2026-11-10 📅 생성됨 2024-11-02
158
ulixee/hero

스크래핑을 위해 제작된 웹 브라우저

ulixee
⭐ 1,557 TypeScript 👤 ulixee Organization 🕐 업데이트됨 2026-05-16 📅 생성됨 2021-07-28
159
dteviot/WebToEpub

웹 소설(및 다른 웹 페이지)을 EPUB으로 변환하는 간단한 Chrome(및 Firefox) 확장 프로그램.

dteviot
⭐ 1,544 JavaScript 👤 dteviot User 🕐 업데이트됨 2026-11-20 📅 생성됨 2015-11-23
160
headzoo/surf

Go에서의 상태 기반 프로그래밍 웹 브라우징.

headzoo
⭐ 1,533 Go 👤 headzoo User 🕐 업데이트됨 2024-01-24 📅 생성됨 2014-08-25
161
0x676e67/wreq-python

인체공학적이고 개인정보 보호에 신경을 쓴 Python HTTP 클라이언트

0x676e67
⭐ 1,526 Python 👤 0x676e67 User 🕐 업데이트됨 2026-11-15 📅 생성됨 2025-02-10
162
tidyverse/rvest

R을 위한 간단한 웹 스크래핑

tidyverse
⭐ 1,524 R 👤 tidyverse Organization 🕐 업데이트됨 2026-10-27 📅 생성됨 2014-07-23
163
tinyfish-io/agentql

AgentQL은 AI를 웹에 연결하기 위한 도구 모음입니다. 요소를 상호 작용하고 데이터를 빠르고 정확하며 확장 가능하게 추출하기 위한 쿼리 언어 및 Playwright 통합 기능을 제공합니다. REST API, Python 및 JavaScript SDK, 브라우저 디버거를 포함합니다.

tinyfish-io
⭐ 1,510 Python 👤 tinyfish-io Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-02-20
164
liguobao/HouseSearch

지도에서 임대 주택 찾기: 온 동네를 돌아다니며 집을 구하느라 지치셨나요? 방법을 바꿔 지도에서 바로 임대 주택을 찾아보세요! [위챗 공식 계정 및 미니 프로그램: 人生删除指南]

liguobao
⭐ 1,495 JavaScript 👤 liguobao User 🕐 업데이트됨 2026-11-14 📅 생성됨 2016-08-07
165
antonmedv/finder

CSS 선택자 생성기 🗺

antonmedv
⭐ 1,491 HTML 👤 antonmedv User 🕐 업데이트됨 2025-11-20 📅 생성됨 2018-02-20
166
rebrowser/rebrowser-patches

자동화 탐지 및 유출을 방지하는 puppeteer 및 playwright용 패치 모음입니다. Cloudflare 및 DataDome CAPTCHA 페이지를 피하는 데 도움이 됩니다. 패치/패치 해제가 용이하며 필요에 따라 활성화/비활성화할 수 있습니다.

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 업데이트됨 2026-11-02 📅 생성됨 2024-08-06
167
ScrapingBee/chatgpt-scraper-api

유효한 ChatGPT 스크래핑 API 자격 증명이 포함된 프롬프트를 전송하여 ChatGPT 스크래퍼에서 구조화된 응답을 수집합니다. 실시간 검색을 활성화하고, HTML 컨텍스트를 주입하고, 몇 가지 매개변수만으로 지능형 스크래퍼 ChatGPT 워크플로를 자동화합니다.

ScrapingBee
⭐ 1,465 👤 ScrapingBee Organization 🕐 업데이트됨 2026-07-15 📅 생성됨 2026-03-12
168
Surfer-Org/Protocol

개인 데이터를 내보내기 위한 오픈 소스 프레임워크입니다.

Surfer-Org
⭐ 1,462 TypeScript 👤 Surfer-Org Organization 🕐 업데이트됨 2024-12-25 📅 생성됨 2024-08-09
169
austin-weeks/miasma

AI 웹 스크레이퍼를 끝없는 독 구덩이에 가두어라.

austin-weeks
⭐ 1,459 Rust 👤 austin-weeks User 🕐 업데이트됨 2026-11-05 📅 생성됨 2026-03-18
170
roach-php/core

PHP를 위한 완벽한 웹 스크래핑 툴킷입니다.

roach-php
⭐ 1,456 PHP 👤 roach-php Organization 🕐 업데이트됨 2025-10-27 📅 생성됨 2021-08-17
171
wordware-ai/twitter

트위터 성격 분석을 위한 AI 에이전트

wordware-ai
⭐ 1,446 TypeScript 👤 wordware-ai Organization 🕐 업데이트됨 2026-08-02 📅 생성됨 2024-06-03
172
mattsse/chromiumoxide

Chrome Devtools Protocol Rust API

mattsse
⭐ 1,437 Rust 👤 mattsse User 🕐 업데이트됨 2026-04-03 📅 생성됨 2020-11-28
173
Miserlou/SoundScrape

Python으로 SoundCloud (및 Bandcamp, Mixcloud) 다운로더.

Miserlou
⭐ 1,436 Python 👤 Miserlou User 🕐 업데이트됨 2024-06-23 📅 생성됨 2013-12-29
174
foxhui/WebAI2API

WebAI2API: Camoufox 기반 웹 AI를 API로 변환하는 도구, LMArena/Gemini 등을 지원, 다중 창 동시 실행 및 계정 격리. | Web AI to OpenAI API via Camoufox. Supports LMArena/Gemini and more, multi-window concurrency & account isolation.

foxhui
⭐ 1,429 JavaScript 👤 foxhui User 🕐 업데이트됨 2026-07-10 📅 생성됨 2025-11-23
175
oxylabs/how-to-scrape-google-finance

Web Scraper API를 사용하여 Google Finance에서 종목명, 가격 책정, 백분율 가격 변동을 포함한 데이터를 추출하십시오.

oxylabs
⭐ 1,403 Python 👤 oxylabs Organization 🕐 업데이트됨 2025-09-23 📅 생성됨 2024-09-25
176
feder-cr/invisible_puppeteer

안티봇 시스템이 감지할 수 없는 Python용 Puppeteer로, CAPTCHA가 표시되지 않습니다. 동일한 API, 탐지 방지 스텔스 헤드리스 Firefox, 감지되지 않는 핑거프린트, 봇 탐지 우회, 웹 스크래핑 및 브라우저 자동화를 지원합니다.

feder-cr
⭐ 1,403 Python 👤 feder-cr User 🕐 업데이트됨 2026-10-19 📅 생성됨 2024-09-01
177
mckaywrigley/clarity-ai

Perplexity의 클론입니다.

mckaywrigley
⭐ 1,401 TypeScript 👤 mckaywrigley User 🕐 업데이트됨 2024-03-28 📅 생성됨 2023-02-19
178
facundoolano/app-store-scraper

iTunes App Store에서 데이터 스크래핑

facundoolano
⭐ 1,396 JavaScript 👤 facundoolano User 🕐 업데이트됨 2025-07-27 📅 생성됨 2016-05-31
179
regenrek/deepwiki-mcp

📖 MCP 서버로 deepwiki.com을 가져와 Cursor 및 기타 코드 편집기에서 최신 지식 얻기

regenrek
⭐ 1,393 TypeScript 👤 regenrek User 🕐 업데이트됨 2026-03-20 📅 생성됨 2025-04-28
180
sardanioss/httpcloak

브라우저와 동일한 TLS/HTTP2 지문을 갖는 Go HTTP 클라이언트. 암호화 수준(JA3/JA4, Akamai 지문, 헤더 순서)에서 Chrome, Firefox 및 Safari를 완벽하게 모방하여 봇 감지를 우회합니다. HTTP/1.1, HTTP/2, HTTP/3, 세션, 쿠키 및 프록시를 지원합니다.

sardanioss
⭐ 1,387 Go 👤 sardanioss User 🕐 업데이트됨 2026-11-14 📅 생성됨 2025-12-28
181
MiniGlome/Archive.org-Downloader

archive.org 책을 PDF 형식으로 다운로드하는 Python3 스크립트

MiniGlome
⭐ 1,385 Python 👤 MiniGlome User 🕐 업데이트됨 2026-09-27 📅 생성됨 2021-02-17
182
fugary/calibre-douban

Calibre 새 Douban 메타데이터 소스 플러그인. Douban은 더 이상 공개적으로 도서 API를 제공하지 않으므로 데이터를 얻기 위해 웹 크롤링만 사용할 수 있습니다. 이것은 웹 크롤링을 기반으로 하는 Calibre Douban 플러그인입니다.

fugary
⭐ 1,382 Python 👤 fugary User 🕐 업데이트됨 2025-11-08 📅 생성됨 2021-12-12
183
firecrawl/open-scouts

🔥 AI 기반 웹 모니터링 플랫폼입니다. 자동 스카우트가 웹을 검색하고 찾아낸 내용을 이메일로 알림을 보냅니다.

firecrawl
⭐ 1,372 TypeScript 👤 firecrawl Organization 🕐 업데이트됨 2026-11-13 📅 생성됨 2025-11-28
184
sourcegraph/webloop

WebLoop: Go API를 갖춘 스크립트 가능, 헤드리스 WebKit. PhantomJS와 유사하지만 Go용입니다.

sourcegraph
⭐ 1,366 Go 👤 sourcegraph Organization 🕐 업데이트됨 2024-04-01 📅 생성됨 2013-10-27
185
philippta/flyscrape

Flyscrape는 고급 프로그래밍 기술이 없는 사용자를 위해 설계된 명령줄 웹 스크래핑 도구입니다.

philippta
⭐ 1,347 Go 👤 philippta User 🕐 업데이트됨 2025-11-24 📅 생성됨 2023-08-28
186
Sniper970119/dianping_spider

Dianping 크롤러 (전체 사이트 크롤링 가능, 동적 폰트 암호화 해결, OCR 아님). 지속적인 업데이트

Sniper970119
⭐ 1,329 Python 👤 Sniper970119 User 🕐 업데이트됨 2026-11-03 📅 생성됨 2021-01-22
187
firecrawl/fire-enrich

Firecrawl 및 멀티 에이전트 AI를 사용하여 이메일을 회사 프로필, 투자 데이터, 기술 스택 등이 포함된 풍부한 데이터 세트로 변환하는 AI 기반 데이터 강화 도구

firecrawl
⭐ 1,308 TypeScript 👤 firecrawl Organization 🕐 업데이트됨 2026-10-26 📅 생성됨 2025-06-06
188
AI4Finance-Foundation/FinNLP

인터넷 규모의 금융 데이터를 민주화합니다.

AI4Finance-Foundation
⭐ 1,292 Jupyter Notebook 👤 AI4Finance-Foundation Organization 🕐 업데이트됨 2024-07-01 📅 생성됨 2023-02-07
189
kkangert/kspider

Kspider는 코딩 없이 크롤링 프로세스를 구현할 수 있도록 그래픽 방식으로 크롤링 프로세스를 정의할 수 있는 크롤링 플랫폼입니다. Kspider는 웹 크롤링에만 국한되지 않고 WEB 자동화 테스트에도 사용할 수 있으며, 더 많은 기능을 탐색할 수 있습니다.

kkangert
⭐ 1,285 Java 👤 kkangert User 🕐 업데이트됨 2024-08-19 📅 생성됨 2024-07-07
190
fastcrw/crw

Rust로 작성된 빠르고 가벼운 Firecrawl/Tavily 대안. AI 에이전트를 위한 MCP 서버가 포함된 웹 스크레이퍼, 크롤러 및 검색 API. Firecrawl 호환 드롭인 API(/scrape, /crawl, /search) 제공. 1K URL 벤치마크에서 Tavily보다 2.3배, Firecrawl보다 1.5배 빠름. 6MB RAM, 단일 바이너리. 자체 호스팅 또는 관리형 클라우드 사용 가능.

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-03-02
191
techwithtim/Price-Tracking-Web-Scraper

Bright Data, Playwright, React 및 Flask를 사용하는 자동 가격 추적기입니다.

techwithtim
⭐ 1,284 Python 👤 techwithtim User 🕐 업데이트됨 2024-10-17 📅 생성됨 2023-06-23
192
ovobrowsersupport/ovobrowser

소스 코드 수준의 Chromium 지문 엔진으로, 탐지 사이트에서 일반 Chrome으로 평가됩니다. 봇 탐지 테스트를 통과하는 소스 코드 수준의 Chromium 지문 커널입니다. JS 주입이 아니라 바이너리에 컴파일된 C++ 패치입니다.

ovobrowsersupport
⭐ 1,277 👤 ovobrowsersupport User 🕐 업데이트됨 2026-11-16 📅 생성됨 2026-08-23
193
raawaa/jav-scrapy

AV 자석 링크나 표지의 대량 수집을 위한 고생꾼

raawaa
⭐ 1,275 JavaScript 👤 raawaa User 🕐 업데이트됨 2026-10-17 📅 생성됨 2015-10-31
194
TaxyAI/browser-extension

GPT-4를 사용하여 브라우저 자동화

TaxyAI
⭐ 1,269 TypeScript 👤 TaxyAI Organization 🕐 업데이트됨 2025-01-15 📅 생성됨 2023-03-27
195
chromedp/examples

chromedp 코드 예제.

chromedp
⭐ 1,265 Go 👤 chromedp Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2017-12-26
196
Decodo/Decodo

HTTP(S)/SOCKS5 회전형 주거용 프록시 - 코드 예제 및 일반 정보.

Decodo
⭐ 1,264 Java 👤 Decodo Organization 🕐 업데이트됨 2026-11-11 📅 생성됨 2019-01-07
197
MarioVilas/googlesearch

Python에서 Google 검색 (비공식).

MarioVilas
⭐ 1,249 Python 👤 MarioVilas User 🕐 업데이트됨 2025-11-11 📅 생성됨 2012-10-22
198
kairi003/Get-cookies.txt-LOCALLY

cookies.txt를 가져오고, 외부로 정보를 절대 보내지 마십시오.

kairi003
⭐ 1,230 JavaScript 👤 kairi003 User 🕐 업데이트됨 2025-10-07 📅 생성됨 2023-03-01
199
mika-cn/maoxian-web-clipper

웹 페이지에서 정보를 클립하는 웹 확장 프로그램. 정보 무효화를 피하기 위해 로컬 머신에 저장하세요. 지루한 등록 없음, 요금 없음.

mika-cn
⭐ 1,230 JavaScript 👤 mika-cn User 🕐 업데이트됨 2026-08-23 📅 생성됨 2018-08-09
200
eooce/Auto-login-netlib

netlib.re 웹사이트 자동 로그인으로 도메인 활성 유지

eooce
⭐ 1,220 JavaScript 👤 eooce User 🕐 업데이트됨 2025-11-08 📅 생성됨 2025-11-06