Git Stars Git Stars

#scraping 저장소

109
총 리포지토리
768,143
총 별점
7,047
리포지토리당 평균 스타 수

저장소 총 109개

51
tinyfish-io/agentql

AgentQL은 AI를 웹에 연결하기 위한 도구 모음입니다. 요소를 상호 작용하고 데이터를 빠르고 정확하며 확장 가능하게 추출하기 위한 쿼리 언어 및 Playwright 통합 기능을 제공합니다. REST API, Python 및 JavaScript SDK, 브라우저 디버거를 포함합니다.

tinyfish-io
⭐ 1,510 Python 👤 tinyfish-io Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-02-20
52
rebrowser/rebrowser-patches

자동화 탐지 및 유출을 방지하는 puppeteer 및 playwright용 패치 모음입니다. Cloudflare 및 DataDome CAPTCHA 페이지를 피하는 데 도움이 됩니다. 패치/패치 해제가 용이하며 필요에 따라 활성화/비활성화할 수 있습니다.

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 업데이트됨 2026-11-02 📅 생성됨 2024-08-06
53
ScrapingBee/chatgpt-scraper-api

유효한 ChatGPT 스크래핑 API 자격 증명이 포함된 프롬프트를 전송하여 ChatGPT 스크래퍼에서 구조화된 응답을 수집합니다. 실시간 검색을 활성화하고, HTML 컨텍스트를 주입하고, 몇 가지 매개변수만으로 지능형 스크래퍼 ChatGPT 워크플로를 자동화합니다.

ScrapingBee
⭐ 1,465 👤 ScrapingBee Organization 🕐 업데이트됨 2026-07-15 📅 생성됨 2026-03-12
54
okfn-brasil/querido-diario

📰 브라질 공식 관보 모두에게 접근 가능 | 📰 브라질 정부 관보, 모두에게 접근 가능.

okfn-brasil
⭐ 1,424 Python 👤 okfn-brasil Organization 🕐 업데이트됨 2026-10-12 📅 생성됨 2018-04-01
55
feder-cr/invisible_puppeteer

안티봇 시스템이 감지할 수 없는 Python용 Puppeteer로, CAPTCHA가 표시되지 않습니다. 동일한 API, 탐지 방지 스텔스 헤드리스 Firefox, 감지되지 않는 핑거프린트, 봇 탐지 우회, 웹 스크래핑 및 브라우저 자동화를 지원합니다.

feder-cr
⭐ 1,403 Python 👤 feder-cr User 🕐 업데이트됨 2026-10-19 📅 생성됨 2024-09-01
56
raznem/parsera

LLM을 이용한 웹사이트 스크래핑을 위한 경량 라이브러리

raznem
⭐ 1,372 Python 👤 raznem User 🕐 업데이트됨 2025-12-17 📅 생성됨 2024-08-12
57
lorey/mlscraper

🤖 예시만 제공하여 HTML 웹사이트에서 데이터를 자동으로 스크랩하세요

lorey
⭐ 1,370 Python 👤 lorey User 🕐 업데이트됨 2024-03-17 📅 생성됨 2020-07-30
58
scrapy/parsel

Parsel은 XPath 또는 CSS 선택자를 사용하여 XML/HTML 문서에서 데이터를 추출할 수 있게 해줍니다

scrapy
⭐ 1,368 Python 👤 scrapy Organization 🕐 업데이트됨 2026-11-12 📅 생성됨 2015-04-24
59
mov-cli/mov-cli

터미널에서 모든 것을 시청하세요.

mov-cli
⭐ 1,313 Python 👤 mov-cli Organization 🕐 업데이트됨 2025-10-05 📅 생성됨 2022-03-11
60
daijro/browserforge

🎭 지능형 브라우저 헤더 및 지문 생성기

daijro
⭐ 1,298 Python 👤 daijro User 🕐 업데이트됨 2026-10-29 📅 생성됨 2024-03-13
61
plabayo/rama

네트워크 패킷을 이동 및 변환하는 모듈식 서비스 프레임워크

plabayo
⭐ 1,273 Rust 👤 plabayo Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2022-08-07
62
Decodo/Decodo

HTTP(S)/SOCKS5 회전형 주거용 프록시 - 코드 예제 및 일반 정보.

Decodo
⭐ 1,264 Java 👤 Decodo Organization 🕐 업데이트됨 2026-11-11 📅 생성됨 2019-01-07
63
neon-mmd/websurfx

:rocket: searx의 오픈 소스 대안으로, 현대적인 외관 :sparkles:, 번개처럼 빠른 :zap:, 개인 정보 보호 :disguised_face:, 안전한 :lock: 메타 검색 엔진을 제공합니다.

neon-mmd
⭐ 1,231 Rust 👤 neon-mmd User 🕐 업데이트됨 2026-11-06 📅 생성됨 2023-04-28
64
datawhores/OF-Scraper

원본 onlyfans-scraper를 기반으로 처음부터 새롭게 구상해 완전히 개선하고 재설계한 포크로, OnlyFans와 Fansly를 지원합니다.

datawhores
⭐ 1,219 Python 👤 datawhores User 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-03-22
65
germondai/trawl

자체 호스팅 스크래핑 엔진 — 모든 JS 챌린지 및 캡차 우회: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. FlareSolverr 및 Byparr의 대안이며 *arr 스택을 직접 대체할 수 있습니다.

germondai
⭐ 1,209 TypeScript 👤 germondai User 🕐 업데이트됨 2026-11-16 📅 생성됨 2026-06-26
66
AndyTheFactory/newspaper4k

📰 Newspaper4k - 사랑받는 Newspaper3k의 포크 버전입니다. 뉴스 웹사이트에서 기사, 제목, 메타데이터를 추출합니다.

AndyTheFactory
⭐ 1,170 Python 👤 AndyTheFactory User 🕐 업데이트됨 2026-11-01 📅 생성됨 2023-10-22
67
bellingcat/auto-archiver

Google 스프레드시트(및 기타)에서 동영상, 이미지, 소셜 미디어 콘텐츠 링크를 자동으로 보관합니다.

bellingcat
⭐ 1,158 Python 👤 bellingcat Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2021-01-15
68
soxoj/socid-extractor

⛏️ Maigret 뒤에 있는 추출 엔진: 모든 프로필 URL을 150개 이상의 사이트에서 구조화된 OSINT 기록으로 변환

soxoj
⭐ 1,143 Python 👤 soxoj User 🕐 업데이트됨 2026-11-20 📅 생성됨 2019-11-17
69
ai-to-ai/Auto-Gmail-Creator

Selenium & Seleniumwire (Python)를 사용한 오픈 소스 대량 자동 Gmail 생성 봇. Django/Flask, ML, AI, GPT, 자동화, 스크래핑에 대해 언제든지 문의해 주세요.

ai-to-ai
⭐ 1,138 Python 👤 ai-to-ai User 🕐 업데이트됨 2024-09-26 📅 생성됨 2023-02-20
70
scrapfly/scrapfly-scrapers

80개 이상의 인기 도메인을 위한 확장 가능한 Python 웹 스크래핑 스크립트

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-05-22
71
elixir-crawly/crawly

Crawly, Elixir를 위한 고급 웹 크롤링 및 스크래핑 프레임워크.

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2019-03-09
72
online-judge-tools/oj

다양한 온라인 저지용 도구. 샘플 케이스 다운로드, 추가 테스트 케이스 생성, 코드 테스트 및 제출.

online-judge-tools
⭐ 1,128 Python 👤 online-judge-tools Organization 🕐 업데이트됨 2024-05-03 📅 생성됨 2017-01-05
73
viu-media/viu

터미널에서 브라우저로 즐기는 애니메이션 경험

viu-media
⭐ 1,062 Python 👤 viu-media Organization 🕐 업데이트됨 2026-05-06 📅 생성됨 2024-05-27
74
jfilter/clean-text

🧹 텍스트 정리를 위한 파이썬 패키지

jfilter
⭐ 1,031 Python 👤 jfilter User 🕐 업데이트됨 2026-10-26 📅 생성됨 2018-12-06
75
daijro/hrequests

인간을 위한 웹 스크래핑

daijro
⭐ 976 Python 👤 daijro User 🕐 업데이트됨 2024-12-01 📅 생성됨 2023-07-06
76
Krasjet/pdf.tocgen

PDF 파일의 목차를 자동으로 생성하기 위한 CLI 툴셋.

Krasjet
⭐ 853 Python 👤 Krasjet User 🕐 업데이트됨 2026-05-13 📅 생성됨 2020-07-28
77
leoncvlt/loconotion

📄 Notion.so 페이지를 가볍고 사용자 정의 가능한 정적 웹사이트로 변환하는 Python 도구

leoncvlt
⭐ 853 Python 👤 leoncvlt User 🕐 업데이트됨 2024-07-22 📅 생성됨 2020-05-16
78
tiliondev/fortress

코드 한 줄만 변경하면 스크레이퍼와 브라우저 에이전트가 차단되지 않도록 해주는 스텔스 Chromium 엔진입니다.

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 업데이트됨 2026-11-03 📅 생성됨 2026-07-02
79
MorvanZhou/easy-scraping-tutorial

간단하지만 유용한 Python 웹 스크래핑 튜토리얼 코드.

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 업데이트됨 2024-04-07 📅 생성됨 2017-12-29
80
Lookyloo/lookyloo

Lookyloo는 사용자가 웹사이트 페이지를 캡처한 후 서로를 호출하는 도메인 트리를 표시할 수 있는 웹 인터페이스입니다.

Lookyloo
⭐ 790 Python 👤 Lookyloo Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2017-07-23
81
alpkeskin/rota

자동 IP 관리 및 실시간 상태 모니터링 기능을 갖춘 고성능 프록시 로테이션 엔진

alpkeskin
⭐ 775 Go 👤 alpkeskin User 🕐 업데이트됨 2026-09-25 📅 생성됨 2024-06-02
82
ZacharyHampton/HomeHarvest

부동산 데이터 스크래핑을 위한 Python 패키지

ZacharyHampton
⭐ 764 Python 👤 ZacharyHampton User 🕐 업데이트됨 2025-12-26 📅 생성됨 2023-09-15
83
serpapi/google-search-results-python

Google 검색 결과 via SERP API pip Python 패키지

serpapi
⭐ 762 Python 👤 serpapi Organization 🕐 업데이트됨 2026-08-18 📅 생성됨 2018-01-10
84
1broseidon/ketch

웹 검색 및 스크래핑을 위한 빠르고 상태 비저장 방식의 CLI. AI 에이전트를 위해 설계되었습니다.

1broseidon
⭐ 756 Go 👤 1broseidon User 🕐 업데이트됨 2026-11-19 📅 생성됨 2026-03-25
85
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ LinkedIn 프로필 스크래퍼, JSON 형식의 구조화된 프로필 데이터를 반환합니다.

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 업데이트됨 2024-04-05 📅 생성됨 2018-12-21
86
prescience-data/dark-knowledge

😈📚 탐지 방지 및 웹 프라이버시 애호가를 위한 연구 논문 및 프레젠테이션 큐레이션 라이브러리.

prescience-data
⭐ 715 JavaScript 👤 prescience-data User 🕐 업데이트됨 2024-02-19 📅 생성됨 2021-04-15
87
Yuvi9587/Kemono-Downloader

Kemono pawchive Downloader는 Kemono, Coomer, Bunkr, Erome, Saint2.su, nhentai, Discord 등 다양한 사이트의 콘텐츠를 보관하기 위한 빠른 PyQt5 앱입니다. 크리에이터 브라우저, 업데이트 확인 기능을 갖추고 있으며 멀티스레드 및 멀티파트 다운로드를 지원합니다. 세션을 일시 중지하거나 재개하거나 필터를 복구할 수 있습니다.

Yuvi9587
⭐ 675 Python 👤 Yuvi9587 User 🕐 업데이트됨 2026-11-12 📅 생성됨 2025-05-05
88
ScriptSmith/socialreaper

Facebook, Twitter, Reddit, YouTube, Pinterest 및 Tumblr API를 위한 소셜 미디어 스크래핑/데이터 수집 라이브러리

ScriptSmith
⭐ 668 Python 👤 ScriptSmith User 🕐 업데이트됨 2026-09-29 📅 생성됨 2017-01-31
89
Xonshiz/comic-dl

Comic-dl은 다양한 만화 및 만화 사이트에서 만화와 코믹스를 다운로드하기 위한 명령줄 도구입니다. 지원 사이트: readcomiconline.to, mangafox.me, comic naver 등 더 많은 사이트.

Xonshiz
⭐ 667 Python 👤 Xonshiz User 🕐 업데이트됨 2025-07-31 📅 생성됨 2016-11-13
90
freelawproject/juriscraper

미국 법원 웹사이트에서 메타데이터를 스크랩하는 API.

freelawproject
⭐ 664 HTML 👤 freelawproject Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2014-08-08
91
AnonCatalyst/Ominis-OSINT

이 Python 애플리케이션은 "Ominis OSINT - Web Hunter"라고 불리는 OSINT(오픈 소스 인텔리전스) 도구입니다. 사용자가 입력한 쿼리와 관련된 검색 결과를 Google에 쿼리하여 온라인 정보를 수집합니다. 이 도구는 제목, URL 및 결과에서 쿼리가 잠재적으로 언급된 부분과 같은 관련 정보를 추출합니다.

AnonCatalyst
⭐ 655 Python 👤 AnonCatalyst User 🕐 업데이트됨 2026-11-17 📅 생성됨 2023-10-09
92
gunkonchi/xscrape

X(Twitter)의 공개 데이터를 수집하는 비동기 Python 클라이언트입니다. 검색, 프로필, 스레드, 답글, 미디어를 지원합니다. 계정 자동 순환, 적응형 요청 속도 제한, JSON/CSV/SQLite 내보내기 기능을 제공합니다.

gunkonchi
⭐ 647 Python 👤 gunkonchi User 🕐 업데이트됨 2026-10-20 📅 생성됨 2026-09-26
93
lorey/social-media-profiles-regexs

:card_index: 정규 표현식을 사용한 소셜 미디어 프로필 및 기타 추출

lorey
⭐ 642 Python 👤 lorey User 🕐 업데이트됨 2024-01-11 📅 생성됨 2015-06-24
94
scrapfly/Antibot-Detector

안티봇 시스템, 캡차 및 핑거프린팅 기술을 실시간으로 탐지합니다. Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security 등을 식별하며 신뢰도 점수와 고급 캡처 도구를 제공합니다.

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2025-09-03
95
l4rm4nd/LinkedInDumper

LinkedIn API에서 회사 직원을 덤프/스크랩/추출하기 위한 Python 3 스크립트

l4rm4nd
⭐ 624 Python 👤 l4rm4nd User 🕐 업데이트됨 2026-08-21 📅 생성됨 2022-10-17
96
ksanjeev284/reddit-universal-scraper

Universal Reddit Scraper - 모든 서브레딧이나 사용자에게 작동

ksanjeev284
⭐ 620 Python 👤 ksanjeev284 User 🕐 업데이트됨 2026-10-22 📅 생성됨 2025-12-13
97
umihico/docker-selenium-lambda

AWS Lambda에서 Python 및 Selenium을 사용한 가장 간단한 Chrome 자동화 데모

umihico
⭐ 614 Dockerfile 👤 umihico User 🕐 업데이트됨 2026-11-12 📅 생성됨 2021-03-12
98
kr4ude/onlyfans-scraper

모든 Onlyfans 계정 등에서 미디어를 스크래핑할 수 있는 도구

kr4ude
⭐ 605 Python 👤 kr4ude User 🕐 업데이트됨 2025-11-25 📅 생성됨 2025-11-10
99
drudge/n8n-nodes-puppeteer

Puppeteer를 사용한 브라우저 자동화를 위한 n8n 노드

drudge
⭐ 589 TypeScript 👤 drudge User 🕐 업데이트됨 2026-05-08 📅 생성됨 2022-05-07
100
spekulatius/PHPScraper

PHP용 범용 웹 유틸리티입니다.

spekulatius
⭐ 588 PHP 👤 spekulatius User 🕐 업데이트됨 2026-09-08 📅 생성됨 2020-04-21