Git Stars Git Stars

#web-scraping 저장소

381
총 리포지토리
2.1M
총 별점
5,636
리포지토리당 평균 스타 수

저장소 총 382개

301
z0m31en7/Uscrapper

Uscrapper Vanta: 이 강력한 오픈 소스 도구로 웹을 더 깊이 탐색하십시오. 표면 웹 및 딥 웹 소스 모두에서 귀중한 통찰력을 쉽고 효율적으로 추출하십시오. Vanta의 고급 기능으로 데이터 마이닝 및 분석을 강화하십시오. 빠르고 안정적이며 사용자 친화적인 Uscrapper Vanta는 연구원 및 분석가를 위한 최고의 선택입니다.

z0m31en7
⭐ 740 Python 👤 z0m31en7 User 🕐 업데이트됨 2024-11-24 📅 생성됨 2023-05-31
302
djadmin/medium-cli

해커를 위한 Medium - :computer: Medium 스토리를 위한 CLI.

djadmin
⭐ 735 JavaScript 👤 djadmin User 🕐 업데이트됨 2026-02-13 📅 생성됨 2016-01-21
303
drawrowfly/amazon-product-api

Amazon 스크래퍼. Amazon 검색 결과에서 제품을 스크랩하거나 특정 제품의 리뷰를 스크랩하세요

drawrowfly
⭐ 734 JavaScript 👤 drawrowfly User 🕐 업데이트됨 2024-07-05 📅 생성됨 2019-10-06
304
ScrapeGraphAI/scrapecraft

시각적 워크플로우 빌더를 갖춘 AI 기반 웹 스크레이핑 편집기. 자연어를 사용하여 웹 스크레이퍼를 구축, 테스트 및 배포합니다. ScrapeGraphAI 및 LangGraph 기반.

ScrapeGraphAI
⭐ 731 Python 👤 ScrapeGraphAI Organization 🕐 업데이트됨 2025-12-26 📅 생성됨 2025-07-01
305
rubycdp/vessel

빠른 고급 웹 크롤링 Ruby 프레임워크

rubycdp
⭐ 725 Ruby 👤 rubycdp Organization 🕐 업데이트됨 2026-11-03 📅 생성됨 2019-09-17
306
MorganZhang100/zhihu-spider

zhihu.com용 웹 스파이더

MorganZhang100
⭐ 725 Python 👤 MorganZhang100 User 🕐 업데이트됨 2024-01-17 📅 생성됨 2015-02-22
307
lzjun567/python_scripts

일부 Python 관련 데모 코드

lzjun567
⭐ 715 HTML 👤 lzjun567 User 🕐 업데이트됨 2024-07-21 📅 생성됨 2017-02-07
308
lhccong/fish-island-backend

모구섬🎣 백엔드 웹 크롤링 ➕ Netty ➕ SpringBoot ➕Redis➕ MySQL 기반 오픈 소스🌟 원스톱 모구 웹사이트

lhccong
⭐ 710 Java 👤 lhccong User 🕐 업데이트됨 2026-11-18 📅 생성됨 2025-02-20
309
kovidgoyal/html5-parser

Python을 위한 빠른 C 기반 HTML 5 파싱

kovidgoyal
⭐ 710 C 👤 kovidgoyal User 🕐 업데이트됨 2026-09-20 📅 생성됨 2017-06-03
310
lumpinif/deepcrawl

100% 무료이며 완전 오픈소스 Firecrawl edge 대안으로, 에이전트를 위한 더 나은 링크 추출 기능 - Cloudflare나 Vercel에 직접 배포할 수 있습니다.

lumpinif
⭐ 704 TypeScript 👤 lumpinif User 🕐 업데이트됨 2026-08-24 📅 생성됨 2025-05-22
311
maaaaz/webscreenshot

웹사이트 목록을 스크린샷하는 간단한 스크립트

maaaaz
⭐ 696 Python 👤 maaaaz User 🕐 업데이트됨 2025-10-19 📅 생성됨 2014-01-12
312
only-cli/oc

모든 웹사이트를 AI 에이전트에 맞춘 컴팩트한 CLI로 변환하세요. 수만 개의 토큰이 아닌 수백 개의 토큰으로 웹을 탐색할 수 있습니다.

only-cli
⭐ 694 JavaScript 👤 only-cli User 🕐 업데이트됨 2026-11-17 📅 생성됨 2026-08-18
313
firecrawl/cli

Firecrawl CLI 및 에이전트 기능: 터미널이나 모든 코딩 에이전트에서 웹을 검색하고 스크래핑하며 상호작용할 수 있습니다. 또한 파싱, 크롤링, 사이트 맵 생성과 Agent 및 Monitor 기능도 제공합니다. Firecrawl은 AI 에이전트를 위한 컨텍스트 API입니다.

firecrawl
⭐ 694 TypeScript 👤 firecrawl Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2026-01-07
314
karpathy/hn-time-capsule

LLM을 사용하여 10년 전 Hacker News 토론을 사후적으로 분석하기

karpathy
⭐ 693 Python 👤 karpathy User 🕐 업데이트됨 2025-12-10 📅 생성됨 2025-12-10
315
xiaosimao/IP_POOL

무료 IP 프록시 풀

xiaosimao
⭐ 686 Python 👤 xiaosimao User 🕐 업데이트됨 2025-09-15 📅 생성됨 2017-09-22
316
perkeep/gphotos-cdp

이 프로그램은 Chrome DevTools Protocol을 사용하여 Google Photos에 저장된 사진을 다운로드하는 Chrome 세션을 구동합니다.

perkeep
⭐ 683 Go 👤 perkeep Organization 🕐 업데이트됨 2024-06-30 📅 생성됨 2019-08-08
317
yixiu001/Free-SS-NODES

무료 SS 노드 가져오기

yixiu001
⭐ 681 👤 yixiu001 User 🕐 업데이트됨 2024-11-11 📅 생성됨 2024-11-11
318
everyinfra/everyinfra-agent-plugins

EveryInfra MCP 서버 및 에이전트 플러그인: TikTok, Instagram, Amazon, YouTube, 샤오홍슈 및 더우인용 스크래핑 API. 106개 플랫폼에서 612개의 데이터 API를 1,000회 호출당 0.56달러부터 이용할 수 있습니다. Claude Code, Cursor, Codex용.

everyinfra
⭐ 672 Python 👤 everyinfra Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-09-01
319
firecrawl/open-researcher

🔥 실시간 사고를 표시하고 스플릿뷰 분석을 제공하며 Claude와 Firecrawl을 사용하여 자동 인용을 수행하는 시각적 AI 연구 보조자

firecrawl
⭐ 667 TypeScript 👤 firecrawl Organization 🕐 업데이트됨 2025-07-02 📅 생성됨 2025-06-27
320
wimglenn/advent-of-code-data

단일 import 문으로 Advent of Code 데이터를 가져오세요

wimglenn
⭐ 666 Python 👤 wimglenn User 🕐 업데이트됨 2026-08-01 📅 생성됨 2016-12-03
321
oxylabs/Agent-browser

원격 클라우드 세션을 통해 복잡한 자동화 스크립트를 실행하세요. 통합된 주거용 프록시, 자동 CAPTCHA 해결, 가장 까다로운 동적 웹사이트를 위한 네이티브 JavaScript 렌더링 기능을 제공합니다.

oxylabs
⭐ 663 👤 oxylabs Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2026-04-17
322
adamschwartz/web.scraper.workers.dev

CSS 선택자를 사용하여 웹사이트에서 텍스트를 스크래핑합니다.

adamschwartz
⭐ 658 JavaScript 👤 adamschwartz User 🕐 업데이트됨 2024-02-14 📅 생성됨 2019-10-10
323
asmcos/requests

Golang HTTP 클라이언트 라이브러리. Python requests에 경의를 표합니다.

asmcos
⭐ 656 Go 👤 asmcos User 🕐 업데이트됨 2026-10-09 📅 생성됨 2018-08-27
324
yanzhou/CnkiSpider

중국 국가 지식 기반 크롤러

yanzhou
⭐ 653 Python 👤 yanzhou User 🕐 업데이트됨 2025-03-08 📅 생성됨 2014-11-05
325
11firefly11/fir-proxy

회전 프록시가 있는 그래픽 프록시 풀 프로그램

11firefly11
⭐ 650 Python 👤 11firefly11 User 🕐 업데이트됨 2025-12-04 📅 생성됨 2025-07-22
326
KNKPA/KNKPAnime

KNKPAnime: 다중 에피소드 소스와 탄막을 지원하는 애니메이션 시청 소프트웨어.

KNKPA
⭐ 648 Dart 👤 KNKPA Organization 🕐 업데이트됨 2025-02-01 📅 생성됨 2024-04-20
327
Threezh1/SiteCopy

sitecopy는 개인 웹사이트 백업과 네트워크 데이터 수집을 용이하게 하는 도구입니다

Threezh1
⭐ 647 Python 👤 Threezh1 User 🕐 업데이트됨 2024-01-21 📅 생성됨 2019-12-12
328
ScrapingBee/google-hotels-api

Google Hotels API 통합으로 가격, 예약 가능 여부, 평점, 예약 제공업체를 포함한 호텔 데이터 스크래핑을 자동화합니다.

ScrapingBee
⭐ 645 👤 ScrapingBee Organization 🕐 업데이트됨 2026-04-08 📅 생성됨 2026-04-08
⭐ 640 CSS 👤 dreamsofcode-io Organization 🕐 업데이트됨 2024-08-04 📅 생성됨 2024-07-26
330
cfinke/EpsteOut

당신의 LinkedIn 연결 중 에프스틴 파일에 등장하는 사람을 확인하세요.

cfinke
⭐ 638 Python 👤 cfinke User 🕐 업데이트됨 2026-10-17 📅 생성됨 2026-02-04
331
lzjqsdd/NewsSpider

오늘의 헤드라인, 네이트, 텐센트 등의 뉴스를 크롤링하고 간단한 검색 엔진을 구축

lzjqsdd
⭐ 638 Python 👤 lzjqsdd User 🕐 업데이트됨 2024-05-14 📅 생성됨 2016-04-19
332
scrapfly/Antibot-Detector

안티봇 시스템, 캡차 및 핑거프린팅 기술을 실시간으로 탐지합니다. Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security 등을 식별하며 신뢰도 점수와 고급 캡처 도구를 제공합니다.

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2025-09-03
333
ohyicong/Google-Image-Scraper

Google 이미지 스크랩 라이브러리

ohyicong
⭐ 636 Python 👤 ohyicong User 🕐 업데이트됨 2025-02-16 📅 생성됨 2020-07-18
335
deedy5/primp

웹 브라우저를 가장할 수 있는 HTTP 클라이언트

deedy5
⭐ 634 Rust 👤 deedy5 User 🕐 업데이트됨 2026-09-13 📅 생성됨 2024-04-12
336
achuthasubhash/Complete-Life-Cycle-of-a-Data-Science-Project

데이터 과학 프로젝트의 전체 수명 주기

achuthasubhash
⭐ 631 👤 achuthasubhash User 🕐 업데이트됨 2024-06-07 📅 생성됨 2020-09-02
337
eliemichel/LilySurfaceScraper

Blender에서 단일 URL로부터 셰이더와 환경 가져오기

eliemichel
⭐ 625 Cython 👤 eliemichel User 🕐 업데이트됨 2026-06-19 📅 생성됨 2019-04-28
338
super-l/superl-url

키워드를 기반으로 검색 엔진 콘텐츠 검색 결과의 URL 콘텐츠를 수집하는 프로그램입니다. 여러 검색 엔진에서 관련 웹사이트의 실제 주소와 제목 등의 정보를 자동으로 수집할 수 있으며, 파일로 저장하고 중복 URL을 자동으로 제거합니다. 동시에 여러 도메인을 사용자 정의로 무시할 수도 있습니다.

super-l
⭐ 621 Python 👤 super-l User 🕐 업데이트됨 2025-04-12 📅 생성됨 2017-08-03
339
Lofter1/anyflip-downloader

anyflip 책을 PDF로 다운로드

Lofter1
⭐ 619 Go 👤 Lofter1 User 🕐 업데이트됨 2026-11-16 📅 생성됨 2023-02-05
340
chenluda/zhihu-download

지후 칼럼 게시물을 마크다운 파일로 변환하여 로컬에 저장하기

chenluda
⭐ 613 Python 👤 chenluda User 🕐 업데이트됨 2025-03-21 📅 생성됨 2023-05-12
341
liuda30201/AI-Coding

AI 프로그래밍 혜택 안내: Claude Code, Codex, Cursor 중계 서비스와 공익 사이트를 모아 무료 사용량, 가입 혜택, 출석 이벤트, 리뷰 기록을 정리하고 시각화 대시보드와 Python 데이터 수집 도구를 제공합니다.

liuda30201
⭐ 611 HTML 👤 liuda30201 User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-10-15
342
alchaincyf/huashu-chrome

어떤 AI 에이전트든 내 Chrome을 제어할 수 있습니다. 로그인 상태도 그대로 유지됩니다. MCP + Chrome 확장 프로그램으로 Claude Code / Codex / Cursor / Gemini CLI와 호환됩니다.

alchaincyf
⭐ 609 JavaScript 👤 alchaincyf User 🕐 업데이트됨 2026-11-15 📅 생성됨 2026-08-26
343
testusyd/douyin_downloader

도우인 복주머니 캡슐 토이, 도우인 복주머니 획득 도구, 여가 시간에 VC++로 직접 작성했으며, 기타 몇 가지 작은 기능도 포함되어 있습니다. 도우인 워터마크 없는 동영상 다운로더, 도우인 라이브 스트림 녹화 다운로더, 도우인 일괄 팔로우 취소 도구

testusyd
⭐ 605 👤 testusyd User 🕐 업데이트됨 2026-03-08 📅 생성됨 2025-05-22
344
ThinkerWen/TicketMonitoring

보리, 고양이 눈, Fenwan Island, Ticket Planet, 콘서트 복귀 티켓 모니터링

ThinkerWen
⭐ 605 Python 👤 ThinkerWen User 🕐 업데이트됨 2025-01-24 📅 생성됨 2023-10-22
345
lunnar211/HackFacebokpass

터뮤크스를 이용한 페이스북 해킹. 이 도구는 TecnicalDipesh에 의해 코딩되었습니다. 어떤 페이스북 ID와 비밀번호도 덤프할 수 있습니다.

lunnar211
⭐ 603 Python 👤 lunnar211 User 🕐 업데이트됨 2026-03-26 📅 생성됨 2019-11-11
346
web-agent-master/google-search

검색 엔진의 안티 스크래핑 메커니즘을 우회하여 Google 검색을 실행하는 Playwright 기반 Node.js 도구. MCP 서버 통합을 갖춘 SERP API의 로컬 대안입니다.

web-agent-master
⭐ 598 TypeScript 👤 web-agent-master Organization 🕐 업데이트됨 2025-04-06 📅 생성됨 2025-03-04
347
jiuzhi-1/meituan-shenquan

메이투안 매일 신의 쿠폰 지역 활동 자동화 스크립트

jiuzhi-1
⭐ 595 Python 👤 jiuzhi-1 User 🕐 업데이트됨 2024-05-08 📅 생성됨 2021-10-15
348
ytdl-org/ytdl-nightly

youtube-dl용 야간 빌드.

ytdl-org
⭐ 593 Python 👤 ytdl-org Organization 🕐 업데이트됨 2026-11-06 📅 생성됨 2023-07-02
349
shaikhsajid1111/social-media-profile-scrapers

소셜 미디어 전반의 사용자 데이터 가져오기

shaikhsajid1111
⭐ 588 Python 👤 shaikhsajid1111 User 🕐 업데이트됨 2026-09-15 📅 생성됨 2020-04-26
350
spekulatius/PHPScraper

PHP용 범용 웹 유틸리티입니다.

spekulatius
⭐ 588 PHP 👤 spekulatius User 🕐 업데이트됨 2026-09-08 📅 생성됨 2020-04-21