Git Stars Git Stars

#crawling 저장소

#crawling 태그가 지정된 GitHub의 활성 오픈 소스 저장소 39개를 확인해 보세요. 총 335,438개의 스타를 획득했으며 프로젝트당 평균 8,600개입니다. 이 주제를 이끄는 저장소는 104,760개의 스타를 받은 D4Vinci/Scrapling입니다.

39
총 리포지토리
335,438
총 별점
8,600
리포지토리당 평균 스타 수

저장소 총 39개

1
D4Vinci/Scrapling

🕷️ 단일 요청부터 대규모 크롤링까지 모든 작업을 처리하는 최고의 웹 스크래핑 프레임워크! 망설이지 말고 여기에서 참여하세요: https://discord.gg/EMgGbDceNQ 매일 유용한 팁과 요령을 보려면 여기에서 팔로우하세요: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 업데이트됨 2026-11-17 📅 생성됨 2024-10-13
2
scrapy/scrapy

Scrapy, Python을 위한 빠르고 고급 웹 크롤링 및 스크래핑 프레임워크.

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2010-02-22
3
apify/crawlee

Crawlee—Node.js용 웹 스크래핑 및 브라우저 자동화 라이브러리로, 안정적인 크롤러를 구축할 수 있습니다. JavaScript와 TypeScript로 작성됨. AI, LLMs, RAG 또는 GPTs를 위한 데이터 추출. 웹사이트에서 HTML, PDF, JPG, PNG 및 기타 파일 다운로드. Puppeteer, Playwright, Cheerio, JSDOM, raw HTTP와 함께 작동. 헤드풀 및 헤드리스 모드 모두 지원. 프록시 로테이션 포함.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2016-08-26
4
gocolly/colly

Golang을 위한 우아한 스크래퍼 및 크롤러 프레임워크

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 업데이트됨 2026-10-16 📅 생성됨 2017-09-29
5
getmaxun/maxun

모든 웹사이트를 구조화된 API로 변환하세요. 웹을 추출하고, 자동화하고, 검색하고, 모니터링하세요.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2023-10-23
6
codelucas/newspaper

newspaper3k는 Python 3의 뉴스, 전체 텍스트 및 기사 메타데이터 추출 도구입니다. 고급 문서:

codelucas
⭐ 15,192 Python 👤 codelucas User 🕐 업데이트됨 2026-10-26 📅 생성됨 2013-11-25
7
apify/crawlee-python

Crawlee는 신뢰할 수 있는 크롤러를 구축하기 위한 Python 웹 스크래핑 및 브라우저 자동화 라이브러리입니다. Pydantic AI를 통해 LLM으로 구조화된 데이터를 추출하거나, Stagehand를 사용해 자연어로 브라우저를 제어할 수 있습니다. BeautifulSoup, Parsel, Playwright 및 원시 HTTP를 지원합니다. HTML, PDF, 이미지 및 기타 파일을 다운로드할 수 있습니다. 프록시 로테이션 기능도 포함되어 있습니다.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-01-10
8
lorien/awesome-web-scraping

웹 스크래핑 및 데이터 처리용 라이브러리, 도구 및 API 목록.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 업데이트됨 2026-11-21 📅 생성됨 2015-08-12
9
go-rod/rod

웹 자동화 및 스크래핑을 위한 Chrome DevTools Protocol 드라이버.

go-rod
⭐ 7,160 Go 👤 go-rod Organization 🕐 업데이트됨 2026-08-11 📅 생성됨 2020-01-21
10
exa-labs/exa-mcp-server

웹 검색 및 웹 크롤링을 위한 Exa MCP!

exa-labs
⭐ 5,250 TypeScript 👤 exa-labs Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-11-27
11
hakluke/hakrawler

웹 애플리케이션 내 엔드포인트와 자산을 쉽게, 빠르게 발견하기 위해 설계된 간단하고 빠른 웹 크롤러

hakluke
⭐ 5,171 Go 👤 hakluke User 🕐 업데이트됨 2026-08-05 📅 생성됨 2019-12-15
12
ai-robots-txt/ai.robots.txt

차단할 AI 에이전트 및 로봇 목록입니다.

ai-robots-txt
⭐ 4,265 Python 👤 ai-robots-txt Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2024-03-27
13
hardkoded/puppeteer-sharp

헤드리스 크롬 .NET API

hardkoded
⭐ 3,936 C# 👤 hardkoded Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2017-09-30
14
edoardottt/cariddi

도메인 목록을 가져와 URL을 크롤링하고 엔드포인트, 비밀, API 키, 파일 확장자, 토큰 등을 검색합니다.

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 업데이트됨 2026-11-19 📅 생성됨 2021-04-27
15
apache/nutch

Apache Nutch는 확장 가능하고 확장 가능한 웹 크롤러입니다

apache
⭐ 3,311 Java 👤 apache Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2009-05-21
16
transitive-bullshit/awesome-puppeteer

훌륭한 Puppeteer 자원들의 큐레이션된 목록.

transitive-bullshit
⭐ 2,528 👤 transitive-bullshit User 🕐 업데이트됨 2024-07-19 📅 생성됨 2018-05-07
17
lorien/grab

웹 스크래핑 프레임워크

lorien
⭐ 2,461 Python 👤 lorien User 🕐 업데이트됨 2025-09-19 📅 생성됨 2013-05-01
18
NateScarlet/holiday-cn

📅🇨🇳 중국 법정 공휴일 데이터 자동 매일 국무원 공고 수집

NateScarlet
⭐ 2,293 Python 👤 NateScarlet User 🕐 업데이트됨 2026-11-21 📅 생성됨 2019-03-05
19
zorlan/skycaiji

Blue Sky Collector는 규칙을 클릭하고 편집하기만 하면 데이터를 수집할 수 있는 오픈 소스 무료 크롤러 시스템으로, 로컬, 가상 호스트 또는 클라우드 서버에서 실행할 수 있으며 거의 모든 유형의 웹페이지를 수집할 수 있습니다. 다양한 CMS 웹 구축 프로그램과 원활하게 통합되며, 로그인 없이 실시간으로 데이터를 게시하고 완벽하게 자동화되어 수동 개입이 필요 없습니다! 웹 빅데이터 수집 소프트웨어의 완전한 크로스 플랫폼 클라우드 크롤러 시스템입니다.

zorlan
⭐ 2,098 PHP 👤 zorlan User 🕐 업데이트됨 2026-10-07 📅 생성됨 2018-02-26
20
rebrowser/rebrowser-patches

자동화 탐지 및 유출을 방지하는 puppeteer 및 playwright용 패치 모음입니다. Cloudflare 및 DataDome CAPTCHA 페이지를 피하는 데 도움이 됩니다. 패치/패치 해제가 용이하며 필요에 따라 활성화/비활성화할 수 있습니다.

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 업데이트됨 2026-11-02 📅 생성됨 2024-08-06
21
roach-php/core

PHP를 위한 완벽한 웹 스크래핑 툴킷입니다.

roach-php
⭐ 1,456 PHP 👤 roach-php Organization 🕐 업데이트됨 2025-10-27 📅 생성됨 2021-08-17
22
lorey/mlscraper

🤖 예시만 제공하여 HTML 웹사이트에서 데이터를 자동으로 스크랩하세요

lorey
⭐ 1,370 Python 👤 lorey User 🕐 업데이트됨 2024-03-17 📅 생성됨 2020-07-30
23
webrecorder/browsertrix-crawler

단일 Docker 컨테이너에서 고충실도 브라우저 기반 웹 아카이빙 크롤러 실행

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2020-11-02
24
needleworm/bhban_rpa

<6개월 치 업무를 하루 만에 끝내는 업무 자동화(생능출판사, 2020)>의 예제 코드입니다. 파이썬을 한 번도 배워본 적 없는 분들을 위한 예제이며, 엑셀부터 디자인, 매크로, 크롤링까지 업무 자동화와 관련된 다양한 분야 예제가 제공됩니다.

needleworm
⭐ 1,153 Python 👤 needleworm User 🕐 업데이트됨 2026-10-25 📅 생성됨 2020-02-11
25
dondai44423/donsetch

AI 에이전트를 위한 웹 페치, 검색 및 크롤링. Rust로 기초부터 제작. 키 불필요, 계정 불필요. AGPL v3.

dondai44423
⭐ 1,138 Rust 👤 dondai44423 User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-08-07
26
scrapfly/scrapfly-scrapers

80개 이상의 인기 도메인을 위한 확장 가능한 Python 웹 스크래핑 스크립트

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-05-22
27
elixir-crawly/crawly

Crawly, Elixir를 위한 고급 웹 크롤링 및 스크래핑 프레임워크.

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2019-03-09
28
janreges/siteone-crawler

SiteOne Crawler는 SEO, 보안, 접근성 및 성능 최적화를 위한 크로스 플랫폼 웹사이트 크롤러 및 분석기이며 개발자, DevOps, QA 엔지니어 및 컨설턴트에게 이상적입니다. Windows, macOS 및 Linux(x64 및 arm64)를 지원합니다.

janreges
⭐ 1,019 Rust 👤 janreges User 🕐 업데이트됨 2026-09-27 📅 생성됨 2023-10-04
29
clemfromspace/scrapy-selenium

Selenium을 사용하여 JavaScript 페이지를 처리하기 위한 Scrapy 미들웨어

clemfromspace
⭐ 950 Python 👤 clemfromspace User 🕐 업데이트됨 2026-04-13 📅 생성됨 2018-02-11
30
mishakorzik/AdminHack

오늘 우리는 이 사이트의 관리자 패널을 해킹할 것입니다.

mishakorzik
⭐ 932 Shell 👤 mishakorzik User 🕐 업데이트됨 2026-09-10 📅 생성됨 2021-05-16
31
scrapinghub/scrapyrt

Scrapy 스파이더용 HTTP API

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 업데이트됨 2026-10-13 📅 생성됨 2015-01-06
32
StJudeWasHere/seonaut

오픈 소스 SEO 감사 도구.

StJudeWasHere
⭐ 873 Go 👤 StJudeWasHere User 🕐 업데이트됨 2026-10-08 📅 생성됨 2022-03-02
33
MorvanZhou/easy-scraping-tutorial

간단하지만 유용한 Python 웹 스크래핑 튜토리얼 코드.

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 업데이트됨 2024-04-07 📅 생성됨 2017-12-29
34
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ LinkedIn 프로필 스크래퍼, JSON 형식의 구조화된 프로필 데이터를 반환합니다.

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 업데이트됨 2024-04-05 📅 생성됨 2018-12-21
35
lumpinif/deepcrawl

100% 무료이며 완전 오픈소스 Firecrawl edge 대안으로, 에이전트를 위한 더 나은 링크 추출 기능 - Cloudflare나 Vercel에 직접 배포할 수 있습니다.

lumpinif
⭐ 704 TypeScript 👤 lumpinif User 🕐 업데이트됨 2026-08-24 📅 생성됨 2025-05-22
36
cxcscmu/Craw4LLM

"Craw4LLM: LLM 사전 훈련을 위한 효율적인 웹 크롤링" 공식 리포지토리

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 업데이트됨 2025-02-24 📅 생성됨 2025-02-17
37
l4rm4nd/LinkedInDumper

LinkedIn API에서 회사 직원을 덤프/스크랩/추출하기 위한 Python 3 스크립트

l4rm4nd
⭐ 624 Python 👤 l4rm4nd User 🕐 업데이트됨 2026-08-21 📅 생성됨 2022-10-17
38
scrapinghub/spidermon

스파이더 실행을 모니터링하기 위한 Scrapy 확장.

scrapinghub
⭐ 563 Python 👤 scrapinghub Organization 🕐 업데이트됨 2026-10-20 📅 생성됨 2015-11-17
39
zhuyingda/webster

Node.js를 위한 신뢰할 수 있는 고급 웹 크롤링 및 스크래핑 프레임워크.

zhuyingda
⭐ 560 JavaScript 👤 zhuyingda User 🕐 업데이트됨 2025-03-12 📅 생성됨 2017-11-04

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #crawling 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #crawling 프로젝트는 104,760개의 스타를 받은 D4Vinci/Scrapling입니다. 🕷️ 단일 요청부터 대규모 크롤링까지 모든 작업을 처리하는 최고의 웹 스크래핑 프레임워크! 망설이지 말고 여기에서 참여하세요: https://discord.gg/EMgGbDceNQ 매일 유용한 팁과 요령을 보려면 여기에서 팔로우하세요: https://x.com/Scrapling_dev

2

#crawling 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #crawling 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, TypeScript, Go, JavaScript입니다.

3

#crawling 저장소 순위는 어떻게 계산되나요?

#crawling 태그가 지정된 활성 오픈 소스 저장소(39개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 335,438개이며 저장소당 평균 8,600개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.