Git Stars Git Stars

#web-crawling 저장소

#web-crawling 태그가 지정된 GitHub의 활성 오픈 소스 저장소 38개를 확인해 보세요. 총 211,837개의 스타를 획득했으며 프로젝트당 평균 5,574개입니다. 이 주제를 이끄는 저장소는 87,627개의 스타를 받은 unclecode/crawl4ai입니다.

38
총 리포지토리
211,837
총 별점
5,574
리포지토리당 평균 스타 수

저장소 총 38개

1
unclecode/crawl4ai

공식 Crawl4AI Cloud: AI 에이전트를 위한 호스팅형 웹 스크래핑·추출·검색 API입니다. API 키는 무료이며 매월 1,000크레딧이 제공되고, 카드 등록도 필요 없습니다. 완전한 오픈 소스입니다. 이 저장소에는 서비스를 구동하는 Apache-2.0 크롤러가 포함되어 있으며, 직접 호스팅할 수도 있습니다.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-05-09
2
apify/crawlee

Crawlee—Node.js용 웹 스크래핑 및 브라우저 자동화 라이브러리로, 안정적인 크롤러를 구축할 수 있습니다. JavaScript와 TypeScript로 작성됨. AI, LLMs, RAG 또는 GPTs를 위한 데이터 추출. 웹사이트에서 HTML, PDF, JPG, PNG 및 기타 파일 다운로드. Puppeteer, Playwright, Cheerio, JSDOM, raw HTTP와 함께 작동. 헤드풀 및 헤드리스 모드 모두 지원. 프록시 로테이션 포함.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2016-08-26
3
lexmount/moli

AI 에이전트를 위한 최고의 헤드리스 브라우저. 가볍고 빠르며 높은 호환성. Rust로 구축

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-08-10
4
apify/crawlee-python

Crawlee는 신뢰할 수 있는 크롤러를 구축하기 위한 Python 웹 스크래핑 및 브라우저 자동화 라이브러리입니다. Pydantic AI를 통해 LLM으로 구조화된 데이터를 추출하거나, Stagehand를 사용해 자연어로 브라우저를 제어할 수 있습니다. BeautifulSoup, Parsel, Playwright 및 원시 HTTP를 지원합니다. HTML, PDF, 이미지 및 기타 파일을 다운로드할 수 있습니다. 프록시 로테이션 기능도 포함되어 있습니다.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-01-10
5
prerender/prerender

JavaScript-rendered 페이지를 HTML로 렌더링하기 위해 Headless Chrome을 사용하는 Node 서버. prerender 미들웨어와 함께 사용합니다.

prerender
⭐ 6,577 JavaScript 👤 prerender Organization 🕐 업데이트됨 2026-05-05 📅 생성됨 2013-09-26
6
MontFerret/ferret

구조화된 추출 워크플로를 위한 선언적 데이터 자동화 언어 및 Go 런타임.

MontFerret
⭐ 6,025 Go 👤 MontFerret Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2018-08-23
7
omkarcloud/botasaurus

무적의 스크래퍼를 구축하기 위한 올인원 프레임워크

omkarcloud
⭐ 5,857 TypeScript 👤 omkarcloud Organization 🕐 업데이트됨 2026-11-13 📅 생성됨 2023-05-09
8
google/robotstxt

이 저장소에는 Google의 robots.txt 파서와 매처가 C++ 라이브러리(C++11 준수)로 포함되어 있습니다.

google
⭐ 3,478 C++ 👤 google Organization 🕐 업데이트됨 2026-04-01 📅 생성됨 2019-06-11
9
CrawlScript/WebCollector

WebCollector는 Java 기반의 오픈 소스 웹 크롤러 프레임워크입니다. 웹을 크롤링하기 위한 몇 가지 간단한 인터페이스를 제공하며, 5분 이내에 멀티스레드 웹 크롤러를 설정할 수 있습니다.

CrawlScript
⭐ 3,073 Java 👤 CrawlScript Organization 🕐 업데이트됨 2026-02-10 📅 생성됨 2014-07-12
10
digininja/CeWL

CeWL은 맞춤형 단어 목록 생성기입니다

digininja
⭐ 2,896 Ruby 👤 digininja User 🕐 업데이트됨 2026-06-24 📅 생성됨 2016-04-22
11
brightdata/brightdata-mcp

공용 웹 액세스를 위한 올인원 솔루션을 제공하는 강력한 모델 컨텍스트 프로토콜(MCP) 서버입니다.

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2025-04-15
12
tavily-ai/tavily-mcp

실시간 검색, 추출, 매핑 및 크롤링 기능이 있는 프로덕션 준비 MCP 서버.

tavily-ai
⭐ 2,499 TypeScript 👤 tavily-ai Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2025-01-27
13
dataabc/weibo-search

Weibo 검색 결과 정보를 가져옵니다. 검색은 Weibo 키워드 검색 또는 Weibo 토픽 검색이 될 수 있습니다.

dataabc
⭐ 2,340 Python 👤 dataabc User 🕐 업데이트됨 2026-06-05 📅 생성됨 2020-03-25
14
coleam00/mcp-crawl4ai-rag

AI 에이전트 및 AI 코딩 도우미를 위한 웹 크롤링 및 RAG 기능

coleam00
⭐ 2,224 Python 👤 coleam00 User 🕐 업데이트됨 2025-07-25 📅 생성됨 2025-05-03
15
zhegexiaohuozi/SeimiCrawler

SpringBootをサポートする、シンプル、アジャイル、分散型のJavaクローラフレームワーク。アジャイルで分散型のクローラフレームワーク。

zhegexiaohuozi
⭐ 1,984 Java 👤 zhegexiaohuozi User 🕐 업데이트됨 2026-11-17 📅 생성됨 2015-11-06
16
firecrawl/fireplexity

🔥 Firecrawl 기반의 실시간 인용, 스트리밍 응답 및 라이브 데이터를 갖춘 혁신적인 오픈소스 Perplexity 스타일 AI 검색 엔진

firecrawl
⭐ 1,956 TypeScript 👤 firecrawl Organization 🕐 업데이트됨 2025-08-22 📅 생성됨 2025-06-19
17
DanMcInerney/xsscrapy

XSS 스파이더 - 66/66 wavsep XSS 감지됨

DanMcInerney
⭐ 1,731 Python 👤 DanMcInerney User 🕐 업데이트됨 2024-06-13 📅 생성됨 2014-06-23
18
xnl-h4ck3r/xnLinkFinder

특정 대상에 대한 엔드포인트, 잠재적 매개변수, 대상 전용 단어 목록 및 비밀을 발굴하는 데 사용되는 파이썬 도구입니다。

xnl-h4ck3r
⭐ 1,599 Python 👤 xnl-h4ck3r User 🕐 업데이트됨 2026-03-08 📅 생성됨 2022-04-14
19
submato/xhscrawl

샤오홍슈 데이터, XHS 데이터 수집, 샤오홍슈 리버스 엔지니어링, 샤오홍슈 XS 리버스 엔지니어링, 샤오홍슈 스크레이퍼, 샤오홍슈 데이터

submato
⭐ 1,533 👤 submato User 🕐 업데이트됨 2026-11-02 📅 생성됨 2023-07-05
20
ShilongLee/Crawler

도우인(a_bogus 최신 버전), 콰이쇼우, 빌리빌리, 샤오홍슈, 타오바오, 징동, 웨이보 등 플랫폼의 크롤링 오픈 소스 API 인터페이스 서버. Docker를 통한 원클릭 빠른 배포.

ShilongLee
⭐ 1,490 JavaScript 👤 ShilongLee User 🕐 업데이트됨 2026-10-19 📅 생성됨 2024-05-24
21
wummel/linkchecker

웹 문서 또는 전체 웹사이트의 링크 확인

wummel
⭐ 1,433 Python 👤 wummel User 🕐 업데이트됨 2024-11-07 📅 생성됨 2012-12-19
22
regenrek/deepwiki-mcp

📖 MCP 서버로 deepwiki.com을 가져와 Cursor 및 기타 코드 편집기에서 최신 지식 얻기

regenrek
⭐ 1,393 TypeScript 👤 regenrek User 🕐 업데이트됨 2026-03-20 📅 생성됨 2025-04-28
23
mvdbos/php-spider

구성 가능하고 확장 가능한 PHP 웹 스파이더

mvdbos
⭐ 1,338 PHP 👤 mvdbos User 🕐 업데이트됨 2026-11-02 📅 생성됨 2013-02-25
24
scrapinghub/frontera

웹 크롤러를 위한 확장 가능한 프런티어

scrapinghub
⭐ 1,329 Python 👤 scrapinghub Organization 🕐 업데이트됨 2025-06-06 📅 생성됨 2014-11-22
25
Darwin-lfl/langmanus

오픈 소스 커뮤니티의 놀라운 업적을 기반으로 구축된 커뮤니티 주도 AI 자동화 프레임워크입니다. 당사의 목표는 웹 검색, 크롤링 및 Python 코드 실행과 같은 작업을 위한 전문 도구와 언어 모델을 결합하여 이를 가능하게 한 커뮤니니티에 환원하는 것입니다.

Darwin-lfl
⭐ 1,317 👤 Darwin-lfl User 🕐 업데이트됨 2025-03-17 📅 생성됨 2025-03-18
26
harlan-zw/mdream

☁️ GitHub에서 가장 빠른 HTML에서 Markdown 변환기. LLM에 최적화되어 있으며 스트리밍을 지원합니다.

harlan-zw
⭐ 1,032 TypeScript 👤 harlan-zw User 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-04-16
27
changfengoss/pub

과학적 인터넷 접속 도구

changfengoss
⭐ 1,007 👤 changfengoss User 🕐 업데이트됨 2026-10-22 📅 생성됨 2021-08-30
28
tiliondev/fortress

코드 한 줄만 변경하면 스크레이퍼와 브라우저 에이전트가 차단되지 않도록 해주는 스텔스 Chromium 엔진입니다.

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 업데이트됨 2026-11-03 📅 생성됨 2026-07-02
29
hyperbrowserai/mcp

하이퍼 브라우저를 위한 MCP 서버 구현

hyperbrowserai
⭐ 795 TypeScript 👤 hyperbrowserai Organization 🕐 업데이트됨 2025-11-20 📅 생성됨 2025-02-25
30
rubycdp/vessel

빠른 고급 웹 크롤링 Ruby 프레임워크

rubycdp
⭐ 725 Ruby 👤 rubycdp Organization 🕐 업데이트됨 2026-11-03 📅 생성됨 2019-09-17
31
spatie/laravel-export

Laravel 앱에서 정적 사이트 번들 생성

spatie
⭐ 701 PHP 👤 spatie Organization 🕐 업데이트됨 2026-11-06 📅 생성됨 2019-03-18
32
muratcankoylan/AI-Investigator

Claude 3.5 Sonnet API와 Firecrawl을 사용하여 모든 유형의 웹사이트 콘텐츠를 분석하고 구조화된 보고서를 생성하도록 설계된 자동화된 AI 시스템(Python 프레임워크)입니다. 현재 기업 AI 사례 연구에 맞게 구성되어 있지만, 이 아키텍처는 다양한 콘텐츠 분석 요구에 맞게 조정될 수 있습니다.

muratcankoylan
⭐ 679 Python 👤 muratcankoylan User 🕐 업데이트됨 2024-11-05 📅 생성됨 2024-11-04
33
cxcscmu/Craw4LLM

"Craw4LLM: LLM 사전 훈련을 위한 효율적인 웹 크롤링" 공식 리포지토리

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 업데이트됨 2025-02-24 📅 생성됨 2025-02-17
34
ArchiveTeam/wpull

Wget 호환 웹 다운로더 및 크롤러.

ArchiveTeam
⭐ 595 HTML 👤 ArchiveTeam Organization 🕐 업데이트됨 2024-04-29 📅 생성됨 2013-12-07
35
unconv/gpt4v-browsing

GPT-4 Vision API와 Puppeteer를 이용한 웹 스크래핑

unconv
⭐ 563 JavaScript 👤 unconv User 🕐 업데이트됨 2024-01-31 📅 생성됨 2023-11-24
36
detectify/page-fetch

헤드리스 Chrome을 사용하여 JavaScript 파일을 포함한 모든 가져온 리소스를 저장합니다. 여러 웹 페이지에서 임의의 JavaScript를 실행하고 반환된 값을 확인합니다

detectify
⭐ 530 Go 👤 detectify Organization 🕐 업데이트됨 2026-07-03 📅 생성됨 2021-06-03
37
firecrawl/llmstxt-generator

🔥 모든 웹사이트에 대한 llms.txt 및 llms-full.txt 파일을 생성하세요!

firecrawl
⭐ 528 TypeScript 👤 firecrawl Organization 🕐 업데이트됨 2025-06-17 📅 생성됨 2024-11-19
38
brave-people/Dev-Event-Subscribe

🎉🎈 매주 메일로 받아보는 ≪ 📧 Dev Event 이메일 구독서비스 ≫

brave-people
⭐ 512 👤 brave-people Organization 🕐 업데이트됨 2024-06-07 📅 생성됨 2021-02-08

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #web-crawling 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #web-crawling 프로젝트는 87,627개의 스타를 받은 unclecode/crawl4ai입니다. 공식 Crawl4AI Cloud: AI 에이전트를 위한 호스팅형 웹 스크래핑·추출·검색 API입니다. API 키는 무료이며 매월 1,000크레딧이 제공되고, 카드 등록도 필요 없습니다. 완전한 오픈 소스입니다. 이 저장소에는 서비스를 구동하는 Apache-2.0 크롤러가 포함되어 있으며, 직접 호스팅할 수도 있습니다.

2

#web-crawling 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #web-crawling 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, TypeScript, JavaScript, Go입니다.

3

#web-crawling 저장소 순위는 어떻게 계산되나요?

#web-crawling 태그가 지정된 활성 오픈 소스 저장소(38개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 211,837개이며 저장소당 평균 5,574개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.