Git Stars Git Stars

#web-crawler 저장소

#web-crawler 태그가 지정된 GitHub의 활성 오픈 소스 저장소 39개를 확인해 보세요. 총 470,005개의 스타를 획득했으며 프로젝트당 평균 12,051개입니다. 이 주제를 이끄는 저장소는 204,793개의 스타를 받은 firecrawl/firecrawl입니다.

39
총 리포지토리
470,005
총 별점
12,051
리포지토리당 평균 스타 수

저장소 총 39개

1
firecrawl/firecrawl

에이전트를 더 똑똑하게 만드는 지식 인프라. 하나의 API로 검색, 스크래핑, 550개 이상의 데이터 제공업체를 이용하세요.

firecrawl
⭐ 204,793 TypeScript 👤 firecrawl Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-04-15
2
unclecode/crawl4ai

공식 Crawl4AI Cloud: AI 에이전트를 위한 호스팅형 웹 스크래핑·추출·검색 API입니다. API 키는 무료이며 매월 1,000크레딧이 제공되고, 카드 등록도 필요 없습니다. 완전한 오픈 소스입니다. 이 저장소에는 서비스를 구동하는 Apache-2.0 크롤러가 포함되어 있으며, 직접 호스팅할 수도 있습니다.

unclecode
⭐ 87,593 Python 👤 unclecode User 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-05-09
3
ScrapeGraphAI/Scrapegraph-ai

AI 기반 Python 스크래퍼

ScrapeGraphAI
⭐ 32,868 Python 👤 ScrapeGraphAI Organization 🕐 업데이트됨 2026-10-06 📅 생성됨 2024-01-27
4
apify/crawlee

Crawlee—Node.js용 웹 스크래핑 및 브라우저 자동화 라이브러리로, 안정적인 크롤러를 구축할 수 있습니다. JavaScript와 TypeScript로 작성됨. AI, LLMs, RAG 또는 GPTs를 위한 데이터 추출. 웹사이트에서 HTML, PDF, JPG, PNG 및 기타 파일 다운로드. Puppeteer, Playwright, Cheerio, JSDOM, raw HTTP와 함께 작동. 헤드풀 및 헤드리스 모드 모두 지원. 프록시 로테이션 포함.

apify
⭐ 26,505 TypeScript 👤 apify Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2016-08-26
5
lexmount/moli

AI 에이전트를 위한 최고의 헤드리스 브라우저. 가볍고 빠르며 높은 호환성. Rust로 구축

lexmount
⭐ 24,130 Rust 👤 lexmount Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-08-10
6
crawlab-team/crawlab

언어와 프레임워크에 관계없이 스파이더 관리를 위한 분산 웹 크롤러 관리 플랫폼. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 업데이트됨 2026-02-10 📅 생성됨 2019-02-10
7
apify/crawlee-python

Crawlee는 신뢰할 수 있는 크롤러를 구축하기 위한 Python 웹 스크래핑 및 브라우저 자동화 라이브러리입니다. Pydantic AI를 통해 LLM으로 구조화된 데이터를 추출하거나, Stagehand를 사용해 자연어로 브라우저를 제어할 수 있습니다. BeautifulSoup, Parsel, Playwright 및 원시 HTTP를 지원합니다. HTML, PDF, 이미지 및 기타 파일을 다운로드할 수 있습니다. 프록시 로테이션 기능도 포함되어 있습니다.

apify
⭐ 9,678 Python 👤 apify Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-01-10
8
adithya-s-k/omniparse

문서에서 멀티미디어까지 모든 데이터 형식을 수집, 구문 분석 및 최적화하여 GenAI 프레임워크와의 호환성을 향상시킵니다.

adithya-s-k
⭐ 7,935 Python 👤 adithya-s-k User 🕐 업데이트됨 2025-12-12 📅 생성됨 2024-06-04
9
firecrawl/firecrawl-mcp-server

공식 Firecrawl MCP 서버, AI 에이전트를 위한 컨텍스트 API입니다. 모든 MCP 클라이언트에서 웹 검색, 스크래핑 및 상호작용은 물론 파싱, 크롤링, 매핑, Agent 및 Monitor 기능을 사용할 수 있습니다.

firecrawl
⭐ 7,868 JavaScript 👤 firecrawl Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2024-12-06
10
BruceDone/awesome-crawler

다양한 언어의 멋진 웹 크롤러, 스파이더 컬렉션

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 업데이트됨 2024-06-16 📅 생성됨 2016-10-10
11
KnockOutEZ/wigolo

AI 코딩 에이전트를 위한 최적의 웹 — MCP를 통한 로컬 우선 검색, 가져오기, 크롤링 및 연구. API 키 불필요, 클라우드 불필요, 쿼리당 $0. 공개 베타.

KnockOutEZ
⭐ 5,560 TypeScript 👤 KnockOutEZ User 🕐 업데이트됨 2026-11-19 📅 생성됨 2026-04-12
12
divinelabio/Argus

궁극의 정보 수집 툴킷

divinelabio
⭐ 4,348 Python 👤 divinelabio User 🕐 업데이트됨 2025-12-10 📅 생성됨 2024-10-01
13
Anakin-Inc/anakin

오픈 소스 웹 스크래핑 API. 모든 웹사이트를 깔끔한 마크다운이나 구조화된 JSON으로 변환하세요. 안티 디텍트 브라우저, 프록시 자동 선택, 자체 호스팅 지원. 명령어 하나로 시작: make up

Anakin-Inc
⭐ 3,765 Go 👤 Anakin-Inc Organization 🕐 업데이트됨 2026-08-18 📅 생성됨 2026-03-17
14
apache/nutch

Apache Nutch는 확장 가능하고 확장 가능한 웹 크롤러입니다

apache
⭐ 3,312 Java 👤 apache Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2009-05-21
15
oxylabs/ai-crawler-py

URL에서 웹사이트를 크롤링하고 관련 페이지를 찾아 데이터를 추출합니다. 이 모든 과정은 자연어 프롬프트에 의해 안내됩니다.

oxylabs
⭐ 3,264 👤 oxylabs Organization 🕐 업데이트됨 2026-08-21 📅 생성됨 2025-09-17
16
spider-rs/spider

Rust를 활용한 기반 저지연 웹 데이터 수집

spider-rs
⭐ 2,855 Rust 👤 spider-rs Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2018-01-07
17
0xMassi/webclaw

LLM을 위한 빠르고 로컬 우선 웹 콘텐츠 추출. 스크랩, 크롤링, 구조화된 데이터 추출 — 모두 Rust에서. CLI, REST API, MCP 서버.

0xMassi
⭐ 2,439 Rust 👤 0xMassi User 🕐 업데이트됨 2026-11-19 📅 생성됨 2026-03-10
18
sjdirect/abot

속도와 유연성을 위해 구축된 크로스 플랫폼 C# 웹 크롤러 프레임워크입니다. 이 프로젝트에 좋아요 눌러주세요! +1.

sjdirect
⭐ 2,308 C# 👤 sjdirect User 🕐 업데이트됨 2026-07-17 📅 생성됨 2013-08-08
19
MarginaliaSearch/MarginaliaSearch

텍스트 중심 웹사이트를 위한 인터넷 검색 엔진. 작고 오래되고 이상한 웹을 색인합니다.

MarginaliaSearch
⭐ 2,241 Java 👤 MarginaliaSearch Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2023-03-20
20
gildas-lormeau/single-file-cli

SingleFile 기반으로 완전한 웹페이지를 단일 HTML 파일로 충실하게 복사하여 저장하는 CLI 도구

gildas-lormeau
⭐ 1,699 JavaScript 👤 gildas-lormeau User 🕐 업데이트됨 2026-11-18 📅 생성됨 2022-05-31
21
gigablast/open-source-search-engine

2017년 11월 20일 -- Intel/AMD 기반 Linux용 C/C++로 작성된 분산 오픈 소스 검색 엔진 및 스파이더/크롤러. gigablast dot com에서 다운로드 가능한 바이너리가 있습니다. 이 페이지 맨 아래의 README.md 파일을 참조하여 지침을 확인하세요.

gigablast
⭐ 1,599 C++ 👤 gigablast User 🕐 업데이트됨 2024-01-10 📅 생성됨 2013-08-02
22
GBSOSS/skill-from-masters

거인의 어깨를 올라타라 — 도메인 전문가의 검증된 방법론을 바탕으로 AI 스킬을 만든다.

GBSOSS
⭐ 1,592 👤 GBSOSS Organization 🕐 업데이트됨 2026-02-16 📅 생성됨 2026-01-08
23
JustinBeckwith/linkinator

웹사이트를 크롤링하고 링크를 검증하는 깨진 링크 검사기. 웹사이트, 문서 및 로컬 파일에서 깨진 링크, 연결 끊긴 링크 및 잘못된 URL을 찾으십시오. SEO 감사 및 CI/CD에 적합합니다.

JustinBeckwith
⭐ 1,288 TypeScript 👤 JustinBeckwith User 🕐 업데이트됨 2026-11-17 📅 생성됨 2019-02-12
24
fastcrw/crw

Rust로 작성된 빠르고 가벼운 Firecrawl/Tavily 대안. AI 에이전트를 위한 MCP 서버가 포함된 웹 스크레이퍼, 크롤러 및 검색 API. Firecrawl 호환 드롭인 API(/scrape, /crawl, /search) 제공. 1K URL 벤치마크에서 Tavily보다 2.3배, Firecrawl보다 1.5배 빠름. 6MB RAM, 단일 바이너리. 자체 호스팅 또는 관리형 클라우드 사용 가능.

fastcrw
⭐ 1,279 Rust 👤 fastcrw Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-03-02
25
webrecorder/browsertrix-crawler

단일 Docker 컨테이너에서 고충실도 브라우저 기반 웹 아카이빙 크롤러 실행

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2020-11-02
26
PhialsBasement/LibreCrawl

무료 데스크톱 SEO 크롤러 - Screaming Frog 및 유사 도구의 오픈 소스 대안. 웹사이트 크롤링, 링크 분석, SEO 데이터 추출 및 구독료 없이 결과 내보내기. 완전히 사용자 정의 가능하고 확장 가능!

PhialsBasement
⭐ 1,131 Python 👤 PhialsBasement User 🕐 업데이트됨 2026-11-10 📅 생성됨 2025-09-27
27
scrapfly/scrapfly-scrapers

80개 이상의 인기 도메인을 위한 확장 가능한 Python 웹 스크래핑 스크립트

scrapfly
⭐ 1,131 Python 👤 scrapfly Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2023-05-22
28
apache/stormcrawler

Apache Storm 기반의 확장 가능하고 성숙하며 다재다능한 웹 크롤러

apache
⭐ 1,014 Java 👤 apache Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2013-04-12
29
RimoChan/sese-engine

【sese-engine】새로운 시대의 검색 엔진!

RimoChan
⭐ 952 Python 👤 RimoChan User 🕐 업데이트됨 2025-05-10 📅 생성됨 2022-01-09
30
firecrawl/firecrawl-app-examples

🔥 이 리포지토리에는 Firecrawl을 사용하여 개발된 웹사이트 및 기타 프로젝트를 포함한 완전한 애플리케이션 예제가 포함되어 있습니다.

firecrawl
⭐ 846 Jupyter Notebook 👤 firecrawl Organization 🕐 업데이트됨 2026-01-13 📅 생성됨 2024-06-22
31
postmodern/spidr

다양한 Ruby 웹 스파이더링 라이브러리로, 사이트, 여러 도메인, 특정 링크 또는 무한정 스파이더링할 수 있습니다. Spidr은 빠르고 사용하기 쉬운 디자인입니다.

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 업데이트됨 2026-01-12 📅 생성됨 2009-03-08
32
johnlui/DIYSearchEngine

🔍 Go로 개발된 오픈 소스 인터넷 검색 엔진, 튜토리얼 "나만의 인터넷 검색 엔진 만들기" 포함

johnlui
⭐ 706 Go 👤 johnlui User 🕐 업데이트됨 2026-08-27 📅 생성됨 2023-07-01
33
Team-intN18-SoybeanSeclab/Phantom

SRC 취약점 발굴 중 페이지 정보 수집 시나리오를 위한 브라우저 확장 프로그램으로, 페이지 및 관련 리소스에서 민감한 정보와 의심스러운 단서를 자동으로 수집하며, 기본 스캔, 심층 재귀 스캔, 대량 API 테스트 및 결과 내보내기, 사용자 정의 정규식 구성을 지원합니다.

Team-intN18-SoybeanSeclab
⭐ 695 JavaScript 👤 Team-intN18-SoybeanSeclab Organization 🕐 업데이트됨 2026-09-16 📅 생성됨 2025-08-21
34
Madi-S/Lead-Generation

프로그래밍 배경지식이 없는 사람도 대규모로 양질의 잠재 고객을 확보할 수 있도록 지원하는 Python 스크립트입니다. 이 저장소에는 잠재 고객 확보에 사용되는 다양한 범용 기법이 포함됩니다.

Madi-S
⭐ 691 Python 👤 Madi-S User 🕐 업데이트됨 2026-09-23 📅 생성됨 2020-12-14
35
cxcscmu/Craw4LLM

"Craw4LLM: LLM 사전 훈련을 위한 효율적인 웹 크롤링" 공식 리포지토리

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 업데이트됨 2025-02-24 📅 생성됨 2025-02-17
36
vakra-dev/reader

AI를 위한 오픈 소스 웹 인프라스트럭처. 웹을 스크랩하고, 크롤링하며, 자동화하고, 마크다운을 정리하고, 브라우저 세션을 관리하여 에이전트에 바로 사용할 수 있습니다.

vakra-dev
⭐ 576 TypeScript 👤 vakra-dev Organization 🕐 업데이트됨 2026-10-06 📅 생성됨 2026-01-07
37
jpjacobpadilla/Stealth-Requests

Python에서의 감지되지 않는 웹 스크래핑 및 원활한 HTML 파싱!

jpjacobpadilla
⭐ 570 Python 👤 jpjacobpadilla User 🕐 업데이트됨 2026-09-19 📅 생성됨 2024-08-04
38
lefterisloukas/edgar-crawler

SEC EDGAR 재무 보고서를 다운로드하고 특정 항목 섹션에서 텍스트 데이터를 깔끔하고 구조화된 JSON 파일로 추출할 수 있는 유일한 오픈소스 툴킷. WWW 2025 @ 호주 시드니에서 발표 (https://dl.acm.org/doi/10.1145/3701716.3715289)

lefterisloukas
⭐ 535 Python 👤 lefterisloukas User 🕐 업데이트됨 2025-07-18 📅 생성됨 2021-09-24
39
erevus-cn/pocscan

니우빌리티 스캔 프레임워크가 되려는 의지

erevus-cn
⭐ 520 Python 👤 erevus-cn User 🕐 업데이트됨 2025-07-01 📅 생성됨 2016-02-02

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #web-crawler 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #web-crawler 프로젝트는 204,793개의 스타를 받은 firecrawl/firecrawl입니다. 에이전트를 더 똑똑하게 만드는 지식 인프라. 하나의 API로 검색, 스크래핑, 550개 이상의 데이터 제공업체를 이용하세요.

2

#web-crawler 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #web-crawler 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, TypeScript, Rust, Go입니다.

3

#web-crawler 저장소 순위는 어떻게 계산되나요?

#web-crawler 태그가 지정된 활성 오픈 소스 저장소(39개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 470,005개이며 저장소당 평균 12,051개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.