Git Stars Git Stars

#data-extraction 저장소

#data-extraction 태그가 지정된 GitHub의 활성 오픈 소스 저장소 131개를 확인해 보세요. 총 729,329개의 스타를 획득했으며 프로젝트당 평균 5,567개입니다. 이 주제를 이끄는 저장소는 205,758개의 스타를 받은 firecrawl/firecrawl입니다.

131
총 리포지토리
729,329
총 별점
5,567
리포지토리당 평균 스타 수

저장소 총 131개

1
firecrawl/firecrawl

에이전트를 더 똑똑하게 만드는 지식 인프라입니다. 하나의 API를 통해 550개 이상의 데이터 제공업체를 검색하고, 스크래핑하고, 액세스하세요.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-04-15
2
D4Vinci/Scrapling

🕷️ 단일 요청부터 대규모 크롤링까지 모든 작업을 처리하는 최고의 웹 스크래핑 프레임워크! 망설이지 말고 여기에서 참여하세요: https://discord.gg/EMgGbDceNQ 매일 유용한 팁과 요령을 보려면 여기에서 팔로우하세요: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 업데이트됨 2026-11-17 📅 생성됨 2024-10-13
3
unclecode/crawl4ai

공식 Crawl4AI Cloud: AI 에이전트를 위한 호스팅형 웹 스크래핑·추출·검색 API입니다. API 키는 무료이며 매월 1,000크레딧이 제공되고, 카드 등록도 필요 없습니다. 완전한 오픈 소스입니다. 이 저장소에는 서비스를 구동하는 Apache-2.0 크롤러가 포함되어 있으며, 직접 호스팅할 수도 있습니다.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-05-09
4
ScrapeGraphAI/Scrapegraph-ai

AI 기반 Python 스크래퍼

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 업데이트됨 2026-10-06 📅 생성됨 2024-01-27
5
browserbase/stagehand

웹상의 모든 사이트에서 데이터를 추출하고 상호작용할 수 있는 SDK입니다. Claude Code, Codex, Eve, Mastra 등으로 시작해 보세요.

browserbase
⭐ 26,109 TypeScript 👤 browserbase Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-03-24
6
getmaxun/maxun

모든 웹사이트를 구조화된 API로 변환하세요. 웹을 추출하고, 자동화하고, 검색하고, 모니터링하세요.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2023-10-23
7
ReFirmLabs/binwalk

펌웨어 분석 도구

ReFirmLabs
⭐ 14,731 Rust 👤 ReFirmLabs Organization 🕐 업데이트됨 2026-08-11 📅 생성됨 2013-11-15
8
phiresky/ripgrep-all

rga: ripgrep, 하지만 PDF, 전자책, Office 문서, zip, tar.gz 등에서도 검색 가능.

phiresky
⭐ 9,937 Rust 👤 phiresky User 🕐 업데이트됨 2026-09-17 📅 생성됨 2019-06-04
9
scrapinghub/portia

Scrapy를 위한 시각적 스크래핑

scrapinghub
⭐ 9,479 Python 👤 scrapinghub Organization 🕐 업데이트됨 2024-06-26 📅 생성됨 2014-03-21
10
cv-cat/Spider_XHS

샤오홍슈(RED) 크롤러 데이터 수집, 샤오홍슈 리버스 엔지니어링, 개인 메시지, 라이브 방송, 샤오홍슈 전 영역 운영 솔루션

cv-cat
⭐ 8,542 Python 👤 cv-cat User 🕐 업데이트됨 2026-10-22 📅 생성됨 2023-08-08
11
ericchiang/pup

명령줄에서 HTML 파싱

ericchiang
⭐ 8,372 HTML 👤 ericchiang User 🕐 업데이트됨 2024-05-02 📅 생성됨 2014-09-01
12
mgdm/htmlq

jq처럼, 하지만 HTML용.

mgdm
⭐ 7,591 Rust 👤 mgdm User 🕐 업데이트됨 2026-05-27 📅 생성됨 2019-05-07
13
browser-act/skills

AI 에이전트를 위해 구축된 브라우저 자동화 CLI. 안티봇 장벽을 돌파하고, 막힐 때 여러 플랫폼에서 인간에게 전환합니다. 병렬 멀티태스크 실행, 독립적인 멀티세션 운영, 격리된 멀티계정 브라우징.

browser-act
⭐ 6,385 Python 👤 browser-act Organization 🕐 업데이트됨 2026-11-04 📅 생성됨 2026-02-06
14
nickscamara/open-deep-research

오픈 소스 딥 리서치 클론. Firecrawl로 추출된 방대한 양의 웹 데이터에 대해 추론하는 AI 에이전트

nickscamara
⭐ 6,242 TypeScript 👤 nickscamara User 🕐 업데이트됨 2025-05-07 📅 생성됨 2025-02-03
15
MontFerret/ferret

구조화된 추출 워크플로를 위한 선언적 데이터 자동화 언어 및 Go 런타임.

MontFerret
⭐ 6,025 Go 👤 MontFerret Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2018-08-23
16
matthewmueller/x-ray

다음 웹 스크래퍼. <html> 노이즈를 꿰뚫어 보세요.

matthewmueller
⭐ 5,899 JavaScript 👤 matthewmueller User 🕐 업데이트됨 2026-08-31 📅 생성됨 2015-02-05
17
vi3k6i5/flashtext

문장에서 키워드를 추출하거나 문장에서 키워드를 교체합니다.

vi3k6i5
⭐ 5,714 Python 👤 vi3k6i5 User 🕐 업데이트됨 2025-04-13 📅 생성됨 2017-08-15
18
Hammer1/cozeworkflows

Coze의 200개 이상 워크플로 모음, 지속적인 업데이트

Hammer1
⭐ 5,446 👤 Hammer1 User 🕐 업데이트됨 2025-07-27 📅 생성됨 2025-07-27
19
ultrafunkamsterdam/nodriver

Undetected-Chromedriver의 후속 버전. Captcha / CloudFlare / Imperva / hCaptcha와 같은 성가신 봇 방지 시스템으로 인해 일반적으로 방해받는 웹 자동화, 웹 스크래핑, 봇 및 기타 모든 창의적인 아이디어를 위한 매우 빠른 프레임워크를 제공합니다.

ultrafunkamsterdam
⭐ 4,950 Python 👤 ultrafunkamsterdam User 🕐 업데이트됨 2026-10-26 📅 생성됨 2024-02-20
20
REMitchell/python-scraping

Python을 사용한 웹 스크래핑 책의 코드 샘플 http://shop.oreilly.com/product/0636920034391.do

REMitchell
⭐ 4,669 Jupyter Notebook 👤 REMitchell User 🕐 업데이트됨 2024-06-01 📅 생성됨 2015-06-14
21
AhmadHassan-BTed/Noria

메시징 플랫폼을 위한 에이전트형 정보 추출 도구입니다. Noria는 채팅을 통해 메시지와 URL을 받고, 웹 데이터를 수집해 맞춤형 평가 기준(예: 채용 정보, 장학금)에 따라 콘텐츠를 평가한 뒤, 계산된 적합도 점수가 포함된 구조화된 요약을 지정된 메신저 번호로 직접 전송합니다.

AhmadHassan-BTed
⭐ 4,624 JavaScript 👤 AhmadHassan-BTed User 🕐 업데이트됨 2026-11-10 📅 생성됨 2026-05-31
22
meta/duckling

입력 문자열에 대한 구성 가능한 언어 규칙을 표현, 테스트 및 평가하기 위한 언어, 엔진 및 도구.

meta
⭐ 4,328 Haskell 👤 meta Organization 🕐 업데이트됨 2026-03-15 📅 생성됨 2017-03-02
23
tomnomnom/waybackurls

Wayback Machine이 도메인에 대해 알고 있는 모든 URL 가져오기

tomnomnom
⭐ 4,255 Go 👤 tomnomnom User 🕐 업데이트됨 2024-05-01 📅 생성됨 2018-01-24
24
scrapinghub/splash

경량, 스크립트 가능한 브라우저 서비스, HTTP API 포함

scrapinghub
⭐ 4,197 Python 👤 scrapinghub Organization 🕐 업데이트됨 2024-08-02 📅 생성됨 2013-05-20
25
CrawlScript/WebCollector

WebCollector는 Java 기반의 오픈 소스 웹 크롤러 프레임워크입니다. 웹을 크롤링하기 위한 몇 가지 간단한 인터페이스를 제공하며, 5분 이내에 멀티스레드 웹 크롤러를 설정할 수 있습니다.

CrawlScript
⭐ 3,073 Java 👤 CrawlScript Organization 🕐 업데이트됨 2026-02-10 📅 생성됨 2014-07-12
26
goldsmith/Wikipedia

Wikipedia API를 위한 Pythonic 래퍼

goldsmith
⭐ 3,014 Python 👤 goldsmith User 🕐 업데이트됨 2026-10-25 📅 생성됨 2013-08-20
27
brightdata/brightdata-mcp

공용 웹 액세스를 위한 올인원 솔루션을 제공하는 강력한 모델 컨텍스트 프로토콜(MCP) 서버입니다.

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2025-04-15
28
smalot/pdfparser

독립적인 PHP 라이브러리인 PdfParser는 PDF 파일에서 데이터를 추출하는 다양한 도구를 제공합니다.

smalot
⭐ 2,732 PHP 👤 smalot User 🕐 업데이트됨 2026-10-13 📅 생성됨 2013-08-30
29
Predidit/KazumiRules

Kazumi의 규칙 호스팅 저장소, 기여 환영 ^•ﻌ•^

Predidit
⭐ 2,653 Dart 👤 Predidit User 🕐 업데이트됨 2026-11-13 📅 생성됨 2024-05-22
30
Bistutu/GoMusic

Netease Cloud/Qishui/QQ Music 재생 목록을 Apple/Youtube/Spotify Music으로 마이그레이션

Bistutu
⭐ 2,552 Go 👤 Bistutu User 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-10-07
31
tavily-ai/tavily-mcp

실시간 검색, 추출, 매핑 및 크롤링 기능이 있는 프로덕션 준비 MCP 서버.

tavily-ai
⭐ 2,499 TypeScript 👤 tavily-ai Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2025-01-27
32
jmespath/jmespath.py

JMESPath는 JSON을 위한 쿼리 언어입니다.

jmespath
⭐ 2,458 Python 👤 jmespath Organization 🕐 업데이트됨 2026-04-20 📅 생성됨 2013-02-19
33
saifyxpro/HeadlessX

감지되지 않는 자체 호스팅형 브라우저 자동화 플랫폼. Camoufox(Firefox)로 0% 탐지율을 달성했습니다. 속도, 프라이버시 및 확장성을 위해 제작되었습니다.

saifyxpro
⭐ 2,365 TypeScript 👤 saifyxpro User 🕐 업데이트됨 2026-11-12 📅 생성됨 2025-09-12
34
dataabc/weibo-search

Weibo 검색 결과 정보를 가져옵니다. 검색은 Weibo 키워드 검색 또는 Weibo 토픽 검색이 될 수 있습니다.

dataabc
⭐ 2,340 Python 👤 dataabc User 🕐 업데이트됨 2026-06-05 📅 생성됨 2020-03-25
35
decaywood/XueQiuSuperSpider

눈덩이 주식 정보 슈퍼 크롤러

decaywood
⭐ 2,326 Java 👤 decaywood User 🕐 업데이트됨 2024-03-27 📅 생성됨 2015-11-24
36
opendatalab/DocLayout-YOLO

DocLayout-YOLO: 다양한 합성 데이터와 글로벌-로컬 적응형 인식을 통한 문서 레이아웃 분석 강화

opendatalab
⭐ 2,315 Python 👤 opendatalab Organization 🕐 업데이트됨 2026-10-21 📅 생성됨 2024-10-14
39
hhursev/recipe-scrapers

레시피 데이터 스크래핑을 위한 파이썬 패키지

hhursev
⭐ 2,263 Python 👤 hhursev User 🕐 업데이트됨 2026-11-15 📅 생성됨 2015-09-14
40
shcherbak-ai/contextgem

대규모 언어 모델과 의사결정 모델을 사용하여 문서에서 구조화된 데이터와 인사이트를 추출하세요

shcherbak-ai
⭐ 2,095 Python 👤 shcherbak-ai Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-10-11
41
xaitax/TotalRecall

이 도구는 Windows 11의 Recall 기능에서 데이터를 추출하고 표시하여 PC 활동 스냅샷에 대한 정보에 쉽게 액세스할 수 있도록 합니다.

xaitax
⭐ 2,037 Python 👤 xaitax User 🕐 업데이트됨 2024-06-08 📅 생성됨 2024-06-03
42
jmespath/jmespath.php

PHP에서 JSON 문서에서 요소를 추출하는 방법을 선언적으로 지정합니다.

jmespath
⭐ 2,013 PHP 👤 jmespath Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2013-07-06
43
KEV0143/Parser-Chitai-Gorod

"치타이-고로드(Chitai-Gorod)" 카탈로그용 지능형 파서. ISBN부터 할인 동향에 이르기까지, 지정된 모든 매개변수에 기반한 고속 데이터 수집 및 구조화.

KEV0143
⭐ 1,979 Python 👤 KEV0143 User 🕐 업데이트됨 2026-09-17 📅 생성됨 2025-05-18
44
xyTom/snippai

모든 것을 잘라 모든 것을 해결하십시오

xyTom
⭐ 1,950 TypeScript 👤 xyTom User 🕐 업데이트됨 2026-10-06 📅 생성됨 2024-02-06
45
extractus/article-extractor

제공된 URL에서 기사 추출

extractus
⭐ 1,920 TypeScript 👤 extractus Organization 🕐 업데이트됨 2026-08-20 📅 생성됨 2015-11-29
46
Kengxxiao/ArknightsGameData

《아크나이츠》 게임 데이터

Kengxxiao
⭐ 1,907 Lua 👤 Kengxxiao User 🕐 업데이트됨 2026-11-16 📅 생성됨 2019-12-31
47
shuchkin/simplexlsx

Excel XLSx 파일에서 데이터를 파싱하고 검색하기

shuchkin
⭐ 1,829 PHP 👤 shuchkin User 🕐 업데이트됨 2026-10-20 📅 생성됨 2016-05-25
48
DQinYuan/chinese_province_city_area_mapper

간체 중국어 문자열에서 성, 시, 구를 추출하고 매핑, 검증 및 간단한 도식을 수행할 수 있는 Python 모듈

DQinYuan
⭐ 1,770 Python 👤 DQinYuan User 🕐 업데이트됨 2024-03-19 📅 생성됨 2018-03-04
49
biuuu/star-rail-warp-export

Honkai: Star Rail 워프 기록 내보내기

biuuu
⭐ 1,640 JavaScript 👤 biuuu User 🕐 업데이트됨 2026-11-11 📅 생성됨 2023-05-01
50
JonathanLink/PDFLayoutTextStripper

원본 PDF의 레이아웃을 유지하면서 PDF 파일을 텍스트 파일로 변환합니다. 예를 들어 PDF 파일의 표에서 내용을 추출할 때 유용합니다. Apache PDFBox 라이브러리의 PDFTextStripper 클래스 하위 클래스입니다.

JonathanLink
⭐ 1,612 Java 👤 JonathanLink User 🕐 업데이트됨 2026-11-18 📅 생성됨 2015-10-11

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #data-extraction 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #data-extraction 프로젝트는 205,758개의 스타를 받은 firecrawl/firecrawl입니다. 에이전트를 더 똑똑하게 만드는 지식 인프라입니다. 하나의 API를 통해 550개 이상의 데이터 제공업체를 검색하고, 스크래핑하고, 액세스하세요.

2

#data-extraction 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #data-extraction 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, TypeScript, JavaScript, Rust입니다.

3

#data-extraction 저장소 순위는 어떻게 계산되나요?

#data-extraction 태그가 지정된 활성 오픈 소스 저장소(131개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 729,329개이며 저장소당 평균 5,567개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.