Git Stars Git Stars

#data-collection 저장소

#data-collection 태그가 지정된 GitHub의 활성 오픈 소스 저장소 52개를 확인해 보세요. 총 268,114개의 스타를 획득했으며 프로젝트당 평균 5,156개입니다. 이 주제를 이끄는 저장소는 71,528개의 스타를 받은 NanmiCoder/MediaCrawler입니다.

52
총 리포지토리
268,114
총 별점
5,156
리포지토리당 평균 스타 수

저장소 총 52개

1
NanmiCoder/MediaCrawler

샤오홍슈 노트 | 댓글 크롤러, 도우인 동영상 | 댓글 크롤러, 콰이쇼우 동영상 | 댓글 크롤러, B站 동영상 | 댓글 크롤러, 웨이보 게시글 | 댓글 크롤러, 바이두 톄바 게시글 | 바이두 톄바 댓글 답글 크롤러 | 즈후 질문 답변 글 | 댓글 크롤러

NanmiCoder
⭐ 71,528 Python 👤 NanmiCoder User 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-06-09
2
NaiboWang/EasySpider

시각적 노코드 웹 크롤러/스파이더: 브라우저 자동화, 데이터 수집 및 웹 스크래핑 소프트웨어로, 코딩 없이 그래픽 방식으로 크롤링 작업을 설계하고 실행할 수 있습니다. 별칭: ServiceWrapper(웹 애플리케이션을 위한 지능형 서비스 캡슐화 시스템).

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 업데이트됨 2026-11-16 📅 생성됨 2020-07-18
3
airbytehq/airbyte

오픈소스 데이터 이동: ELT 파이프라인 및 AI 에이전트용 — API, 데이터베이스, 파일에서 데이터 웨어하우스, 데이터 레이크, AI 애플리케이션으로. 셀프 호스팅 및 클라우드.

airbytehq
⭐ 22,426 Python 👤 airbytehq Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2020-07-27
4
Evil0ctal/Douyin_TikTok_Download_API

🚀 Douyin, TikTok, Bilibili 데이터 수집 및 워터마크 없는 동영상 다운로드를 위한 셀프 호스팅 API입니다. MCP를 통한 AI 에이전트 호출과 오프라인 음성 텍스트 변환을 지원하며, Docker로 원클릭 배포할 수 있습니다. | TikTok, Douyin, Bilibili용 셀프 호스팅 스크레이퍼 및 워터마크 없는 동영상 다운로더 — 비동기 REST API, AI 에이전트용 MCP 서버, CLI와 웹 콘솔을 제공하며 다운로드한 동영상의 오프라인 음성 텍스트 변환도 지원합니다. 자동 복구 ID 풀, PostgreSQL 아카이브를 갖추고 `docker compose up` 한 번으로 실행할 수 있습니다.

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 업데이트됨 2026-11-20 📅 생성됨 2021-11-07
5
cporter202/API-mega-list

이 GitHub 리포지토리는 간단한 자동화부터 전체 규모의 애플리케이션에 이르기까지 모든 것을 구축하는 데 즉시 사용할 수 있는 강력한 API 컬렉션입니다. GitHub에서 가장 가치 있는 API 목록 중 하나입니다. 💪

cporter202
⭐ 8,406 JavaScript 👤 cporter202 User 🕐 업데이트됨 2026-11-19 📅 생성됨 2025-12-09
6
firecrawl/firecrawl-mcp-server

공식 Firecrawl MCP 서버, AI 에이전트를 위한 컨텍스트 API입니다. 모든 MCP 클라이언트에서 웹 검색, 스크래핑 및 상호작용은 물론 파싱, 크롤링, 매핑, Agent 및 Monitor 기능을 사용할 수 있습니다.

firecrawl
⭐ 7,871 JavaScript 👤 firecrawl Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-12-06
7
snowplow/snowplow

고객 데이터 인프라의 리더

snowplow
⭐ 7,052 Scala 👤 snowplow Organization 🕐 업데이트됨 2026-10-19 📅 생성됨 2012-03-01
8
cloudquery/cloudquery

클라우드 구성 및 보안 데이터를 위한 데이터 파이프라인. 클라우드 자산 인벤토리, CSPM, FinOps 및 취약점 관리 솔루션을 구축합니다. AWS, Azure, GCP 및 70개 이상의 클라우드 및 SaaS 소스에서 데이터를 추출합니다.

cloudquery
⭐ 6,561 Go 👤 cloudquery Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2020-11-18
9
ResearchKit/ResearchKit

ResearchKit은 의료 연구 또는 기타 연구 프로젝트를 위한 앱을 쉽게 만들 수 있는 오픈 소스 소프트웨어 프레임워크입니다.

ResearchKit
⭐ 5,758 Objective-C 👤 ResearchKit Organization 🕐 업데이트됨 2026-09-23 📅 생성됨 2015-03-10
10
jitsucom/jitsu

Jitsu는 오픈소스 Segment 대안입니다. 최신 데이터 팀을 위한 완전 스크립트 가능 데이터 수집 엔진. 며칠이 아닌 몇 분 만에 실시간 데이터 파이프라인을 설정하세요.

jitsucom
⭐ 5,138 TypeScript 👤 jitsucom Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2020-08-04
11
CollegesChat/university-information

전국 각 대학에서 입학 시 명시하지 않지만, 대학 생활의 질에 실질적으로 영향을 미치는 요구사항 및 세부 사항

CollegesChat
⭐ 5,105 👤 CollegesChat Organization 🕐 업데이트됨 2026-10-18 📅 생성됨 2021-06-25
12
REMitchell/python-scraping

Python을 사용한 웹 스크래핑 책의 코드 샘플 http://shop.oreilly.com/product/0636920034391.do

REMitchell
⭐ 4,669 Jupyter Notebook 👤 REMitchell User 🕐 업데이트됨 2024-06-01 📅 생성됨 2015-06-14
13
php-debugbar/php-debugbar

PHP용 디버그 바

php-debugbar
⭐ 4,380 PHP 👤 php-debugbar Organization 🕐 업데이트됨 2026-10-25 📅 생성됨 2013-06-07
14
cv-cat/DouYin_Spider

틱톡 리버스 엔지니어링, 틱톡 크롤러, 틱톡 전체 API, 쪽지, 라이브 룸 모니터링

cv-cat
⭐ 3,711 Python 👤 cv-cat User 🕐 업데이트됨 2026-10-23 📅 생성됨 2023-10-17
15
Gioman101/FlipperAmiibo

Flipper와 함께 사용하도록 제작되었습니다. 폴더를 NFC로 끌어다 놓으세요.

Gioman101
⭐ 3,422 Python 👤 Gioman101 User 🕐 업데이트됨 2024-08-15 📅 생성됨 2022-04-22
16
scrapy/scrapyd

Scrapy 스파이더를 실행하는 서비스 데몬

scrapy
⭐ 3,100 Python 👤 scrapy Organization 🕐 업데이트됨 2026-10-23 📅 생성됨 2013-02-01
17
vladkens/twscrape

X/Twitter 스크래핑을 위한 Python 라이브러리 및 CLI로, 다중 계정 로테이션과 내장된 속도 제한 처리를 지원합니다.

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 업데이트됨 2026-11-19 📅 생성됨 2023-05-05
18
M-cheng-web/web-tracing

프론트엔드 프로젝트를 위한 【트래킹, 행동, 성능, 예외, 요청, 리소스, 경로, 노출, 화면 녹화】 모니터링 수단 제공

M-cheng-web
⭐ 2,950 TypeScript 👤 M-cheng-web User 🕐 업데이트됨 2026-09-21 📅 생성됨 2021-12-24
19
brightdata/brightdata-mcp

공용 웹 액세스를 위한 올인원 솔루션을 제공하는 강력한 모델 컨텍스트 프로토콜(MCP) 서버입니다.

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2025-04-15
20
SPX372928/MyIPTV

표준 프로토콜 모바일 라이브 소스

SPX372928
⭐ 2,704 👤 SPX372928 User 🕐 업데이트됨 2026-02-19 📅 생성됨 2020-04-07
⭐ 2,096 Python 👤 tonyzhaozh User 🕐 업데이트됨 2024-04-19 📅 생성됨 2023-02-22
22
X-zhangyang/Real-World-Masked-Face-Dataset

Real-World Masked Face Dataset, 실세계 마스크 얼굴 데이터셋

X-zhangyang
⭐ 2,030 Python 👤 X-zhangyang User 🕐 업데이트됨 2024-11-20 📅 생성됨 2020-02-13
23
KEV0143/Parser-Chitai-Gorod

"치타이-고로드(Chitai-Gorod)" 카탈로그용 지능형 파서. ISBN부터 할인 동향에 이르기까지, 지정된 모든 매개변수에 기반한 고속 데이터 수집 및 구조화.

KEV0143
⭐ 1,979 Python 👤 KEV0143 User 🕐 업데이트됨 2026-09-17 📅 생성됨 2025-05-18
24
pyper-dev/pyper

간편한 동시성 파이썬

pyper-dev
⭐ 1,521 Python 👤 pyper-dev User 🕐 업데이트됨 2025-02-04 📅 생성됨 2024-05-22
25
sensorsdata/sa-sdk-android

신책 데이터 공식 Android 매설 포인트 SDK는 Android 측 데이터 수집 매설 포인트 SDK로 가벼운 제품으로, 코드 매설 포인트, 전체 매설 포인트, 클릭 맵 및 시각화 전체 매설 포인트 기능을 포함합니다. 전체 매설 포인트는 신책 공식 Android 매설 포인트 플러그인을 협력하여 구현되며, 신책 데이터 공식 Android 매설 포인트 플러그인은 바이트코드 삽입(ASM) 기술을 사용하여 Android 측의 전체 매설 포인트(무 매설 포인트, 무 코드 매설 포인트, 무痕 매설 포인트, 자동 매설 포인트)를 구현합니다.

sensorsdata
⭐ 1,374 Java 👤 sensorsdata Organization 🕐 업데이트됨 2026-11-04 📅 생성됨 2015-11-06
26
pnoker/iot-dc3

IoT DC3 — 물리적 세계를 AI에 연결합니다. Physical AI를 위한 오픈 소스 산업용 IoT 런타임: 36개의 프로토콜 드라이버, 엣지에서 클라우드로의 데이터 전달, 그리고 AI 에이전트가 안전하고 제어 가능하며 추적 가능한 루프 안에서 디바이스를 작동할 수 있도록 하는 MCP 도구 게이트웨이.

pnoker
⭐ 1,274 Java 👤 pnoker User 🕐 업데이트됨 2026-11-11 📅 생성됨 2018-08-28
27
Decodo/Decodo

HTTP(S)/SOCKS5 회전형 주거용 프록시 - 코드 예제 및 일반 정보.

Decodo
⭐ 1,264 Java 👤 Decodo Organization 🕐 업데이트됨 2026-11-11 📅 생성됨 2019-01-07
28
rohunvora/x-research-skill

X/Twitter 리서치 스킬 (Claude Code 및 OpenClaw용). 에이전시 검색, 스레드 추적, 심층 탐색, 소스 기반 브리핑.

rohunvora
⭐ 1,248 TypeScript 👤 rohunvora User 🕐 업데이트됨 2026-02-19 📅 생성됨 2026-02-08
29
washingtonpost/data-police-shootings

워싱턴 포스트는 2015년 이후 미국에서 경찰관이 직무 수행 중 발생한 모든 치명적 총격 사건에 대한 데이터베이스를 작성 중이다.

washingtonpost
⭐ 1,147 👤 washingtonpost Organization 🕐 업데이트됨 2026-10-14 📅 생성됨 2015-06-30
31
plan-player-analytics/Plan

Minecraft 서버 플랫폼용 플레이어 분석 플러그인 - 서버의 플레이어 활동을 쉽게 확인하세요. :calendar:

plan-player-analytics
⭐ 1,041 Java 👤 plan-player-analytics Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2016-12-08
32
estuary/flow

🌊 Estuary로 데이터 흐름을 관리하여 데이터가 있는 시스템에서 데이터가 _있기를 원하는_ 시스템으로 지속적으로 동기화하세요. 🌊

estuary
⭐ 995 Rust 👤 estuary Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2020-02-13
33
sensorsdata/sa-sdk-javascript

신체라 데이터 공식 Web JavaScript 추적 SDK는 Web 엔드와 H5 엔드용 경량 데이터 수집 추적 SDK입니다. 네이티브 JavaScript 기술을 사용하여 코드 추적, 전체 추적, 시각화 전체 추적, 웹 히트맵 및 도달 지도 등의 기능을 구현합니다.

sensorsdata
⭐ 956 JavaScript 👤 sensorsdata Organization 🕐 업데이트됨 2026-11-12 📅 생성됨 2015-11-06
34
levinunnink/html-form-to-google-sheet

HTML 양식을 Google Sheets에 제출하는 방법. (2026 스크립트 편집기로 업데이트됨)

levinunnink
⭐ 948 JavaScript 👤 levinunnink User 🕐 업데이트됨 2026-01-14 📅 생성됨 2021-09-20
35
TheBurnsy/Vehicle-OSINT-Collection

특정 차량에 대한 정보를 찾는 데 사용할 수 있는 도구에 대한 포괄적인 목록입니다.

TheBurnsy
⭐ 912 👤 TheBurnsy User 🕐 업데이트됨 2024-11-20 📅 생성됨 2022-11-16
36
Cl0udG0d/Fofa-hack

비유료 회원, fofa 데이터 수집 도구

Cl0udG0d
⭐ 882 Python 👤 Cl0udG0d User 🕐 업데이트됨 2025-10-28 📅 생성됨 2022-09-15
37
FalconForceTeam/SOAPHound

SOAPHound는 Active Directory Web Services(ADWS) 프로토콜을 통해 Active Directory 환경을 열거하는 데 사용할 수 있는 맞춤 개발된 .NET 데이터 수집 도구입니다.

FalconForceTeam
⭐ 840 C# 👤 FalconForceTeam Organization 🕐 업데이트됨 2024-02-03 📅 생성됨 2024-01-25
38
zqzess/MyWebStorage

웹상의 기존 향색규각 소스를 통합하고, 크롤러가 매주 자동으로 소스를 업데이트합니다

zqzess
⭐ 813 HTML 👤 zqzess User 🕐 업데이트됨 2026-11-16 📅 생성됨 2021-05-18
39
getodk/collect

ODK Collect은 양식을 작성하기 위한 안드로이드 앱입니다. 전 세계의 도전적인 환경에서 수십억 개의 데이터 포인트를 수집하는 데 사용되었습니다. 기여하여 세상을 더 나은 곳으로 만드세요! ✨📋✨

getodk
⭐ 807 Kotlin 👤 getodk Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2015-08-04
40
quantumproxies/quantumproxies.io

200개 이상의 국가에서 9,000만 개 이상의 IP를 제공하는 주거용, 데이터센터, ISP 및 모바일 프록시와 스크래퍼 및 SERP API. Python, Node.js, PHP, Go, Java, C#, Ruby 및 curl 코드 예제 제공.

quantumproxies
⭐ 780 Java 👤 quantumproxies User 🕐 업데이트됨 2026-09-06 📅 생성됨 2025-11-17
41
LAION-AI/audio-dataset

CLAP 및 기타 모델 훈련용 오디오 데이터셋

LAION-AI
⭐ 750 Python 👤 LAION-AI Organization 🕐 업데이트됨 2026-01-08 📅 생성됨 2022-03-07
42
thinkoaa/Deadpool

Deadpool 프록시 풀 도구를 사용하여 Hunter, Quake, Fofa 등과 같은 네트워크 공간 매핑 플랫폼에서 고품질 socks5 프록시를 가져오거나 로컬에서 socks5 프록시를 가져와 순환적으로 프록시를 사용하여 트래픽을 전달할 수 있습니다.

thinkoaa
⭐ 741 Go 👤 thinkoaa User 🕐 업데이트됨 2026-05-06 📅 생성됨 2024-08-26
43
augurlabs/augur

Augur가 한계에 다다랐을 때, 우리는 Aveloxis를 만들었습니다: OSS 메트릭 데이터를 안정적으로 수집하기 위해서죠. 3일 만에 40,000개의 저장소를 완전히 수집했다면, 괜찮은 성과 아닌가요?

augurlabs
⭐ 695 Go 👤 augurlabs Organization 🕐 업데이트됨 2026-08-04 📅 생성됨 2017-01-05
44
bangumi-data/bangumi-data

일본 애니메이션 원시 데이터

bangumi-data
⭐ 665 JavaScript 👤 bangumi-data Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2016-09-04
45
ohyicong/Google-Image-Scraper

Google 이미지 스크랩 라이브러리

ohyicong
⭐ 636 Python 👤 ohyicong User 🕐 업데이트됨 2025-02-16 📅 생성됨 2020-07-18
46
nghuyong/weibo-cov

Weibo-COV: 웨이보의 대규모 COVID-19 소셜 미디어 데이터셋

nghuyong
⭐ 626 👤 nghuyong User 🕐 업데이트됨 2025-08-23 📅 생성됨 2020-02-20
47
Robotics-Ark/ark_framework

아크 프레임워크.

Robotics-Ark
⭐ 625 Python 👤 Robotics-Ark Organization 🕐 업데이트됨 2026-06-20 📅 생성됨 2025-06-25
48
john-friedman/datamule-python

SEC 데이터와 함께 사용하기 위한 패키지입니다. Datamule 엔드포인트가 포함되어 있습니다.

john-friedman
⭐ 560 Python 👤 john-friedman User 🕐 업데이트됨 2026-08-14 📅 생성됨 2024-09-06
49
sindresorhus/insight

도구가 어떻게 사용되고 있는지 이해하는 데 도움을 주기 위해 사용 지표를 Google Analytics에 익명으로 보고하는 Node.js 모듈

sindresorhus
⭐ 553 JavaScript 👤 sindresorhus User 🕐 업데이트됨 2026-09-18 📅 생성됨 2012-12-12
50
zhaoyachao/zdh_web

빅데이터 수집, 추출 플랫폼, zdh_web은 zdh 시리즈 서비스의 시각화 관리 플랫폼으로, 데이터 수집, 스케줄링, 권한, 승인 흐름, 사설 도메인 마케팅 등의 모듈을 포함합니다

zhaoyachao
⭐ 536 HTML 👤 zhaoyachao User 🕐 업데이트됨 2026-06-07 📅 생성됨 2020-02-03

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #data-collection 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #data-collection 프로젝트는 71,528개의 스타를 받은 NanmiCoder/MediaCrawler입니다. 샤오홍슈 노트 | 댓글 크롤러, 도우인 동영상 | 댓글 크롤러, 콰이쇼우 동영상 | 댓글 크롤러, B站 동영상 | 댓글 크롤러, 웨이보 게시글 | 댓글 크롤러, 바이두 톄바 게시글 | 바이두 톄바 댓글 답글 크롤러 | 즈후 질문 답변 글 | 댓글 크롤러

2

#data-collection 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #data-collection 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, JavaScript, Java, Go입니다.

3

#data-collection 저장소 순위는 어떻게 계산되나요?

#data-collection 태그가 지정된 활성 오픈 소스 저장소(52개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 268,114개이며 저장소당 평균 5,156개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.