#data-collection 저장소
#data-collection 태그가 지정된 GitHub의 활성 오픈 소스 저장소 52개를 확인해 보세요. 총 268,114개의 스타를 획득했으며 프로젝트당 평균 5,156개입니다. 이 주제를 이끄는 저장소는 71,528개의 스타를 받은 NanmiCoder/MediaCrawler입니다.
저장소 총 52개
샤오홍슈 노트 | 댓글 크롤러, 도우인 동영상 | 댓글 크롤러, 콰이쇼우 동영상 | 댓글 크롤러, B站 동영상 | 댓글 크롤러, 웨이보 게시글 | 댓글 크롤러, 바이두 톄바 게시글 | 바이두 톄바 댓글 답글 크롤러 | 즈후 질문 답변 글 | 댓글 크롤러
시각적 노코드 웹 크롤러/스파이더: 브라우저 자동화, 데이터 수집 및 웹 스크래핑 소프트웨어로, 코딩 없이 그래픽 방식으로 크롤링 작업을 설계하고 실행할 수 있습니다. 별칭: ServiceWrapper(웹 애플리케이션을 위한 지능형 서비스 캡슐화 시스템).
오픈소스 데이터 이동: ELT 파이프라인 및 AI 에이전트용 — API, 데이터베이스, 파일에서 데이터 웨어하우스, 데이터 레이크, AI 애플리케이션으로. 셀프 호스팅 및 클라우드.
🚀 Douyin, TikTok, Bilibili 데이터 수집 및 워터마크 없는 동영상 다운로드를 위한 셀프 호스팅 API입니다. MCP를 통한 AI 에이전트 호출과 오프라인 음성 텍스트 변환을 지원하며, Docker로 원클릭 배포할 수 있습니다. | TikTok, Douyin, Bilibili용 셀프 호스팅 스크레이퍼 및 워터마크 없는 동영상 다운로더 — 비동기 REST API, AI 에이전트용 MCP 서버, CLI와 웹 콘솔을 제공하며 다운로드한 동영상의 오프라인 음성 텍스트 변환도 지원합니다. 자동 복구 ID 풀, PostgreSQL 아카이브를 갖추고 `docker compose up` 한 번으로 실행할 수 있습니다.
이 GitHub 리포지토리는 간단한 자동화부터 전체 규모의 애플리케이션에 이르기까지 모든 것을 구축하는 데 즉시 사용할 수 있는 강력한 API 컬렉션입니다. GitHub에서 가장 가치 있는 API 목록 중 하나입니다. 💪
공식 Firecrawl MCP 서버, AI 에이전트를 위한 컨텍스트 API입니다. 모든 MCP 클라이언트에서 웹 검색, 스크래핑 및 상호작용은 물론 파싱, 크롤링, 매핑, Agent 및 Monitor 기능을 사용할 수 있습니다.
클라우드 구성 및 보안 데이터를 위한 데이터 파이프라인. 클라우드 자산 인벤토리, CSPM, FinOps 및 취약점 관리 솔루션을 구축합니다. AWS, Azure, GCP 및 70개 이상의 클라우드 및 SaaS 소스에서 데이터를 추출합니다.
Jitsu는 오픈소스 Segment 대안입니다. 최신 데이터 팀을 위한 완전 스크립트 가능 데이터 수집 엔진. 며칠이 아닌 몇 분 만에 실시간 데이터 파이프라인을 설정하세요.
전국 각 대학에서 입학 시 명시하지 않지만, 대학 생활의 질에 실질적으로 영향을 미치는 요구사항 및 세부 사항
Python을 사용한 웹 스크래핑 책의 코드 샘플 http://shop.oreilly.com/product/0636920034391.do
"치타이-고로드(Chitai-Gorod)" 카탈로그용 지능형 파서. ISBN부터 할인 동향에 이르기까지, 지정된 모든 매개변수에 기반한 고속 데이터 수집 및 구조화.
신책 데이터 공식 Android 매설 포인트 SDK는 Android 측 데이터 수집 매설 포인트 SDK로 가벼운 제품으로, 코드 매설 포인트, 전체 매설 포인트, 클릭 맵 및 시각화 전체 매설 포인트 기능을 포함합니다. 전체 매설 포인트는 신책 공식 Android 매설 포인트 플러그인을 협력하여 구현되며, 신책 데이터 공식 Android 매설 포인트 플러그인은 바이트코드 삽입(ASM) 기술을 사용하여 Android 측의 전체 매설 포인트(무 매설 포인트, 무 코드 매설 포인트, 무痕 매설 포인트, 자동 매설 포인트)를 구현합니다.
IoT DC3 — 물리적 세계를 AI에 연결합니다. Physical AI를 위한 오픈 소스 산업용 IoT 런타임: 36개의 프로토콜 드라이버, 엣지에서 클라우드로의 데이터 전달, 그리고 AI 에이전트가 안전하고 제어 가능하며 추적 가능한 루프 안에서 디바이스를 작동할 수 있도록 하는 MCP 도구 게이트웨이.
X/Twitter 리서치 스킬 (Claude Code 및 OpenClaw용). 에이전시 검색, 스레드 추적, 심층 탐색, 소스 기반 브리핑.
워싱턴 포스트는 2015년 이후 미국에서 경찰관이 직무 수행 중 발생한 모든 치명적 총격 사건에 대한 데이터베이스를 작성 중이다.
신체라 데이터 공식 Web JavaScript 추적 SDK는 Web 엔드와 H5 엔드용 경량 데이터 수집 추적 SDK입니다. 네이티브 JavaScript 기술을 사용하여 코드 추적, 전체 추적, 시각화 전체 추적, 웹 히트맵 및 도달 지도 등의 기능을 구현합니다.
SOAPHound는 Active Directory Web Services(ADWS) 프로토콜을 통해 Active Directory 환경을 열거하는 데 사용할 수 있는 맞춤 개발된 .NET 데이터 수집 도구입니다.
ODK Collect은 양식을 작성하기 위한 안드로이드 앱입니다. 전 세계의 도전적인 환경에서 수십억 개의 데이터 포인트를 수집하는 데 사용되었습니다. 기여하여 세상을 더 나은 곳으로 만드세요! ✨📋✨
200개 이상의 국가에서 9,000만 개 이상의 IP를 제공하는 주거용, 데이터센터, ISP 및 모바일 프록시와 스크래퍼 및 SERP API. Python, Node.js, PHP, Go, Java, C#, Ruby 및 curl 코드 예제 제공.
Deadpool 프록시 풀 도구를 사용하여 Hunter, Quake, Fofa 등과 같은 네트워크 공간 매핑 플랫폼에서 고품질 socks5 프록시를 가져오거나 로컬에서 socks5 프록시를 가져와 순환적으로 프록시를 사용하여 트래픽을 전달할 수 있습니다.
Augur가 한계에 다다랐을 때, 우리는 Aveloxis를 만들었습니다: OSS 메트릭 데이터를 안정적으로 수집하기 위해서죠. 3일 만에 40,000개의 저장소를 완전히 수집했다면, 괜찮은 성과 아닌가요?
도구가 어떻게 사용되고 있는지 이해하는 데 도움을 주기 위해 사용 지표를 Google Analytics에 익명으로 보고하는 Node.js 모듈
빅데이터 수집, 추출 플랫폼, zdh_web은 zdh 시리즈 서비스의 시각화 관리 플랫폼으로, 데이터 수집, 스케줄링, 권한, 승인 흐름, 사설 도메인 마케팅 등의 모듈을 포함합니다
자주 묻는 질문
GitHub에서 가장 인기 있는 #data-collection 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #data-collection 프로젝트는 71,528개의 스타를 받은 NanmiCoder/MediaCrawler입니다. 샤오홍슈 노트 | 댓글 크롤러, 도우인 동영상 | 댓글 크롤러, 콰이쇼우 동영상 | 댓글 크롤러, B站 동영상 | 댓글 크롤러, 웨이보 게시글 | 댓글 크롤러, 바이두 톄바 게시글 | 바이두 톄바 댓글 답글 크롤러 | 즈후 질문 답변 글 | 댓글 크롤러
#data-collection 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #data-collection 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, JavaScript, Java, Go입니다.
#data-collection 저장소 순위는 어떻게 계산되나요?
#data-collection 태그가 지정된 활성 오픈 소스 저장소(52개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 268,114개이며 저장소당 평균 5,156개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.