Git Stars Git Stars

#data-extraction 저장소

131
총 리포지토리
729,329
총 별점
5,567
리포지토리당 평균 스타 수

저장소 총 131개

51
hi-primus/optimus

:truck: Pandas, Dask, cuDF, Dask-cuDF, Vaex 및 PySpark로 쉽게 만드는 민첩한 데이터 준비 워크플로우

hi-primus
⭐ 1,539 Python 👤 hi-primus Organization 🕐 업데이트됨 2024-12-02 📅 생성됨 2017-07-13
52
chinoogawa/fbht

페이스북 해킹 도구

chinoogawa
⭐ 1,510 Python 👤 chinoogawa User 🕐 업데이트됨 2024-05-09 📅 생성됨 2013-12-16
53
ShilongLee/Crawler

도우인(a_bogus 최신 버전), 콰이쇼우, 빌리빌리, 샤오홍슈, 타오바오, 징동, 웨이보 등 플랫폼의 크롤링 오픈 소스 API 인터페이스 서버. Docker를 통한 원클릭 빠른 배포.

ShilongLee
⭐ 1,490 JavaScript 👤 ShilongLee User 🕐 업데이트됨 2026-10-19 📅 생성됨 2024-05-24
54
HolographicHat/Yae

더 빠르고 정확한 원신 데이터 내보내기 도구

HolographicHat
⭐ 1,471 C# 👤 HolographicHat User 🕐 업데이트됨 2026-11-15 📅 생성됨 2022-03-21
55
Miserlou/SoundScrape

Python으로 SoundCloud (및 Bandcamp, Mixcloud) 다운로더.

Miserlou
⭐ 1,436 Python 👤 Miserlou User 🕐 업데이트됨 2024-06-23 📅 생성됨 2013-12-29
56
wyzxxz/heapdump_tool

스프링 힙덤프에서 비밀번호 평문, AK, SK 등을 찾는 힙덤프 민감 정보 조회 도구

wyzxxz
⭐ 1,430 👤 wyzxxz User 🕐 업데이트됨 2024-05-21 📅 생성됨 2021-08-06
57
ScrapingBee/ai-web-scraper

AI 스크래퍼 API로 손쉽게 데이터를 추출하세요. 데이터 추출을 간소화하고, 깔끔한 JSON 출력을 얻으며, 페이지 변경 사항에 유연하게 대응하세요. 지금 무료로 사용해 보세요!

ScrapingBee
⭐ 1,424 👤 ScrapingBee Organization 🕐 업데이트됨 2026-03-13 📅 생성됨 2026-03-12
58
thinh-vu/vnstock

모든 사람이 현대적인 투자를 쉽게 접할 수 있도록 구축된, 초보자 친화적이면서도 강력한 재무 분석 및 자동화용 Python 툴킷

thinh-vu
⭐ 1,422 👤 thinh-vu User 🕐 업데이트됨 2026-11-07 📅 생성됨 2022-02-27
59
facundoolano/app-store-scraper

iTunes App Store에서 데이터 스크래핑

facundoolano
⭐ 1,396 JavaScript 👤 facundoolano User 🕐 업데이트됨 2025-07-27 📅 생성됨 2016-05-31
60
raznem/parsera

LLM을 이용한 웹사이트 스크래핑을 위한 경량 라이브러리

raznem
⭐ 1,372 Python 👤 raznem User 🕐 업데이트됨 2025-12-17 📅 생성됨 2024-08-12
61
philippta/flyscrape

Flyscrape는 고급 프로그래밍 기술이 없는 사용자를 위해 설계된 명령줄 웹 스크래핑 도구입니다.

philippta
⭐ 1,347 Go 👤 philippta User 🕐 업데이트됨 2025-11-24 📅 생성됨 2023-08-28
62
mvdbos/php-spider

구성 가능하고 확장 가능한 PHP 웹 스파이더

mvdbos
⭐ 1,338 PHP 👤 mvdbos User 🕐 업데이트됨 2026-11-02 📅 생성됨 2013-02-25
63
Sniper970119/dianping_spider

Dianping 크롤러 (전체 사이트 크롤링 가능, 동적 폰트 암호화 해결, OCR 아님). 지속적인 업데이트

Sniper970119
⭐ 1,329 Python 👤 Sniper970119 User 🕐 업데이트됨 2026-11-03 📅 생성됨 2021-01-22
64
jbarrow/commonforms

CommonForms — PDF 양식 필드를 자동 감지하는 오픈 모델

jbarrow
⭐ 1,309 Python 👤 jbarrow User 🕐 업데이트됨 2026-06-17 📅 생성됨 2025-09-17
65
firecrawl/fire-enrich

Firecrawl 및 멀티 에이전트 AI를 사용하여 이메일을 회사 프로필, 투자 데이터, 기술 스택 등이 포함된 풍부한 데이터 세트로 변환하는 AI 기반 데이터 강화 도구

firecrawl
⭐ 1,308 TypeScript 👤 firecrawl Organization 🕐 업데이트됨 2026-10-26 📅 생성됨 2025-06-06
66
fastcrw/crw

Rust로 작성된 빠르고 가벼운 Firecrawl/Tavily 대안. AI 에이전트를 위한 MCP 서버가 포함된 웹 스크레이퍼, 크롤러 및 검색 API. Firecrawl 호환 드롭인 API(/scrape, /crawl, /search) 제공. 1K URL 벤치마크에서 Tavily보다 2.3배, Firecrawl보다 1.5배 빠름. 6MB RAM, 단일 바이너리. 자체 호스팅 또는 관리형 클라우드 사용 가능.

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-03-02
67
raawaa/jav-scrapy

AV 자석 링크나 표지의 대량 수집을 위한 고생꾼

raawaa
⭐ 1,275 JavaScript 👤 raawaa User 🕐 업데이트됨 2026-10-17 📅 생성됨 2015-10-31
68
google/textfsm

반구조화된 텍스트를 Python 테이블로 파싱하는 Python 모듈.

google
⭐ 1,258 Python 👤 google Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2015-06-23
69
KillzXGaming/Switch-Toolbox

많은 비디오 게임 파일 형식을 편집하는 도구

KillzXGaming
⭐ 1,249 C# 👤 KillzXGaming User 🕐 업데이트됨 2026-11-15 📅 생성됨 2018-11-12
71
yfedoseev/pdf_oxide

Python과 Rust를 위한 가장 빠른 PDF 라이브러리. 텍스트 추출, 이미지 추출, 마크다운 변환, PDF 생성 및 편집. 평균 0.8ms, 업계 선두보다 5배 빠름, 3,830개 PDF에서 100% 성공률. MIT/Apache-2.0.

yfedoseev
⭐ 1,205 Rust 👤 yfedoseev User 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-11-05
72
andreroggeri/pynubank

Python을 통해 Nubank 명세서에 액세스하세요

andreroggeri
⭐ 1,197 Python 👤 andreroggeri User 🕐 업데이트됨 2026-11-19 📅 생성됨 2017-06-19
73
dchrastil/ScrapedIn

API 제한 없이 LinkedIn을 스크래핑하는 데이터 정찰 도구

dchrastil
⭐ 1,168 Python 👤 dchrastil User 🕐 업데이트됨 2024-04-11 📅 생성됨 2018-03-29
74
soxoj/socid-extractor

⛏️ Maigret 뒤에 있는 추출 엔진: 모든 프로필 URL을 150개 이상의 사이트에서 구조화된 OSINT 기록으로 변환

soxoj
⭐ 1,143 Python 👤 soxoj User 🕐 업데이트됨 2026-11-20 📅 생성됨 2019-11-17
76
caolvchong-top/twitter_download

트위터 이미지 비디오 크롤러; 원클릭 다운로드

caolvchong-top
⭐ 1,087 Python 👤 caolvchong-top User 🕐 업데이트됨 2026-07-28 📅 생성됨 2022-08-23
77
utkarshkukreti/select.rs

HTML 문서에서 유용한 데이터를 추출하기 위한 Rust 라이브러리, 웹 스크래핑에 적합합니다.

utkarshkukreti
⭐ 1,018 Rust 👤 utkarshkukreti User 🕐 업데이트됨 2025-03-19 📅 생성됨 2015-07-15
78
stravalib/stravalib

Strava의 REST API (v3)에 대한 간단한 클라이언트 인터페이스를 제공하는 라이브러리.

stravalib
⭐ 1,002 Python 👤 stravalib Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2013-03-17
79
WittmannF/sort-google-scholar

인용 횟수에 기반한 Google Scholar 검색 결과 랭킹

WittmannF
⭐ 999 Python 👤 WittmannF User 🕐 업데이트됨 2026-10-30 📅 생성됨 2016-04-30
80
busiyiworld/maimemo-export

墨墨背单词의 단어장을 내보내고 List背单词, 不背单词, 欧陆词典 등에 적용 가능한 사용자 정의 단어장을 생성합니다.

busiyiworld
⭐ 995 TypeScript 👤 busiyiworld Organization 🕐 업데이트됨 2025-10-30 📅 생성됨 2021-03-29
81
YaoZeyuan/zhihuhelp

Node&TypeScript 기반 Zhihu 어시스턴트 재작성

YaoZeyuan
⭐ 985 TypeScript 👤 YaoZeyuan User 🕐 업데이트됨 2026-10-24 📅 생성됨 2019-02-04
82
AutoAccountingOrg/AutoAccounting

모든 청구서는 기록할 가치가 있습니다!

AutoAccountingOrg
⭐ 984 Kotlin 👤 AutoAccountingOrg Organization 🕐 업데이트됨 2026-10-23 📅 생성됨 2024-01-04
84
paperswithcode/paperswithcode-data

paperswithcode.com의 전체 데이터셋

paperswithcode
⭐ 938 👤 paperswithcode Organization 🕐 업데이트됨 2025-09-08 📅 생성됨 2019-01-31
85
browser-use/awesome-prompts

멋진 브라우저 사용 프롬프트 테이블

browser-use
⭐ 926 👤 browser-use Organization 🕐 업데이트됨 2025-03-26 📅 생성됨 2025-03-26
86
eclaire-labs/eclaire

사용자의 데이터를 위한 로컬 우선, 오픈 소스 AI 어시스턴트. 작업, 메모, 문서, 사진 및 북마크를 통합합니다. 비공개, 자체 호스팅되며 API를 통해 확장 가능합니다.

eclaire-labs
⭐ 925 TypeScript 👤 eclaire-labs Organization 🕐 업데이트됨 2026-11-08 📅 생성됨 2025-09-02
87
goose3/goose3

Python 3와 호환되는 goose 버전 http://goose3.readthedocs.io/en/latest/index.html

goose3
⭐ 916 HTML 👤 goose3 Organization 🕐 업데이트됨 2026-07-23 📅 생성됨 2016-12-11
88
Rishikant181/Rettiwt-API

Twitter에서 무료로 데이터를 가져오는 CLI 도구 및 API!

Rishikant181
⭐ 904 TypeScript 👤 Rishikant181 User 🕐 업데이트됨 2026-11-10 📅 생성됨 2022-01-24
⭐ 900 👤 golangboy User 🕐 업데이트됨 2025-03-25 📅 생성됨 2025-03-24
90
Mingtzge/2019-CCF-BDCI-OCR-MCZJ-OCR-IdentificationIDElement

2019CCF-BDCI 대회 최우수 혁신 탐구상 수상자 OCR 기반 신분증 요소 추출 주제 챔피언 천晨破晓 팀 주제 소스 코드

Mingtzge
⭐ 899 Python 👤 Mingtzge User 🕐 업데이트됨 2024-07-25 📅 생성됨 2019-12-30
91
microsoft/typeagent-py

구조화된 RAG: 수집, 인덱싱, 쿼리

microsoft
⭐ 898 Python 👤 microsoft Organization 🕐 업데이트됨 2026-11-14 📅 생성됨 2025-09-09
93
coddingtonbear/python-myfitnesspal

MyFitnessPal에 저장된 식사 추적 데이터를 프로그래밍 방식으로 액세스하세요

coddingtonbear
⭐ 875 Python 👤 coddingtonbear User 🕐 업데이트됨 2025-09-28 📅 생성됨 2013-07-16
94
frictionlessdata/frictionless-py

테이블 형식 데이터를 설명, 추출, 유효성 검사 및 변환하는 기능을 제공하는 Python용 데이터 관리 프레임워크

frictionlessdata
⭐ 859 Python 👤 frictionlessdata Organization 🕐 업데이트됨 2026-10-15 📅 생성됨 2014-12-23
95
longxiaofei/spider-BaiduIndex

Baidu Index용 데이터 SDK

longxiaofei
⭐ 800 Python 👤 longxiaofei User 🕐 업데이트됨 2025-11-24 📅 생성됨 2018-09-27
96
linkedin/URL-Detector

텍스트에서 URL을 감지하고 정규화하는 Java 라이브러리

linkedin
⭐ 786 Java 👤 linkedin Organization 🕐 업데이트됨 2025-07-12 📅 생성됨 2015-02-06
97
LYiHub/platform-war-public

소셜 플랫폼 사용자 댓글에서 멀티 LLM 에이전트를 생성하고 특정 주제에 대해 토론하게 하는 챗봇/GraphRAG 프레임워크.

LYiHub
⭐ 783 Python 👤 LYiHub Organization 🕐 업데이트됨 2024-12-14 📅 생성됨 2024-12-14
98
Higurashi-kagome/wereader

브라우저 확장 프로그램: 주로 위챗 독서에서 메모하는 데 사용되며, 마크다운으로 메모하는 것을 자주 사용하는 독자에게 매우 유용합니다.

Higurashi-kagome
⭐ 775 TypeScript 👤 Higurashi-kagome User 🕐 업데이트됨 2025-08-31 📅 생성됨 2020-06-04
99
mattsse/voyager

rust로 웹페이지 크롤링 및 스크래핑

mattsse
⭐ 767 Rust 👤 mattsse User 🕐 업데이트됨 2024-12-14 📅 생성됨 2020-12-22
100
python-mechanize/mechanize

python-mechanize 프로젝트의 공식 소스 코드

python-mechanize
⭐ 760 Python 👤 python-mechanize Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2017-03-08