Git Stars Git Stars

#data-extraction リポジトリ

131
リポジトリ総数
729,329
合計スター数
5,567
リポジトリあたりの平均スター数

リポジトリ合計131件

51
hi-primus/optimus

:truck: Pandas、Dask、cuDF、Dask-cuDF、Vaex、PySpark を使用して Agile データ準備ワークフローを簡単に

hi-primus
⭐ 1,539 Python 👤 hi-primus Organization 🕐 更新日時 2024-12-02 📅 作成日 2017-07-13
52
chinoogawa/fbht

Facebookハッキングツール

chinoogawa
⭐ 1,510 Python 👤 chinoogawa User 🕐 更新日時 2024-05-09 📅 作成日 2013-12-16
53
ShilongLee/Crawler

抖音(a_bogus最新版)、快手、哔哩哔哩、小红书、淘宝、京东、微博などのプラットフォームのクローラーオープンソースAPIインターフェースサーバー。Dockerによるワンクリック高速デプロイ。

ShilongLee
⭐ 1,490 JavaScript 👤 ShilongLee User 🕐 更新日時 2026-10-19 📅 作成日 2024-05-24
54
HolographicHat/Yae

より速く、より正確な原神データエクスポートツール

HolographicHat
⭐ 1,471 C# 👤 HolographicHat User 🕐 更新日時 2026-11-15 📅 作成日 2022-03-21
55
Miserlou/SoundScrape

PythonによるSoundCloud(およびBandcamp、Mixcloud)ダウンローダー。

Miserlou
⭐ 1,436 Python 👤 Miserlou User 🕐 更新日時 2024-06-23 📅 作成日 2013-12-29
56
wyzxxz/heapdump_tool

heapdumpの機密情報検索ツール。例: spring heapdump内の平文パスワード、AK、SKなどの検索

wyzxxz
⭐ 1,430 👤 wyzxxz User 🕐 更新日時 2024-05-21 📅 作成日 2021-08-06
57
ScrapingBee/ai-web-scraper

AIスクレイパーAPIでデータを簡単に抽出。データ抽出を簡素化し、クリーンなJSON出力を取得して、ページの変更にも柔軟に対応します。今すぐ無料でお試しください!

ScrapingBee
⭐ 1,424 👤 ScrapingBee Organization 🕐 更新日時 2026-03-13 📅 作成日 2026-03-12
58
thinh-vu/vnstock

金融分析および自動化のための、初心者にも使いやすく強力な Python ツールキット — すべての人にとって現代の投資をより身近なものにするために構築されました

thinh-vu
⭐ 1,422 👤 thinh-vu User 🕐 更新日時 2026-11-07 📅 作成日 2022-02-27
59
facundoolano/app-store-scraper

iTunes App Storeからデータをスクレイプ

facundoolano
⭐ 1,396 JavaScript 👤 facundoolano User 🕐 更新日時 2025-07-27 📅 作成日 2016-05-31
60
raznem/parsera

LLMを用いたウェブサイトスクレイピングのための軽量ライブラリ

raznem
⭐ 1,372 Python 👤 raznem User 🕐 更新日時 2025-12-17 📅 作成日 2024-08-12
61
philippta/flyscrape

Flyscrapeは、高度なプログラミングスキルを持たないユーザー向けに設計されたコマンドラインWebスクレイピングツールです。

philippta
⭐ 1,347 Go 👤 philippta User 🕐 更新日時 2025-11-24 📅 作成日 2023-08-28
62
mvdbos/php-spider

構成可能で拡張可能な PHP ウェブスパイダー

mvdbos
⭐ 1,338 PHP 👤 mvdbos User 🕐 更新日時 2026-11-02 📅 作成日 2013-02-25
63
Sniper970119/dianping_spider

Dianpingクローラー(全サイトクロール可能、動的フォント暗号化を解決、OCRなし)。継続的に更新

Sniper970119
⭐ 1,329 Python 👤 Sniper970119 User 🕐 更新日時 2026-11-03 📅 作成日 2021-01-22
64
jbarrow/commonforms

CommonForms — PDFフォームフィールドを自動検出するためのオープンモデル

jbarrow
⭐ 1,309 Python 👤 jbarrow User 🕐 更新日時 2026-06-17 📅 作成日 2025-09-17
65
firecrawl/fire-enrich

FirecrawlとマルチエージェントAIを使用して、電子メールを会社プロフィール、資金調達データ、技術スタックなどを含む豊富なデータセットに変換するAI駆動のデータエンリッチメントツール

firecrawl
⭐ 1,308 TypeScript 👤 firecrawl Organization 🕐 更新日時 2026-10-26 📅 作成日 2025-06-06
66
fastcrw/crw

Rust製の高速かつ軽量なFirecrawl/Tavily代替ツール。AIエージェント向けのMCPサーバーを備えたWebスクレイパー、クローラー、検索API。Firecrawl互換のドロップインAPI(/scrape, /crawl, /search)を提供。1K URLのベンチマークでTavilyより2.3倍、Firecrawlより1.5倍高速。6MBのRAM、シングルバイナリ。セルフホストまたはマネージドクラウドで利用可能。

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-03-02
67
raawaa/jav-scrapy

AV磁力リンクやカバーの一括取得の苦労人

raawaa
⭐ 1,275 JavaScript 👤 raawaa User 🕐 更新日時 2026-10-17 📅 作成日 2015-10-31
68
google/textfsm

半構造化テキストを Python テーブルに解析するための Python モジュール。

google
⭐ 1,258 Python 👤 google Organization 🕐 更新日時 2026-11-16 📅 作成日 2015-06-23
69
KillzXGaming/Switch-Toolbox

多くのビデオゲームファイル形式を編集するためのツール

KillzXGaming
⭐ 1,249 C# 👤 KillzXGaming User 🕐 更新日時 2026-11-15 📅 作成日 2018-11-12
71
yfedoseev/pdf_oxide

PythonとRustのための最速PDFライブラリ。テキスト抽出、画像抽出、マークダウン変換、PDF作成・編集。平均0.8ms、業界リーダーより5倍速く、3,830 PDFで100%合格率。MIT/Apache-2.0.

yfedoseev
⭐ 1,205 Rust 👤 yfedoseev User 🕐 更新日時 2026-11-21 📅 作成日 2025-11-05
72
andreroggeri/pynubank

PythonでNubankの明細にアクセスしてください

andreroggeri
⭐ 1,197 Python 👤 andreroggeri User 🕐 更新日時 2026-11-19 📅 作成日 2017-06-19
73
dchrastil/ScrapedIn

API制限なしでLinkedInをスクレイピングするデータ偵察ツール

dchrastil
⭐ 1,168 Python 👤 dchrastil User 🕐 更新日時 2024-04-11 📅 作成日 2018-03-29
74
soxoj/socid-extractor

⛏️ Maigretの背後にある抽出エンジン:任意のプロフィールURLを150以上のサイトにわたる構造化されたOSINTレコードに変換

soxoj
⭐ 1,143 Python 👤 soxoj User 🕐 更新日時 2026-11-20 📅 作成日 2019-11-17
76
caolvchong-top/twitter_download

Twitter 画像 動画 クローラー; ワンクリックダウンロード

caolvchong-top
⭐ 1,087 Python 👤 caolvchong-top User 🕐 更新日時 2026-07-28 📅 作成日 2022-08-23
77
utkarshkukreti/select.rs

HTMLドキュメントから有用なデータを抽出するためのRustライブラリ。ウェブスクレイピングに適しています。

utkarshkukreti
⭐ 1,018 Rust 👤 utkarshkukreti User 🕐 更新日時 2025-03-19 📅 作成日 2015-07-15
78
stravalib/stravalib

Strava の REST API (v3) へのシンプルなクライアントインターフェースを提供するライブラリ。

stravalib
⭐ 1,002 Python 👤 stravalib Organization 🕐 更新日時 2026-11-21 📅 作成日 2013-03-17
79
WittmannF/sort-google-scholar

引用数の数に基づいた Google Scholar 検索結果のランキング

WittmannF
⭐ 999 Python 👤 WittmannF User 🕐 更新日時 2026-10-30 📅 作成日 2016-04-30
80
busiyiworld/maimemo-export

墨墨背单词の単語帳をエクスポートし、List背单词、不背单词、欧陆词典などに適したカスタム単語帳を生成するために使用されます。

busiyiworld
⭐ 995 TypeScript 👤 busiyiworld Organization 🕐 更新日時 2025-10-30 📅 作成日 2021-03-29
81
YaoZeyuan/zhihuhelp

Node&TypeScript 기반 知乎アシスタントの書き直し

YaoZeyuan
⭐ 985 TypeScript 👤 YaoZeyuan User 🕐 更新日時 2026-10-24 📅 作成日 2019-02-04
82
AutoAccountingOrg/AutoAccounting

すべての請求書は記録する価値があります!

AutoAccountingOrg
⭐ 984 Kotlin 👤 AutoAccountingOrg Organization 🕐 更新日時 2026-10-23 📅 作成日 2024-01-04
84
paperswithcode/paperswithcode-data

paperswithcode.com の背後にある完全なデータセット

paperswithcode
⭐ 938 👤 paperswithcode Organization 🕐 更新日時 2025-09-08 📅 作成日 2019-01-31
85
browser-use/awesome-prompts

素晴らしいブラウザ使用プロンプトのテーブル

browser-use
⭐ 926 👤 browser-use Organization 🕐 更新日時 2025-03-26 📅 作成日 2025-03-26
86
eclaire-labs/eclaire

ローカルファースト、オープンソースのデータ用AIアシスタント。タスク、メモ、ドキュメント、写真、ブックマークを統合。プライベート、セルフホスト型で、API経由で拡張可能。

eclaire-labs
⭐ 925 TypeScript 👤 eclaire-labs Organization 🕐 更新日時 2026-11-08 📅 作成日 2025-09-02
87
goose3/goose3

Python 3 互換の goose バージョン http://goose3.readthedocs.io/en/latest/index.html

goose3
⭐ 916 HTML 👤 goose3 Organization 🕐 更新日時 2026-07-23 📅 作成日 2016-12-11
88
Rishikant181/Rettiwt-API

Twitterから無料でデータを取得するためのCLIツールとAPI!

Rishikant181
⭐ 904 TypeScript 👤 Rishikant181 User 🕐 更新日時 2026-11-10 📅 作成日 2022-01-24
⭐ 900 👤 golangboy User 🕐 更新日時 2025-03-25 📅 作成日 2025-03-24
90
Mingtzge/2019-CCF-BDCI-OCR-MCZJ-OCR-IdentificationIDElement

2019CCF-BDCI大会 最優秀イノベーション探索賞受賞者 OCRベースの身分証明書要素抽出課題チャンピオン 天晨破晓チーム 課題ソースコード

Mingtzge
⭐ 899 Python 👤 Mingtzge User 🕐 更新日時 2024-07-25 📅 作成日 2019-12-30
91
microsoft/typeagent-py

構造化RAG:取り込み、インデックス作成、クエリ

microsoft
⭐ 898 Python 👤 microsoft Organization 🕐 更新日時 2026-11-14 📅 作成日 2025-09-09
93
coddingtonbear/python-myfitnesspal

MyFitnessPal に保存された食事追跡データをプログラム的にアクセスする

coddingtonbear
⭐ 875 Python 👤 coddingtonbear User 🕐 更新日時 2025-09-28 📅 作成日 2013-07-16
94
frictionlessdata/frictionless-py

表形式データを説明、抽出、検証、変換する機能を提供するPython用データ管理フレームワーク

frictionlessdata
⭐ 859 Python 👤 frictionlessdata Organization 🕐 更新日時 2026-10-15 📅 作成日 2014-12-23
95
longxiaofei/spider-BaiduIndex

Baidu Index 向けデータ SDK

longxiaofei
⭐ 800 Python 👤 longxiaofei User 🕐 更新日時 2025-11-24 📅 作成日 2018-09-27
96
linkedin/URL-Detector

テキスト内のURLを検出および正規化するJavaライブラリ

linkedin
⭐ 786 Java 👤 linkedin Organization 🕐 更新日時 2025-07-12 📅 作成日 2015-02-06
97
LYiHub/platform-war-public

ソーシャルプラットフォームのユーザーコメントからマルチLLMエージェントを作成し、特定のトピックについて議論させるチャットボット/GraphRAGフレームワーク。

LYiHub
⭐ 783 Python 👤 LYiHub Organization 🕐 更新日時 2024-12-14 📅 作成日 2024-12-14
98
Higurashi-kagome/wereader

ブラウザ拡張機能:主にWeChat Readでのメモに使用され、Markdownでメモをよく取る読者にとって非常に役立ちます。

Higurashi-kagome
⭐ 775 TypeScript 👤 Higurashi-kagome User 🕐 更新日時 2025-08-31 📅 作成日 2020-06-04
99
mattsse/voyager

rustでウェブページをクロールおよびスクレイピング

mattsse
⭐ 767 Rust 👤 mattsse User 🕐 更新日時 2024-12-14 📅 作成日 2020-12-22
100
python-mechanize/mechanize

python-mechanize プロジェクトの公式ソースコード

python-mechanize
⭐ 760 Python 👤 python-mechanize Organization 🕐 更新日時 2026-11-16 📅 作成日 2017-03-08