Git Stars Git Stars

#data-extraction リポジトリ

#data-extractionのタグが付いた、GitHub上の131件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は729,329個で、プロジェクトあたりの平均は5,567個です。このトピックをリードしているのは、205,758個のスターを獲得しているfirecrawl/firecrawlです。

131
リポジトリ総数
729,329
合計スター数
5,567
リポジトリあたりの平均スター数

リポジトリ合計131件

1
firecrawl/firecrawl

エージェントをより賢くするためのナレッジインフラストラクチャ。1つのAPIで、550以上のデータプロバイダーを検索、スクレイピング、利用できます。

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-04-15
2
D4Vinci/Scrapling

🕷️ 1件のリクエストから大規模なクロールまで、あらゆる用途に対応する最高のウェブスクレイピングフレームワーク!遠慮せずにこちらから参加してください:https://discord.gg/EMgGbDceNQ 毎日のヒントや便利なテクニックはこちらをフォロー:https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 更新日時 2026-11-17 📅 作成日 2024-10-13
3
unclecode/crawl4ai

公式 Crawl4AI Cloud:AIエージェント向けの、ホスト型ウェブスクレイピング・抽出・検索API。APIキーは無料で、毎月1,000クレジットを利用でき、カード登録も不要です。完全なオープンソースです。このリポジトリにはサービスを支えるApache-2.0ライセンスのクローラーが含まれており、自分でホストすることもできます。

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 更新日時 2026-11-20 📅 作成日 2024-05-09
4
ScrapeGraphAI/Scrapegraph-ai

AIベースのPythonスクレイパー

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 更新日時 2026-10-06 📅 作成日 2024-01-27
5
browserbase/stagehand

ウェブ上のあらゆるサイトからデータを抽出し、操作するための SDK。Claude Code、Codex、Eve、Mastra などを使って始めましょう。

browserbase
⭐ 26,109 TypeScript 👤 browserbase Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-03-24
6
getmaxun/maxun

あらゆるウェブサイトを構造化APIに変換。ウェブ上の情報を抽出、自動化、検索、監視できます。

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 更新日時 2026-11-20 📅 作成日 2023-10-23
7
ReFirmLabs/binwalk

ファームウェア分析ツール

ReFirmLabs
⭐ 14,731 Rust 👤 ReFirmLabs Organization 🕐 更新日時 2026-08-11 📅 作成日 2013-11-15
8
phiresky/ripgrep-all

rga: ripgrep, ただし PDF、電子書籍、Office ドキュメント、zip、tar.gz などでも検索可能。

phiresky
⭐ 9,937 Rust 👤 phiresky User 🕐 更新日時 2026-09-17 📅 作成日 2019-06-04
9
scrapinghub/portia

Scrapyのためのビジュアルスクレイピング

scrapinghub
⭐ 9,479 Python 👤 scrapinghub Organization 🕐 更新日時 2024-06-26 📅 作成日 2014-03-21
10
cv-cat/Spider_XHS

小紅書(RED)クローラーによるデータ収集、小紅書リバースエンジニアリング、ダイレクトメッセージ、ライブ配信、小紅書全域運営ソリューション

cv-cat
⭐ 8,542 Python 👤 cv-cat User 🕐 更新日時 2026-10-22 📅 作成日 2023-08-08
11
ericchiang/pup

コマンドラインでのHTML解析

ericchiang
⭐ 8,372 HTML 👤 ericchiang User 🕐 更新日時 2024-05-02 📅 作成日 2014-09-01
12
mgdm/htmlq

jq のように、HTML 用。

mgdm
⭐ 7,591 Rust 👤 mgdm User 🕐 更新日時 2026-05-27 📅 作成日 2019-05-07
13
browser-act/skills

AIエージェント向けに構築されたブラウザ自動化CLI。アンチボットの壁を突破し、行き詰まったら複数のプラットフォームで人間に引き継ぎます。並列マルチタスク実行、独立したマルチセッション操作、分離されたマルチアカウントブラウジング。

browser-act
⭐ 6,385 Python 👤 browser-act Organization 🕐 更新日時 2026-11-04 📅 作成日 2026-02-06
14
nickscamara/open-deep-research

オープンソースのディープリサーチクローン。Firecrawlで抽出された大量のWebデータに基づいて推論するAIエージェント

nickscamara
⭐ 6,242 TypeScript 👤 nickscamara User 🕐 更新日時 2025-05-07 📅 作成日 2025-02-03
15
MontFerret/ferret

構造化抽出ワークフローのための宣言型データ自動化言語とGoランタイム。

MontFerret
⭐ 6,025 Go 👤 MontFerret Organization 🕐 更新日時 2026-11-19 📅 作成日 2018-08-23
16
matthewmueller/x-ray

次のWebスクレイパー。<html>のノイズを見抜く。

matthewmueller
⭐ 5,899 JavaScript 👤 matthewmueller User 🕐 更新日時 2026-08-31 📅 作成日 2015-02-05
17
vi3k6i5/flashtext

文からキーワードを抽出するか、文中のキーワードを置き換えます。

vi3k6i5
⭐ 5,714 Python 👤 vi3k6i5 User 🕐 更新日時 2025-04-13 📅 作成日 2017-08-15
18
Hammer1/cozeworkflows

Coze の 200+ ワークフロー コレクション、継続的な更新

Hammer1
⭐ 5,446 👤 Hammer1 User 🕐 更新日時 2025-07-27 📅 作成日 2025-07-27
19
ultrafunkamsterdam/nodriver

Undetected-Chromedriverの後継。Captcha / CloudFlare / Imperva / hCaptchaのような迷惑なアンチボットシステムによって通常妨げられるWebオートメーション、Webスクレイピング、ボット、およびその他の創造的なアイデアのための非常に高速なフレームワークを提供します。

ultrafunkamsterdam
⭐ 4,950 Python 👤 ultrafunkamsterdam User 🕐 更新日時 2026-10-26 📅 作成日 2024-02-20
20
REMitchell/python-scraping

書籍『Web Scraping with Python』のコードサンプル http://shop.oreilly.com/product/0636920034391.do

REMitchell
⭐ 4,669 Jupyter Notebook 👤 REMitchell User 🕐 更新日時 2024-06-01 📅 作成日 2015-06-14
21
AhmadHassan-BTed/Noria

メッセージングプラットフォーム向けのエージェント型情報抽出ツール。NoriaはチャットでメッセージやURLを受け取り、ウェブデータを収集して、カスタムの評価基準(求人、奨学金など)に基づいて内容を評価します。その後、算出した適合スコアを含む構造化された要約を、割り当てられたメッセンジャーの番号に直接送信します。

AhmadHassan-BTed
⭐ 4,624 JavaScript 👤 AhmadHassan-BTed User 🕐 更新日時 2026-11-10 📅 作成日 2026-05-31
22
meta/duckling

入力文字列上で構成可能な言語ルールを表現、テスト、評価するための言語、エンジン、およびツール。

meta
⭐ 4,328 Haskell 👤 meta Organization 🕐 更新日時 2026-03-15 📅 作成日 2017-03-02
23
tomnomnom/waybackurls

Wayback Machine がドメインについて知っているすべての URL を取得する

tomnomnom
⭐ 4,255 Go 👤 tomnomnom User 🕐 更新日時 2024-05-01 📅 作成日 2018-01-24
24
scrapinghub/splash

軽量でスクリプタブルなブラウザをサービスとして、HTTP API付き

scrapinghub
⭐ 4,197 Python 👤 scrapinghub Organization 🕐 更新日時 2024-08-02 📅 作成日 2013-05-20
25
CrawlScript/WebCollector

WebCollectorはJavaベースのオープンソースWebクローラーフレームワークです。Webのクロールにいくつかの単純なインターフェースを提供しており、5分以内にマルチスレッドWebクローラーをセットアップできます。

CrawlScript
⭐ 3,073 Java 👤 CrawlScript Organization 🕐 更新日時 2026-02-10 📅 作成日 2014-07-12
26
goldsmith/Wikipedia

Wikipedia API の Pythonic ラッパー

goldsmith
⭐ 3,014 Python 👤 goldsmith User 🕐 更新日時 2026-10-25 📅 作成日 2013-08-20
27
brightdata/brightdata-mcp

パブリックWebアクセス向けのオールインワンソリューションを提供する強力なModel Context Protocol (MCP)サーバー。

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 更新日時 2026-11-18 📅 作成日 2025-04-15
28
smalot/pdfparser

スタンドアロンのPHPライブラリであるPdfParserは、PDFファイルからデータを抽出するためのさまざまなツールを提供します。

smalot
⭐ 2,732 PHP 👤 smalot User 🕐 更新日時 2026-10-13 📅 作成日 2013-08-30
29
Predidit/KazumiRules

Kazumiのルールホスティングリポジトリ、貢献を歓迎します ^•ﻌ•^

Predidit
⭐ 2,653 Dart 👤 Predidit User 🕐 更新日時 2026-11-13 📅 作成日 2024-05-22
30
Bistutu/GoMusic

Netease Cloud/Qishui/QQ MusicのプレイリストをApple/Youtube/Spotify Musicに移行

Bistutu
⭐ 2,552 Go 👤 Bistutu User 🕐 更新日時 2026-11-21 📅 作成日 2023-10-07
31
tavily-ai/tavily-mcp

リアルタイム検索、抽出、マッピング、クロールを備えた本番環境対応MCPサーバー。

tavily-ai
⭐ 2,499 TypeScript 👤 tavily-ai Organization 🕐 更新日時 2026-11-18 📅 作成日 2025-01-27
32
jmespath/jmespath.py

JMESPath は JSON 用のクエリ言語です。

jmespath
⭐ 2,458 Python 👤 jmespath Organization 🕐 更新日時 2026-04-20 📅 作成日 2013-02-19
33
saifyxpro/HeadlessX

検知されない自己ホスト型ブラウザ自動化プラットフォーム。Camoufox(Firefox)により0%の検出率を実現。高速性、プライバシー、スケーラビリティを備えて構築されています。

saifyxpro
⭐ 2,365 TypeScript 👤 saifyxpro User 🕐 更新日時 2026-11-12 📅 作成日 2025-09-12
34
dataabc/weibo-search

Weibo検索結果情報を取得します。検索はWeiboキーワード検索またはWeiboトピック検索のいずれかになります。

dataabc
⭐ 2,340 Python 👤 dataabc User 🕐 更新日時 2026-06-05 📅 作成日 2020-03-25
35
decaywood/XueQiuSuperSpider

雪球株式情報スーパークローラー

decaywood
⭐ 2,326 Java 👤 decaywood User 🕐 更新日時 2024-03-27 📅 作成日 2015-11-24
36
opendatalab/DocLayout-YOLO

DocLayout-YOLO:多様な合成データとグローバルからローカルへの適応的知覚によるドキュメントレイアウト分析の強化

opendatalab
⭐ 2,315 Python 👤 opendatalab Organization 🕐 更新日時 2026-10-21 📅 作成日 2024-10-14
39
hhursev/recipe-scrapers

レシピデータをスクレイピングするためのPythonパッケージ

hhursev
⭐ 2,263 Python 👤 hhursev User 🕐 更新日時 2026-11-15 📅 作成日 2015-09-14
40
shcherbak-ai/contextgem

大規模言語モデルと意思決定モデルを使用して、ドキュメントから構造化データとインサイトを抽出する

shcherbak-ai
⭐ 2,095 Python 👤 shcherbak-ai Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-10-11
41
xaitax/TotalRecall

このツールは、Windows 11 の Recall 機能からデータを抽出し表示し、PC のアクティビティ スナップショットに関する情報に簡単にアクセスできる方法を提供します。

xaitax
⭐ 2,037 Python 👤 xaitax User 🕐 更新日時 2024-06-08 📅 作成日 2024-06-03
42
jmespath/jmespath.php

PHPでJSONドキュメントから要素を抽出する方法を宣言的に指定します

jmespath
⭐ 2,013 PHP 👤 jmespath Organization 🕐 更新日時 2026-11-17 📅 作成日 2013-07-06
43
KEV0143/Parser-Chitai-Gorod

「チタイ・ゴロド」カタログ用のインテリジェントパーサー。ISBNから割引の動向まで、指定されたあらゆるパラメーターに基づいた高速なデータ収集と構造化。

KEV0143
⭐ 1,979 Python 👤 KEV0143 User 🕐 更新日時 2026-09-17 📅 作成日 2025-05-18
44
xyTom/snippai

すべてを切り取り、すべてを解決する

xyTom
⭐ 1,950 TypeScript 👤 xyTom User 🕐 更新日時 2026-10-06 📅 作成日 2024-02-06
45
extractus/article-extractor

指定されたURLから記事を抽出する

extractus
⭐ 1,920 TypeScript 👤 extractus Organization 🕐 更新日時 2026-08-20 📅 作成日 2015-11-29
46
Kengxxiao/ArknightsGameData

《アークナイツ》ゲームデータ

Kengxxiao
⭐ 1,907 Lua 👤 Kengxxiao User 🕐 更新日時 2026-11-16 📅 作成日 2019-12-31
47
shuchkin/simplexlsx

Excel XLSxファイルからデータを解析して取得する

shuchkin
⭐ 1,829 PHP 👤 shuchkin User 🕐 更新日時 2026-10-20 📅 作成日 2016-05-25
48
DQinYuan/chinese_province_city_area_mapper

簡体中文文字列から省、市、区を抽出してマッピング、検証、簡単な描画を行うためのPythonモジュール

DQinYuan
⭐ 1,770 Python 👤 DQinYuan User 🕐 更新日時 2024-03-19 📅 作成日 2018-03-04
49
biuuu/star-rail-warp-export

Honkai: Star Rail ワープ履歴エクスポートツール

biuuu
⭐ 1,640 JavaScript 👤 biuuu User 🕐 更新日時 2026-11-11 📅 作成日 2023-05-01
50
JonathanLink/PDFLayoutTextStripper

PDFファイルを、元のPDFのレイアウトを保ったままテキストファイルに変換します。たとえば、PDFファイル内の表から内容を抽出するのに便利です。Apache PDFBoxライブラリのPDFTextStripperクラスのサブクラスです。

JonathanLink
⭐ 1,612 Java 👤 JonathanLink User 🕐 更新日時 2026-11-18 📅 作成日 2015-10-11

よくある質問

1

GitHubで最も人気のある#data-extractionリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#data-extractionプロジェクトは、205,758個のスターを獲得しているfirecrawl/firecrawlです。エージェントをより賢くするためのナレッジインフラストラクチャ。1つのAPIで、550以上のデータプロバイダーを検索、スクレイピング、利用できます。

2

#data-extractionリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#data-extractionプロジェクトでは、Python, TypeScript, JavaScript, Rustが最も一般的なプログラミング言語です。

3

#data-extractionリポジトリのランキングはどのように算出されていますか?

#data-extractionのタグが付いた131件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は729,329個で、リポジトリあたりの平均は5,567個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。