Git Stars Git Stars

#web-crawler リポジトリ

#web-crawlerのタグが付いた、GitHub上の39件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は470,326個で、プロジェクトあたりの平均は12,059個です。このトピックをリードしているのは、205,758個のスターを獲得しているfirecrawl/firecrawlです。

39
リポジトリ総数
470,326
合計スター数
12,059
リポジトリあたりの平均スター数

リポジトリ合計39件

1
firecrawl/firecrawl

エージェントをより賢くするためのナレッジインフラストラクチャ。1つのAPIで、550以上のデータプロバイダーを検索、スクレイピング、利用できます。

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-04-15
2
unclecode/crawl4ai

公式 Crawl4AI Cloud:AIエージェント向けの、ホスト型ウェブスクレイピング・抽出・検索API。APIキーは無料で、毎月1,000クレジットを利用でき、カード登録も不要です。完全なオープンソースです。このリポジトリにはサービスを支えるApache-2.0ライセンスのクローラーが含まれており、自分でホストすることもできます。

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 更新日時 2026-11-20 📅 作成日 2024-05-09
3
ScrapeGraphAI/Scrapegraph-ai

AIベースのPythonスクレイパー

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 更新日時 2026-10-06 📅 作成日 2024-01-27
4
apify/crawlee

Crawlee—Node.js用のウェブスクレイピングおよびブラウザ自動化ライブラリで、信頼性の高いクローラーを構築します。JavaScriptとTypeScriptで。AI、LLMs、RAG、またはGPTsのためのデータ抽出。ウェブサイトからHTML、PDF、JPG、PNG、およびその他のファイルをダウンロード。Puppeteer、Playwright、Cheerio、JSDOM、および生のHTTPと連携。ヘッドフルおよびヘッドレスモードの両方。プロキシローテーション付き。

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 更新日時 2026-11-21 📅 作成日 2016-08-26
5
lexmount/moli

AIエージェントに最適なヘッドレスブラウザ。軽量・高速・高互換性。Rustで構築

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-08-10
6
crawlab-team/crawlab

言語やフレームワークに依存しないスパイダー管理のための分散型ウェブクローラー管理プラットフォーム。 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 更新日時 2026-02-10 📅 作成日 2019-02-10
7
apify/crawlee-python

Crawlee — 信頼性の高いクローラーを構築するための、Python向けWebスクレイピングおよびブラウザー自動化ライブラリです。Pydantic AIを介してLLMで構造化データを抽出したり、Stagehandを使って自然言語でブラウザーを操作したりできます。BeautifulSoup、Parsel、Playwright、生のHTTPに対応。HTML、PDF、画像などのファイルをダウンロードできます。プロキシのローテーション機能も含まれています。

apify
⭐ 9,679 Python 👤 apify Organization 🕐 更新日時 2026-11-20 📅 作成日 2024-01-10
8
adithya-s-k/omniparse

ドキュメントからマルチメディアまで、あらゆるデータ形式を取り込み、解析、最適化し、GenAIフレームワークとの互換性を向上させます

adithya-s-k
⭐ 7,935 Python 👤 adithya-s-k User 🕐 更新日時 2025-12-12 📅 作成日 2024-06-04
9
firecrawl/firecrawl-mcp-server

公式 Firecrawl MCP サーバー。AI エージェント向けのコンテキスト API です。任意の MCP クライアントから、Web の検索、スクレイピング、操作に加え、解析、クロール、マッピング、Agent と Monitor の利用ができます。

firecrawl
⭐ 7,871 JavaScript 👤 firecrawl Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-12-06
10
BruceDone/awesome-crawler

さまざまな言語の素晴らしいウェブクローラー、スパイダーのコレクション

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 更新日時 2024-06-16 📅 作成日 2016-10-10
11
KnockOutEZ/wigolo

AIコーディングエージェントのための頼りになるウェブ — MCPを介したローカルファーストの検索、取得、クロール、リサーチ。APIキー不要、クラウド不要、1クエリ0ドル。公開ベータ版。

KnockOutEZ
⭐ 5,560 TypeScript 👤 KnockOutEZ User 🕐 更新日時 2026-11-21 📅 作成日 2026-04-12
12
divinelabio/Argus

究極の情報収集ツールキット

divinelabio
⭐ 4,348 Python 👤 divinelabio User 🕐 更新日時 2025-12-10 📅 作成日 2024-10-01
13
Anakin-Inc/anakin

オープンソースのWebスクレイピングAPI。あらゆるウェブサイトをクリーンなMarkdownや構造化されたJSONに変換します。アンチ検知ブラウザ、プロキシ自動選択、セルフホスト対応。コマンド一つで実行:make up

Anakin-Inc
⭐ 3,764 Go 👤 Anakin-Inc Organization 🕐 更新日時 2026-08-18 📅 作成日 2026-03-17
14
apache/nutch

Apache Nutch は拡張可能でスケーラブルなウェブクローラーです

apache
⭐ 3,311 Java 👤 apache Organization 🕐 更新日時 2026-11-17 📅 作成日 2009-05-21
15
oxylabs/ai-crawler-py

URLからウェブサイトをクロールし、関連ページを見つけ、データを抽出します。すべて自然言語のプロンプトでガイドされます。

oxylabs
⭐ 3,264 👤 oxylabs Organization 🕐 更新日時 2026-08-21 📅 作成日 2025-09-17
16
spider-rs/spider

Rustによる基盤的な低レイテンシーWebデータ収集

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 更新日時 2026-11-20 📅 作成日 2018-01-07
17
0xMassi/webclaw

LLM向け高速ローカルファーストウェブコンテンツ抽出。スクレイプ、クロール、構造化データ抽出 — すべてRustで。CLI、REST API、MCPサーバー。

0xMassi
⭐ 2,440 Rust 👤 0xMassi User 🕐 更新日時 2026-11-21 📅 作成日 2026-03-10
18
sjdirect/abot

速度と柔軟性のために構築されたクロスプラットフォームC# Webクローラーフレームワークです。このプロジェクトにスターを付けてください!+1。

sjdirect
⭐ 2,308 C# 👤 sjdirect User 🕐 更新日時 2026-07-17 📅 作成日 2013-08-08
19
MarginaliaSearch/MarginaliaSearch

テキスト中心のウェブサイト向けインターネット検索エンジン。小さくて古くて奇妙なウェブをインデックス化しています。

MarginaliaSearch
⭐ 2,241 Java 👤 MarginaliaSearch Organization 🕐 更新日時 2026-11-18 📅 作成日 2023-03-20
20
gildas-lormeau/single-file-cli

単一のHTMLファイルに完全なWebページを忠実にコピーして保存するためのCLIツール(SingleFileベース)

gildas-lormeau
⭐ 1,702 JavaScript 👤 gildas-lormeau User 🕐 更新日時 2026-11-18 📅 作成日 2022-05-31
21
gigablast/open-source-search-engine

2017年11月20日 -- Intel/AMD上のLinux向けにC/C++で書かれた分散型オープンソース検索エンジンとスパイダー/クローラー。gigablast dot comから、ダウンロード可能なバイナリがあります。このページの一番下のREADME.mdファイルで指示を確認してください。

gigablast
⭐ 1,599 C++ 👤 gigablast User 🕐 更新日時 2024-01-10 📅 作成日 2013-08-02
22
GBSOSS/skill-from-masters

巨人の肩に立つ――専門家が検証済み手法でAIスキルを作る。

GBSOSS
⭐ 1,592 👤 GBSOSS Organization 🕐 更新日時 2026-02-16 📅 作成日 2026-01-08
23
JustinBeckwith/linkinator

ウェブサイトをクロールし、リンクを検証するリンク切れチェッカー。ウェブサイト、ドキュメント、ローカルファイル内の壊れたリンク、デッドリンク、無効なURLを見つけます。SEO監査やCI/CDに最適です。

JustinBeckwith
⭐ 1,290 TypeScript 👤 JustinBeckwith User 🕐 更新日時 2026-11-20 📅 作成日 2019-02-12
24
fastcrw/crw

Rust製の高速かつ軽量なFirecrawl/Tavily代替ツール。AIエージェント向けのMCPサーバーを備えたWebスクレイパー、クローラー、検索API。Firecrawl互換のドロップインAPI(/scrape, /crawl, /search)を提供。1K URLのベンチマークでTavilyより2.3倍、Firecrawlより1.5倍高速。6MBのRAM、シングルバイナリ。セルフホストまたはマネージドクラウドで利用可能。

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-03-02
25
webrecorder/browsertrix-crawler

単一のDockerコンテナで高忠実度のブラウザベースのWebアーカイブクローラーを実行する

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 更新日時 2026-11-19 📅 作成日 2020-11-02
26
PhialsBasement/LibreCrawl

無料デスクトップSEOクローラー - Screaming Frog や類似ツールのオープンソース代替。ウェブサイトをクロールし、リンクを分析、SEOデータを抽出、結果をエクスポート。サブスクリプション料金なし。完全にカスタマイズ可能で拡張性あり!

PhialsBasement
⭐ 1,133 Python 👤 PhialsBasement User 🕐 更新日時 2026-11-10 📅 作成日 2025-09-27
27
scrapfly/scrapfly-scrapers

80以上の人気ドメインに対応する、スケーラブルなPythonウェブスクレイピングスクリプト

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-05-22
28
apache/stormcrawler

Apache Storm を基盤としたスケーラブルで成熟した多用途のウェブクローラー

apache
⭐ 1,014 Java 👤 apache Organization 🕐 更新日時 2026-11-17 📅 作成日 2013-04-12
29
RimoChan/sese-engine

【sese-engine】新時代の検索エンジン!

RimoChan
⭐ 952 Python 👤 RimoChan User 🕐 更新日時 2025-05-10 📅 作成日 2022-01-09
30
firecrawl/firecrawl-app-examples

🔥 このリポジトリには、Firecrawl を使用して開発された Web サイトやその他のプロジェクトを含む、完全なアプリケーションの例が含まれています。

firecrawl
⭐ 847 Jupyter Notebook 👤 firecrawl Organization 🕐 更新日時 2026-01-13 📅 作成日 2024-06-22
31
postmodern/spidr

多用途の Ruby ウェブクローリングライブラリで、サイト、マルチドメイン、特定のリンク、または無限にクローリングできます。Spidr は高速で使いやすいように設計されています。

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 更新日時 2026-01-12 📅 作成日 2009-03-08
32
johnlui/DIYSearchEngine

🔍 Goで開発されたオープンソースのインターネット検索エンジン、「自分でインターネット検索エンジンを開発する」チュートリアル付き

johnlui
⭐ 706 Go 👤 johnlui User 🕐 更新日時 2026-08-27 📅 作成日 2023-07-01
33
Team-intN18-SoybeanSeclab/Phantom

SRC脆弱性発見におけるページ情報収集シナリオ向けのブラウザ拡張機能で、ページおよび関連リソースから機密情報と不審な手がかりを自動的に収集し、基本スキャン、深層再帰スキャン、一括APIテスト、結果のエクスポート、およびカスタム正規表現設定をサポートします。

Team-intN18-SoybeanSeclab
⭐ 696 JavaScript 👤 Team-intN18-SoybeanSeclab Organization 🕐 更新日時 2026-09-16 📅 作成日 2025-08-21
34
Madi-S/Lead-Generation

プログラミングの知識がない人でも、大規模に質の高いリードを獲得できる Python スクリプトです。このリポジトリには、リード獲得に使用されるさまざまな汎用的な手法が収録されます。

Madi-S
⭐ 693 Python 👤 Madi-S User 🕐 更新日時 2026-09-23 📅 作成日 2020-12-14
35
cxcscmu/Craw4LLM

"Craw4LLM: LLM 事前学習のための効率的な Web クローリング" の公式リポジトリ

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 更新日時 2025-02-24 📅 作成日 2025-02-17
36
vakra-dev/reader

AI向けのオープンソースWebインフラストラクチャ。ウェブをスクレイプ、クロール、そして自動化し、Markdownをクリーンアップ、ブラウザセッションを管理し、エージェントがすぐに使える状態にします。

vakra-dev
⭐ 577 TypeScript 👤 vakra-dev Organization 🕐 更新日時 2026-10-06 📅 作成日 2026-01-07
37
jpjacobpadilla/Stealth-Requests

Pythonでの検知されないWebスクレイピングとシームレスなHTML解析!

jpjacobpadilla
⭐ 570 Python 👤 jpjacobpadilla User 🕐 更新日時 2026-09-19 📅 作成日 2024-08-04
38
lefterisloukas/edgar-crawler

SEC EDGAR財務報告をダウンロードし、特定の項目セクションからテキストデータをきれいで構造化されたJSONファイルに抽出できる唯一のオープンソースツールキット。WWW 2025 @ オーストラリア・シドニーで発表 (https://dl.acm.org/doi/10.1145/3701716.3715289)

lefterisloukas
⭐ 535 Python 👤 lefterisloukas User 🕐 更新日時 2025-07-18 📅 作成日 2021-09-24
39
erevus-cn/pocscan

niubility スキャン・フレームワークになる意志

erevus-cn
⭐ 520 Python 👤 erevus-cn User 🕐 更新日時 2025-07-01 📅 作成日 2016-02-02

よくある質問

1

GitHubで最も人気のある#web-crawlerリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#web-crawlerプロジェクトは、205,758個のスターを獲得しているfirecrawl/firecrawlです。エージェントをより賢くするためのナレッジインフラストラクチャ。1つのAPIで、550以上のデータプロバイダーを検索、スクレイピング、利用できます。

2

#web-crawlerリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#web-crawlerプロジェクトでは、Python, TypeScript, Rust, Goが最も一般的なプログラミング言語です。

3

#web-crawlerリポジトリのランキングはどのように算出されていますか?

#web-crawlerのタグが付いた39件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は470,326個で、リポジトリあたりの平均は12,059個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。