Git Stars Git Stars

#web-crawling リポジトリ

#web-crawlingのタグが付いた、GitHub上の38件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は211,837個で、プロジェクトあたりの平均は5,574個です。このトピックをリードしているのは、87,627個のスターを獲得しているunclecode/crawl4aiです。

38
リポジトリ総数
211,837
合計スター数
5,574
リポジトリあたりの平均スター数

リポジトリ合計38件

1
unclecode/crawl4ai

公式 Crawl4AI Cloud:AIエージェント向けの、ホスト型ウェブスクレイピング・抽出・検索API。APIキーは無料で、毎月1,000クレジットを利用でき、カード登録も不要です。完全なオープンソースです。このリポジトリにはサービスを支えるApache-2.0ライセンスのクローラーが含まれており、自分でホストすることもできます。

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 更新日時 2026-11-20 📅 作成日 2024-05-09
2
apify/crawlee

Crawlee—Node.js用のウェブスクレイピングおよびブラウザ自動化ライブラリで、信頼性の高いクローラーを構築します。JavaScriptとTypeScriptで。AI、LLMs、RAG、またはGPTsのためのデータ抽出。ウェブサイトからHTML、PDF、JPG、PNG、およびその他のファイルをダウンロード。Puppeteer、Playwright、Cheerio、JSDOM、および生のHTTPと連携。ヘッドフルおよびヘッドレスモードの両方。プロキシローテーション付き。

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 更新日時 2026-11-21 📅 作成日 2016-08-26
3
lexmount/moli

AIエージェントに最適なヘッドレスブラウザ。軽量・高速・高互換性。Rustで構築

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-08-10
4
apify/crawlee-python

Crawlee — 信頼性の高いクローラーを構築するための、Python向けWebスクレイピングおよびブラウザー自動化ライブラリです。Pydantic AIを介してLLMで構造化データを抽出したり、Stagehandを使って自然言語でブラウザーを操作したりできます。BeautifulSoup、Parsel、Playwright、生のHTTPに対応。HTML、PDF、画像などのファイルをダウンロードできます。プロキシのローテーション機能も含まれています。

apify
⭐ 9,679 Python 👤 apify Organization 🕐 更新日時 2026-11-20 📅 作成日 2024-01-10
5
prerender/prerender

JavaScriptでレンダリングされたページをHTMLとしてレンダリングするためにHeadless Chromeを使用するNodeサーバー。prerenderミドルウェアと組み合わせて使用します。

prerender
⭐ 6,577 JavaScript 👤 prerender Organization 🕐 更新日時 2026-05-05 📅 作成日 2013-09-26
6
MontFerret/ferret

構造化抽出ワークフローのための宣言型データ自動化言語とGoランタイム。

MontFerret
⭐ 6,025 Go 👤 MontFerret Organization 🕐 更新日時 2026-11-19 📅 作成日 2018-08-23
7
omkarcloud/botasaurus

無敵のスクレイパーを構築するためのオールインワンフレームワーク

omkarcloud
⭐ 5,857 TypeScript 👤 omkarcloud Organization 🕐 更新日時 2026-11-13 📅 作成日 2023-05-09
8
google/robotstxt

このリポジトリには、Google の robots.txt パーサーとマッチャーが C++ ライブラリ(C++11 準拠)として含まれています。

google
⭐ 3,478 C++ 👤 google Organization 🕐 更新日時 2026-04-01 📅 作成日 2019-06-11
9
CrawlScript/WebCollector

WebCollectorはJavaベースのオープンソースWebクローラーフレームワークです。Webのクロールにいくつかの単純なインターフェースを提供しており、5分以内にマルチスレッドWebクローラーをセットアップできます。

CrawlScript
⭐ 3,073 Java 👤 CrawlScript Organization 🕐 更新日時 2026-02-10 📅 作成日 2014-07-12
10
digininja/CeWL

CeWL はカスタムワードリストジェネレーターです

digininja
⭐ 2,896 Ruby 👤 digininja User 🕐 更新日時 2026-06-24 📅 作成日 2016-04-22
11
brightdata/brightdata-mcp

パブリックWebアクセス向けのオールインワンソリューションを提供する強力なModel Context Protocol (MCP)サーバー。

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 更新日時 2026-11-18 📅 作成日 2025-04-15
12
tavily-ai/tavily-mcp

リアルタイム検索、抽出、マッピング、クロールを備えた本番環境対応MCPサーバー。

tavily-ai
⭐ 2,499 TypeScript 👤 tavily-ai Organization 🕐 更新日時 2026-11-18 📅 作成日 2025-01-27
13
dataabc/weibo-search

Weibo検索結果情報を取得します。検索はWeiboキーワード検索またはWeiboトピック検索のいずれかになります。

dataabc
⭐ 2,340 Python 👤 dataabc User 🕐 更新日時 2026-06-05 📅 作成日 2020-03-25
14
coleam00/mcp-crawl4ai-rag

AIエージェントおよびAIコーディングアシスタント向けのWebクロールおよびRAG機能

coleam00
⭐ 2,224 Python 👤 coleam00 User 🕐 更新日時 2025-07-25 📅 作成日 2025-05-03
15
zhegexiaohuozi/SeimiCrawler

SpringBootをサポートする、シンプル、アジャイル、分散型のJavaクローラフレームワーク。アジャイルで分散型のクローラフレームワーク。

zhegexiaohuozi
⭐ 1,984 Java 👤 zhegexiaohuozi User 🕐 更新日時 2026-11-17 📅 作成日 2015-11-06
16
firecrawl/fireplexity

🔥 Firecrawl powered by Firecrawl を搭載し、リアルタイム引用、ストリーミング応答、ライブデータを備えたオープンソースのPerplexity風AI検索エンジン

firecrawl
⭐ 1,956 TypeScript 👤 firecrawl Organization 🕐 更新日時 2025-08-22 📅 作成日 2025-06-19
17
DanMcInerney/xsscrapy

XSSスパイダー - 66/66 wavsep XSSが検出されました

DanMcInerney
⭐ 1,731 Python 👤 DanMcInerney User 🕐 更新日時 2024-06-13 📅 作成日 2014-06-23
18
xnl-h4ck3r/xnLinkFinder

エンドポイント、潜在的なパラメータ、指定したターゲットに特化したワードリストと秘密を発見するために使われるPythonツール。

xnl-h4ck3r
⭐ 1,599 Python 👤 xnl-h4ck3r User 🕐 更新日時 2026-03-08 📅 作成日 2022-04-14
19
submato/xhscrawl

小紅書データ、XHSデータ収集、小紅書のリバースエンジニアリング、小紅書XSのリバースエンジニアリング、小紅書スクレイパー、小紅書データ

submato
⭐ 1,533 👤 submato User 🕐 更新日時 2026-11-02 📅 作成日 2023-07-05
20
ShilongLee/Crawler

抖音(a_bogus最新版)、快手、哔哩哔哩、小红书、淘宝、京东、微博などのプラットフォームのクローラーオープンソースAPIインターフェースサーバー。Dockerによるワンクリック高速デプロイ。

ShilongLee
⭐ 1,490 JavaScript 👤 ShilongLee User 🕐 更新日時 2026-10-19 📅 作成日 2024-05-24
21
wummel/linkchecker

ウェブドキュメントまたは完全なウェブサイト内のリンクをチェック

wummel
⭐ 1,433 Python 👤 wummel User 🕐 更新日時 2024-11-07 📅 作成日 2012-12-19
22
regenrek/deepwiki-mcp

📖 MCPサーバーでdeepwiki.comを取得し、Cursorおよびその他のコードエディターで最新の知識を入手する

regenrek
⭐ 1,393 TypeScript 👤 regenrek User 🕐 更新日時 2026-03-20 📅 作成日 2025-04-28
23
mvdbos/php-spider

構成可能で拡張可能な PHP ウェブスパイダー

mvdbos
⭐ 1,338 PHP 👤 mvdbos User 🕐 更新日時 2026-11-02 📅 作成日 2013-02-25
24
scrapinghub/frontera

Webクローラーのためのスケーラブルなフロンティア

scrapinghub
⭐ 1,329 Python 👤 scrapinghub Organization 🕐 更新日時 2025-06-06 📅 作成日 2014-11-22
25
Darwin-lfl/langmanus

オープンソースコミュニティの素晴らしい業績の上に構築された、コミュニティ主導のAI自動化フレームワークです。私たちの目標は、Web検索、クローリング、Pythonコードの実行などのタスクのために言語モデルと専門ツールを組み合わせ、これを可能にしたコミュニティに還元することです。

Darwin-lfl
⭐ 1,317 👤 Darwin-lfl User 🕐 更新日時 2025-03-17 📅 作成日 2025-03-18
26
harlan-zw/mdream

☁️ GitHubで最も速いHTMLからMarkdownへの変換ツール。LLM向けに最適化され、ストリーミングをサポート。

harlan-zw
⭐ 1,032 TypeScript 👤 harlan-zw User 🕐 更新日時 2026-11-21 📅 作成日 2025-04-16
27
changfengoss/pub

科学的なインターネットアクセスツール

changfengoss
⭐ 1,007 👤 changfengoss User 🕐 更新日時 2026-10-22 📅 作成日 2021-08-30
28
tiliondev/fortress

1行のコード変更だけで、スクレイパーやブラウザエージェントのブロックを防ぐステルス Chromium エンジン。

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 更新日時 2026-11-03 📅 作成日 2026-07-02
29
hyperbrowserai/mcp

ハイパーブラウザ用MCPサーバー実装

hyperbrowserai
⭐ 795 TypeScript 👤 hyperbrowserai Organization 🕐 更新日時 2025-11-20 📅 作成日 2025-02-25
30
rubycdp/vessel

高速の高レベルウェブクローリング Ruby フレームワーク

rubycdp
⭐ 725 Ruby 👤 rubycdp Organization 🕐 更新日時 2026-11-03 📅 作成日 2019-09-17
31
spatie/laravel-export

Laravel アプリから静的サイトバンドルを作成

spatie
⭐ 701 PHP 👤 spatie Organization 🕐 更新日時 2026-11-06 📅 作成日 2019-03-18
32
muratcankoylan/AI-Investigator

Claude 3.5 Sonnet APIとFirecrawlを使用して、あらゆる種類のウェブサイトコンテンツを分析し、構造化されたレポートを生成するように設計された自動AIシステム(Pythonフレームワーク)。現在はエンタープライズAIのケーススタディ向けに構成されていますが、アーキテクチャはさまざまなコンテンツ分析ニーズに適応可能です。

muratcankoylan
⭐ 679 Python 👤 muratcankoylan User 🕐 更新日時 2024-11-05 📅 作成日 2024-11-04
33
cxcscmu/Craw4LLM

"Craw4LLM: LLM 事前学習のための効率的な Web クローリング" の公式リポジトリ

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 更新日時 2025-02-24 📅 作成日 2025-02-17
34
ArchiveTeam/wpull

Wget互換のWebダウンローダーおよびクローラー。

ArchiveTeam
⭐ 595 HTML 👤 ArchiveTeam Organization 🕐 更新日時 2024-04-29 📅 作成日 2013-12-07
35
unconv/gpt4v-browsing

GPT-4 Vision APIとPuppeteerによるWebスクレイピング

unconv
⭐ 563 JavaScript 👤 unconv User 🕐 更新日時 2024-01-31 📅 作成日 2023-11-24
36
detectify/page-fetch

ヘッドレスChromeを使用してWebページを取得し、JavaScriptファイルを含むすべての取得済みリソースを保存します。多数のWebページで任意のJavaScriptを実行し、返された値を確認します

detectify
⭐ 530 Go 👤 detectify Organization 🕐 更新日時 2026-07-03 📅 作成日 2021-06-03
37
firecrawl/llmstxt-generator

🔥 どのウェブサイトでも llms.txt および llms-full.txt ファイルを生成します!

firecrawl
⭐ 528 TypeScript 👤 firecrawl Organization 🕐 更新日時 2025-06-17 📅 作成日 2024-11-19
38
brave-people/Dev-Event-Subscribe

🎉🎈 毎週メールで受け取る≪ 📧 Dev Event Eメール購読サービス ≫

brave-people
⭐ 512 👤 brave-people Organization 🕐 更新日時 2024-06-07 📅 作成日 2021-02-08

よくある質問

1

GitHubで最も人気のある#web-crawlingリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#web-crawlingプロジェクトは、87,627個のスターを獲得しているunclecode/crawl4aiです。公式 Crawl4AI Cloud:AIエージェント向けの、ホスト型ウェブスクレイピング・抽出・検索API。APIキーは無料で、毎月1,000クレジットを利用でき、カード登録も不要です。完全なオープンソースです。このリポジトリにはサービスを支えるApache-2.0ライセンスのクローラーが含まれており、自分でホストすることもできます。

2

#web-crawlingリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#web-crawlingプロジェクトでは、Python, TypeScript, JavaScript, Goが最も一般的なプログラミング言語です。

3

#web-crawlingリポジトリのランキングはどのように算出されていますか?

#web-crawlingのタグが付いた38件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は211,837個で、リポジトリあたりの平均は5,574個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。