Git Stars Git Stars

#crawling リポジトリ

#crawlingのタグが付いた、GitHub上の39件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は335,438個で、プロジェクトあたりの平均は8,600個です。このトピックをリードしているのは、104,760個のスターを獲得しているD4Vinci/Scraplingです。

39
リポジトリ総数
335,438
合計スター数
8,600
リポジトリあたりの平均スター数

リポジトリ合計39件

1
D4Vinci/Scrapling

🕷️ 1件のリクエストから大規模なクロールまで、あらゆる用途に対応する最高のウェブスクレイピングフレームワーク!遠慮せずにこちらから参加してください:https://discord.gg/EMgGbDceNQ 毎日のヒントや便利なテクニックはこちらをフォロー:https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 更新日時 2026-11-17 📅 作成日 2024-10-13
2
scrapy/scrapy

Scrapy、Python用の高速で高レベルなウェブクローリング&スクレイピングフレームワーク。

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 更新日時 2026-11-19 📅 作成日 2010-02-22
3
apify/crawlee

Crawlee—Node.js用のウェブスクレイピングおよびブラウザ自動化ライブラリで、信頼性の高いクローラーを構築します。JavaScriptとTypeScriptで。AI、LLMs、RAG、またはGPTsのためのデータ抽出。ウェブサイトからHTML、PDF、JPG、PNG、およびその他のファイルをダウンロード。Puppeteer、Playwright、Cheerio、JSDOM、および生のHTTPと連携。ヘッドフルおよびヘッドレスモードの両方。プロキシローテーション付き。

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 更新日時 2026-11-21 📅 作成日 2016-08-26
4
gocolly/colly

Golang向けのエレガントなスクレイパーおよびクローラーフレームワーク

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 更新日時 2026-10-16 📅 作成日 2017-09-29
5
getmaxun/maxun

あらゆるウェブサイトを構造化APIに変換。ウェブ上の情報を抽出、自動化、検索、監視できます。

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 更新日時 2026-11-20 📅 作成日 2023-10-23
6
codelucas/newspaper

newspaper3kはPython 3におけるニュース、全文、記事メタデータの抽出ツールです。詳細ドキュメント:

codelucas
⭐ 15,192 Python 👤 codelucas User 🕐 更新日時 2026-10-26 📅 作成日 2013-11-25
7
apify/crawlee-python

Crawlee — 信頼性の高いクローラーを構築するための、Python向けWebスクレイピングおよびブラウザー自動化ライブラリです。Pydantic AIを介してLLMで構造化データを抽出したり、Stagehandを使って自然言語でブラウザーを操作したりできます。BeautifulSoup、Parsel、Playwright、生のHTTPに対応。HTML、PDF、画像などのファイルをダウンロードできます。プロキシのローテーション機能も含まれています。

apify
⭐ 9,679 Python 👤 apify Organization 🕐 更新日時 2026-11-20 📅 作成日 2024-01-10
8
lorien/awesome-web-scraping

ウェブスクレイピングとデータ処理のためのライブラリ、ツール、APIのリスト。

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 更新日時 2026-11-21 📅 作成日 2015-08-12
9
go-rod/rod

Web 自動化およびスクレイピングのための Chrome DevTools プロトコル ドライバー。

go-rod
⭐ 7,160 Go 👤 go-rod Organization 🕐 更新日時 2026-08-11 📅 作成日 2020-01-21
10
exa-labs/exa-mcp-server

Web検索およびWebクロール用のExa MCP!

exa-labs
⭐ 5,250 TypeScript 👤 exa-labs Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-11-27
11
hakluke/hakrawler

ウェブアプリケーション内のエンドポイントと資産を簡単かつ迅速に発見するためのシンプルで高速なウェブクローラー

hakluke
⭐ 5,171 Go 👤 hakluke User 🕐 更新日時 2026-08-05 📅 作成日 2019-12-15
12
ai-robots-txt/ai.robots.txt

ブロックする AI エージェントとロボットのリスト。

ai-robots-txt
⭐ 4,265 Python 👤 ai-robots-txt Organization 🕐 更新日時 2026-11-16 📅 作成日 2024-03-27
13
hardkoded/puppeteer-sharp

ヘッドレス Chrome .NET API

hardkoded
⭐ 3,936 C# 👤 hardkoded Organization 🕐 更新日時 2026-11-21 📅 作成日 2017-09-30
14
edoardottt/cariddi

ドメインのリストを取得し、URLをクロールして、エンドポイント、シークレット、APIキー、ファイル拡張子、トークンなどをスキャンします。

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 更新日時 2026-11-19 📅 作成日 2021-04-27
15
apache/nutch

Apache Nutch は拡張可能でスケーラブルなウェブクローラーです

apache
⭐ 3,311 Java 👤 apache Organization 🕐 更新日時 2026-11-17 📅 作成日 2009-05-21
16
transitive-bullshit/awesome-puppeteer

素晴らしい Puppeteer リソースのキュレーションされたリスト。

transitive-bullshit
⭐ 2,528 👤 transitive-bullshit User 🕐 更新日時 2024-07-19 📅 作成日 2018-05-07
17
lorien/grab

ウェブスクレイピングフレームワーク

lorien
⭐ 2,461 Python 👤 lorien User 🕐 更新日時 2025-09-19 📅 作成日 2013-05-01
18
NateScarlet/holiday-cn

📅🇨🇳 中国法定祝日データ 自動的に毎日国務院公告から取得

NateScarlet
⭐ 2,293 Python 👤 NateScarlet User 🕐 更新日時 2026-11-21 📅 作成日 2019-03-05
19
zorlan/skycaiji

Blue Sky Collector は、ルールをクリックして編集するだけでデータを収集できる、オープンソースで無料のクローラーシステムです。ローカル、仮想ホスト、またはクラウドサーバーで実行でき、ほぼすべてのタイプのWebページを収集できます。さまざまなCMSウェブサイト構築プログラムとシームレスに連携し、ログインせずにリアルタイムでデータを公開し、完全に自動化されているため、手動での介入は不要です!Webビッグデータ収集ソフトウェアにおける、完全にクロスプラットフォームなクラウドクローラーシステムです。

zorlan
⭐ 2,098 PHP 👤 zorlan User 🕐 更新日時 2026-10-07 📅 作成日 2018-02-26
20
rebrowser/rebrowser-patches

Puppeteer および Playwright のパッチコレクション。自動検出と漏洩を回避します。Cloudflare および DataDome の CAPTCHA ページを回避するのに役立ちます。パッチの適用/解除が簡単で、オンデマンドで有効化/無効化できます。

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 更新日時 2026-11-02 📅 作成日 2024-08-06
21
roach-php/core

PHPのための完全なWebスクレイピングツールキット。

roach-php
⭐ 1,456 PHP 👤 roach-php Organization 🕐 更新日時 2025-10-27 📅 作成日 2021-08-17
22
lorey/mlscraper

🤖 例を提供するだけでHTMLウェブサイトからデータを自動的にスクレイピングします

lorey
⭐ 1,370 Python 👤 lorey User 🕐 更新日時 2024-03-17 📅 作成日 2020-07-30
23
webrecorder/browsertrix-crawler

単一のDockerコンテナで高忠実度のブラウザベースのWebアーカイブクローラーを実行する

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 更新日時 2026-11-19 📅 作成日 2020-11-02
24
needleworm/bhban_rpa

「<6개월 치 업무를 하루 만에 끝내는 업무 자동화(생능출판사, 2020)>」のサンプルコードです。パイソンを一度も学んだことがない方へ向けて、エクセルからデザイン、マクロ、クローリングまで、業務自動化に関するさまざまな分野の例が提供されています。

needleworm
⭐ 1,153 Python 👤 needleworm User 🕐 更新日時 2026-10-25 📅 作成日 2020-02-11
25
dondai44423/donsetch

AIエージェント向けのWeb取得、検索、クロール。Rustでゼロから構築。キー不要、アカウント不要。AGPL v3。

dondai44423
⭐ 1,138 Rust 👤 dondai44423 User 🕐 更新日時 2026-11-21 📅 作成日 2026-08-07
26
scrapfly/scrapfly-scrapers

80以上の人気ドメインに対応する、スケーラブルなPythonウェブスクレイピングスクリプト

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-05-22
27
elixir-crawly/crawly

Crawly、Elixir向けの高レベルウェブクローリングおよびスクレイピングフレームワーク。

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 更新日時 2026-11-20 📅 作成日 2019-03-09
28
janreges/siteone-crawler

SiteOne Crawlerは、SEO、セキュリティ、アクセシビリティ、パフォーマンの最適化のためのクロスプラットフォームWebサイトクローラーおよびアナライザーであり、開発者、DevOps、QAエンジニア、コンサルタントに最適です。Windows、macOS、Linux(x64およびarm64)をサポートします。

janreges
⭐ 1,019 Rust 👤 janreges User 🕐 更新日時 2026-09-27 📅 作成日 2023-10-04
29
clemfromspace/scrapy-selenium

Selenium を使用して JavaScript ページを処理するための Scrapy ミドルウェア

clemfromspace
⭐ 950 Python 👤 clemfromspace User 🕐 更新日時 2026-04-13 📅 作成日 2018-02-11
30
mishakorzik/AdminHack

本日、サイトの管理者パネルをハッキングします。

mishakorzik
⭐ 932 Shell 👤 mishakorzik User 🕐 更新日時 2026-09-10 📅 作成日 2021-05-16
31
scrapinghub/scrapyrt

Scrapyスパイダー用HTTP API

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 更新日時 2026-10-13 📅 作成日 2015-01-06
32
StJudeWasHere/seonaut

オープンソースのSEO監査ツール。

StJudeWasHere
⭐ 873 Go 👤 StJudeWasHere User 🕐 更新日時 2026-10-08 📅 作成日 2022-03-02
33
MorvanZhou/easy-scraping-tutorial

シンプルだが役立つ Python ウェブスクレイピング チュートリアル コード。

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 更新日時 2024-04-07 📅 作成日 2017-12-29
34
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ LinkedIn プロフィールスクレイパー。JSON で構造化されたプロフィールデータを返します。

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 更新日時 2024-04-05 📅 作成日 2018-12-21
35
lumpinif/deepcrawl

100% 無料で完全にオープンソースの Firecrawl edge 代替品、エージェント向けにリンク抽出が優れており、自分で Cloudflare または Vercel にデプロイ可能。

lumpinif
⭐ 704 TypeScript 👤 lumpinif User 🕐 更新日時 2026-08-24 📅 作成日 2025-05-22
36
cxcscmu/Craw4LLM

"Craw4LLM: LLM 事前学習のための効率的な Web クローリング" の公式リポジトリ

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 更新日時 2025-02-24 📅 作成日 2025-02-17
37
l4rm4nd/LinkedInDumper

LinkedIn APIから会社の従業員をダンプ/スクレイプ/抽出するためのPython 3スクリプト

l4rm4nd
⭐ 624 Python 👤 l4rm4nd User 🕐 更新日時 2026-08-21 📅 作成日 2022-10-17
38
scrapinghub/spidermon

スパイダーの実行を監視するための Scrapy 拡張。

scrapinghub
⭐ 563 Python 👤 scrapinghub Organization 🕐 更新日時 2026-10-20 📅 作成日 2015-11-17
39
zhuyingda/webster

Node.js 用の信頼性の高い高レベルウェブクローリング&スクレイピングフレームワーク。

zhuyingda
⭐ 560 JavaScript 👤 zhuyingda User 🕐 更新日時 2025-03-12 📅 作成日 2017-11-04

よくある質問

1

GitHubで最も人気のある#crawlingリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#crawlingプロジェクトは、104,760個のスターを獲得しているD4Vinci/Scraplingです。🕷️ 1件のリクエストから大規模なクロールまで、あらゆる用途に対応する最高のウェブスクレイピングフレームワーク!遠慮せずにこちらから参加してください:https://discord.gg/EMgGbDceNQ 毎日のヒントや便利なテクニックはこちらをフォロー:https://x.com/Scrapling_dev

2

#crawlingリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#crawlingプロジェクトでは、Python, TypeScript, Go, JavaScriptが最も一般的なプログラミング言語です。

3

#crawlingリポジトリのランキングはどのように算出されていますか?

#crawlingのタグが付いた39件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は335,438個で、リポジトリあたりの平均は8,600個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。