Git Stars Git Stars

#scrapy リポジトリ

#scrapyのタグが付いた、GitHub上の38件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は84,191個で、プロジェクトあたりの平均は2,215個です。このトピックをリードしているのは、12,301個のスターを獲得しているcrawlab-team/crawlabです。

38
リポジトリ総数
84,191
合計スター数
2,215
リポジトリあたりの平均スター数

リポジトリ合計38件

1
crawlab-team/crawlab

言語やフレームワークに依存しないスパイダー管理のための分散型ウェブクローラー管理プラットフォーム。 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 更新日時 2026-02-10 📅 作成日 2019-02-10
2
chyroc/WechatSogou

Sogou WeChat検索に基づくWeChat公式アカウントクローラーAPI

chyroc
⭐ 6,411 Python 👤 chyroc User 🕐 更新日時 2026-10-23 📅 作成日 2016-05-09
3
rmax/scrapy-redis

Scrapy 用 Redis ベースのコンポーネント。

rmax
⭐ 5,648 Python 👤 rmax User 🕐 更新日時 2026-11-21 📅 作成日 2011-08-29
4
DropsDevopsOrg/ECommerceCrawlers

実践 🐍 多様なウェブサイト、eコマースデータクローラー 🕷。含む 🕸:淘宝商品、WeChatパブリックアカウント、大衆点評、企查查、求人ウェブサイト、閑魚、アリタスク、ブログガーデン、Weibo、Baidu Tieba、Douban映画、包図網、全景網、Douban音楽、某省薬監局、Sohuニュース、マシンラーニングテキスト収集、fofa資産収集、汽車之家、国家統計局、Baiduキーワード収録数、蜘蛛汎ディレクトリ、今日頭条、Douban映画レビュー、Ctrip、小米アプリストア、安居客、途家民宿 ❤️❤️❤️。WeChatクローラー展示プロジェクト:

DropsDevopsOrg
⭐ 5,355 Python 👤 DropsDevopsOrg Organization 🕐 更新日時 2024-05-22 📅 作成日 2019-03-29
5
nghuyong/WeiboSpider

継続的にメンテナンスされているSina Weibo収集ツール🚀🚀🚀

nghuyong
⭐ 4,125 Python 👤 nghuyong User 🕐 更新日時 2026-06-30 📅 作成日 2017-10-29
6
Boris-code/feapder

🚀🚀🚀feapderは使いやすく強力なクローラーフレームワークです | feapderは、簡単に使用でき、強力なPythonクローラーフレームワークです。AirSpider、Spider、TaskSpider、BatchSpiderの4種類のクローラーが組み込まれており、さまざまなシナリオのニーズに対応します。ブレークポイントからの続行、監視とアラート、ブラウザレンダリング、大量データの重複排除などの機能をサポートします。さらに、強力なクローラー管理システムであるfeaplatは、便利な展開とスケジュールを提供します。

Boris-code
⭐ 3,732 Python 👤 Boris-code User 🕐 更新日時 2026-08-21 📅 作成日 2021-02-08
7
Gerapy/Gerapy

Scrapy、Scrapyd、Django、および Vue.js を基盤とした分散型クローラー管理フレームワーク

Gerapy
⭐ 3,518 Python 👤 Gerapy Organization 🕐 更新日時 2026-07-04 📅 作成日 2017-06-30
8
my8100/scrapydweb

Scrapyd クラスタ管理、Scrapy ログ分析および視覚化、自動パッケージング、タイマータスク、監視およびアラート、モバイル UI 用の Web アプリ。Docs ドキュメント :point_right:

my8100
⭐ 3,403 Python 👤 my8100 User 🕐 更新日時 2025-02-19 📅 作成日 2018-09-30
9
scrapy-plugins/scrapy-splash

JavaScript 統合のための Scrapy+Splash

scrapy-plugins
⭐ 3,230 Python 👤 scrapy-plugins Organization 🕐 更新日時 2025-02-11 📅 作成日 2013-05-13
10
scrapy/scrapyd

Scrapy スパイダーを実行するためのサービスデーモン

scrapy
⭐ 3,100 Python 👤 scrapy Organization 🕐 更新日時 2026-10-23 📅 作成日 2013-02-01
11
RayXBuilds/Movie_Recommend

過去の学習プロジェクト:Sparkによる映画推薦、スクレイピング、Webアプリ、バックエンド。新版の継続的な開発については cinematch-recommender をご覧ください。

RayXBuilds
⭐ 3,007 Java 👤 RayXBuilds User 🕐 更新日時 2026-10-21 📅 作成日 2018-04-18
12
dataabc/weibo-search

Weibo検索結果情報を取得します。検索はWeiboキーワード検索またはWeiboトピック検索のいずれかになります。

dataabc
⭐ 2,340 Python 👤 dataabc User 🕐 更新日時 2026-06-05 📅 作成日 2020-03-25
13
QianyanTech/Image-Downloader

Google、Bing、Baiduから画像をダウンロード。Google、Baidu、Bingからの画像ダウンロード。

QianyanTech
⭐ 2,331 Python 👤 QianyanTech Organization 🕐 更新日時 2024-07-07 📅 作成日 2016-07-17
14
ictar/python-doc

Pythonドキュメントを中国語に翻訳して参照しやすくする 要するに、ここにはPythonドキュメント君たちが置かれており、できる限り中国語に翻訳します~~

ictar
⭐ 1,942 👤 ictar User 🕐 更新日時 2024-05-17 📅 作成日 2015-12-18
15
DanMcInerney/xsscrapy

XSSスパイダー - 66/66 wavsep XSSが検出されました

DanMcInerney
⭐ 1,731 Python 👤 DanMcInerney User 🕐 更新日時 2024-06-13 📅 作成日 2014-06-23
16
TheWebScrapingClub/webscraping-from-0-to-hero

Python を使用した Web スクレイピングに関する知識と経験を共有することを目的とした Web スクレイピングのオープンプロジェクトリポジトリです。

TheWebScrapingClub
⭐ 1,695 👤 TheWebScrapingClub Organization 🕐 更新日時 2024-05-27 📅 作成日 2022-05-26
17
eliasdabbas/advertools

advertools - オンライン・マーケティングの生産性と分析ツール

eliasdabbas
⭐ 1,508 Python 👤 eliasdabbas User 🕐 更新日時 2026-06-30 📅 作成日 2017-05-14
18
scrapy-plugins/scrapy-playwright

ScrapyのためのPlaywright統合

scrapy-plugins
⭐ 1,469 Python 👤 scrapy-plugins Organization 🕐 更新日時 2026-11-02 📅 作成日 2020-11-10
19
tb0hdan/domains

世界最大の単一インターネットドメインデータセット

tb0hdan
⭐ 1,181 Shell 👤 tb0hdan User 🕐 更新日時 2026-11-11 📅 作成日 2020-01-12
20
xingag/spider_python

Python クローラー

xingag
⭐ 1,165 Python 👤 xingag User 🕐 更新日時 2026-08-07 📅 作成日 2018-09-12
21
juancarlospaco/faster-than-requests

Python 3 でより速いリクエスト

juancarlospaco
⭐ 1,131 Nim 👤 juancarlospaco User 🕐 更新日時 2026-11-19 📅 作成日 2018-11-13
22
vifreefly/kimuraframework

CleanでAIアシストされたDSLを使い、Rubyでウェブスクレイパーを書きます。KimuraiはAIを使ってデータがどこにあるかを判定し、選択子をキャッシュして純粋なRubyでスクレイピングを行います。リクエストごとのレイテンシやトークンコストなしでLLMの知能を手に入れましょう。

vifreefly
⭐ 1,102 Ruby 👤 vifreefly User 🕐 更新日時 2026-01-27 📅 作成日 2018-08-23
23
moyada/stealer

Douyin、Kuaishou、Huoshan、Pipixia、動画ウォーターマーク削除プログラム

moyada
⭐ 1,094 Python 👤 moyada User 🕐 更新日時 2024-05-21 📅 作成日 2020-04-07
24
clemfromspace/scrapy-selenium

Selenium を使用して JavaScript ページを処理するための Scrapy ミドルウェア

clemfromspace
⭐ 950 Python 👤 clemfromspace User 🕐 更新日時 2026-04-13 📅 作成日 2018-02-11
25
TikHub/TikHub-API-Python-SDK

Douyin(抖音)、TikTok、Xiaohongshu(小红书)、Kuaishou(快手)、Weibo(微博)、Instagram、YouTube(油管)、Twitter(X)用の、高性能非同期Captcha Solver(検証コード解決器)およびTemp Mail(一時メール)API(インターフェース)。

TikHub
⭐ 943 Python 👤 TikHub Organization 🕐 更新日時 2026-10-03 📅 作成日 2022-12-17
26
hellock/icrawler

多くの組み込み画像クローラーが提供されるマルチスレッドクローラーフレームワーク。

hellock
⭐ 936 Python 👤 hellock User 🕐 更新日時 2025-12-10 📅 作成日 2016-03-19
27
superboyyy/xianyu_spider

Xianyuのスクレイパー。XianyuのWeb版をベースに開発され、FastAPIで構築されたXianyu商品検索APIを提供します。非同期の並行リクエストとデータの自動重複排除・保存に対応しています。現在はログインにも対応しています。

superboyyy
⭐ 922 Python 👤 superboyyy User 🕐 更新日時 2026-09-18 📅 作成日 2025-06-04
28
scrapinghub/scrapyrt

Scrapyスパイダー用HTTP API

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 更新日時 2026-10-13 📅 作成日 2015-01-06
29
alltheplaces/alltheplaces

インターネットに位置情報を投稿する場所から位置情報を抽出するためのスパイダーとスクレイパーのセット。

alltheplaces
⭐ 851 Python 👤 alltheplaces Organization 🕐 更新日時 2026-11-21 📅 作成日 2016-06-15
30
MorvanZhou/easy-scraping-tutorial

シンプルだが役立つ Python ウェブスクレイピング チュートリアル コード。

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 更新日時 2024-04-07 📅 作成日 2017-12-29
31
unnohwn/telegram-scraper

Telethonライブラリを使用してTelegramチャンネルからメッセージやメディアをスクレイピングできる強力なPythonスクリプトです。リアルタイムでの継続的なスクレイピング、メディアのダウンロード、データのエクスポート機能が含まれます。

unnohwn
⭐ 797 Python 👤 unnohwn User 🕐 更新日時 2026-04-11 📅 作成日 2024-11-04
32
scrapy/scrapyd-client

Scrapyd サーバーのコマンドラインクライアント

scrapy
⭐ 773 Python 👤 scrapy Organization 🕐 更新日時 2026-02-27 📅 作成日 2015-03-27
33
TeamHG-Memex/scrapy-rotating-proxies

Scrapyで複数のプロキシを使用する

TeamHG-Memex
⭐ 772 Python 👤 TeamHG-Memex Organization 🕐 更新日時 2026-04-08 📅 作成日 2017-02-01
34
casual-silva/NewsCrawl

企業級の世論ニュースクローラープロジェクトをオープンソース化:任意の数のクローラーのワンクリック実行、クローラーの定期タスク、クローラーの一括削除をサポート;クローラーのワンクリックデプロイ;クローラーの監視可視化;クラスタークローラーの割り当て戦略を設定;👉 既製のDockerワンクリックデプロイドキュメントで皆さんのために障害を回避しました。

casual-silva
⭐ 688 Python 👤 casual-silva User 🕐 更新日時 2026-05-23 📅 作成日 2022-07-08
35
lzjqsdd/NewsSpider

今日头条、网易、腾讯などのニュースをクローリングし、シンプルな検索エンジンを構築

lzjqsdd
⭐ 638 Python 👤 lzjqsdd User 🕐 更新日時 2024-05-14 📅 作成日 2016-04-19
36
mouday/spider-admin-pro

spider-admin-pro クローラScrapy+Scrapydクローラプロジェクトの表示とクローラタスクの定期実行スケジューリングのためのビジュアル管理ツール、SpiderAdminのアップグレード版

mouday
⭐ 614 Python 👤 mouday User 🕐 更新日時 2026-06-15 📅 作成日 2021-01-25
37
spekulatius/PHPScraper

PHP用のユニバーサルWebユーティリティ。

spekulatius
⭐ 588 PHP 👤 spekulatius User 🕐 更新日時 2026-09-08 📅 作成日 2020-04-21
38
AlexMathew/scrapple

半自動ウェブコンテンツ抽出器作成のためのフレームワーク

AlexMathew
⭐ 506 Python 👤 AlexMathew User 🕐 更新日時 2026-01-16 📅 作成日 2014-12-13

よくある質問

1

GitHubで最も人気のある#scrapyリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#scrapyプロジェクトは、12,301個のスターを獲得しているcrawlab-team/crawlabです。言語やフレームワークに依存しないスパイダー管理のための分散型ウェブクローラー管理プラットフォーム。 分布式爬虫管理平台,支持任何语言和框架

2

#scrapyリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#scrapyプロジェクトでは、Python, Go, Java, Shellが最も一般的なプログラミング言語です。

3

#scrapyリポジトリのランキングはどのように算出されていますか?

#scrapyのタグが付いた38件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は84,191個で、リポジトリあたりの平均は2,215個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。