Git Stars Git Stars

#scrapy Репозитории

Откройте для себя 38 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #scrapy, с общим числом 84,191 звёзд (в среднем 2,215 на проект). Лидером этой темы является crawlab-team/crawlab, набравший 12,301 звёзд.

38
Всего репозиториев
84,191
Всего звезд
2,215
Среднее количество звезд на репозиторий

Всего репозиториев: 38

1
crawlab-team/crawlab

Распределенная платформа администрирования веб-краулера для управления пауками независимо от языков и фреймворков. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 Обновлено 2026-02-10 📅 Создано 2019-02-10
2
chyroc/WechatSogou

Интерфейс краулера публичных аккаунтов WeChat на основе поиска WeChat от Sogou

chyroc
⭐ 6,411 Python 👤 chyroc User 🕐 Обновлено 2026-10-23 📅 Создано 2016-05-09
3
rmax/scrapy-redis

Компоненты на основе Redis для Scrapy.

rmax
⭐ 5,648 Python 👤 rmax User 🕐 Обновлено 2026-11-21 📅 Создано 2011-08-29
4
DropsDevopsOrg/ECommerceCrawlers

Практика 🐍 различных сайтов, краулеры данных электронной коммерции 🕷. Включает 🕸: Товары Taobao, публичные аккаунты WeChat, Dianping, Qichacha, сайты вакансий, Xianyu, задачи Ali, Cnblogs, Weibo, Baidu Tieba, фильмы Douban, Baotu.com, Quan jing wang, музыка Douban, бюро по надзору за лекарствами какой-то провинции, новости Sohu, сбор текста машинного обучения, сбор активов fofa, Autohome, Национальное бюро статистики, количество включений ключевых слов Baidu, общий каталог пауков, Toutiao, рецензии на фильмы Douban, Ctrip, магазин приложений Xiaomi, Anjuke, гостевые дома Tujia ❤️❤️❤️. Демонстрационный проект краулера WeChat:

DropsDevopsOrg
⭐ 5,355 Python 👤 DropsDevopsOrg Organization 🕐 Обновлено 2024-05-22 📅 Создано 2019-03-29
5
nghuyong/WeiboSpider

Инструмент сбора Sina Weibo с постоянным обслуживанием🚀🚀🚀

nghuyong
⭐ 4,125 Python 👤 nghuyong User 🕐 Обновлено 2026-06-30 📅 Создано 2017-10-29
6
Boris-code/feapder

🚀🚀🚀feapder — это простой в использовании и мощный фреймворк для веб-скрапинга | feapder — это простой в использовании и мощный фреймворк для веб-скрапинга на Python. Он имеет четыре встроенных типа пауков: AirSpider, Spider, TaskSpider и BatchSpider, для удовлетворения потребностей различных сценариев. Он поддерживает такие функции, как возобновление с точки останова, мониторинг и оповещения, рендеринг браузера и дедупликация огромных объемов данных. Кроме того, мощная система управления пауками feaplat обеспечивает удобное развертывание и планирование.

Boris-code
⭐ 3,732 Python 👤 Boris-code User 🕐 Обновлено 2026-08-21 📅 Создано 2021-02-08
7
Gerapy/Gerapy

Фреймворк управления распределенными краулерами на базе Scrapy, Scrapyd, Django и Vue.js

Gerapy
⭐ 3,518 Python 👤 Gerapy Organization 🕐 Обновлено 2026-07-04 📅 Создано 2017-06-30
8
my8100/scrapydweb

Веб-приложение для управления кластером Scrapyd, анализа и визуализации логов Scrapy, автоматической упаковки, задач по таймеру, мониторинга и оповещений, а также мобильного UI. Документы Docs :point_right:

my8100
⭐ 3,403 Python 👤 my8100 User 🕐 Обновлено 2025-02-19 📅 Создано 2018-09-30
9
scrapy-plugins/scrapy-splash

Scrapy+Splash для интеграции JavaScript

scrapy-plugins
⭐ 3,230 Python 👤 scrapy-plugins Organization 🕐 Обновлено 2025-02-11 📅 Создано 2013-05-13
10
scrapy/scrapyd

Службовый демон для запуска пауков Scrapy

scrapy
⭐ 3,100 Python 👤 scrapy Organization 🕐 Обновлено 2026-10-23 📅 Создано 2013-02-01
11
RayXBuilds/Movie_Recommend

Прошлый учебный проект: рекомендации фильмов с помощью Spark, веб-скрейпинг, веб-приложение и бэкенд. Разработка новой версии продолжается в cinematch-recommender.

RayXBuilds
⭐ 3,007 Java 👤 RayXBuilds User 🕐 Обновлено 2026-10-21 📅 Создано 2018-04-18
12
dataabc/weibo-search

Получение информации о результатах поиска Weibo. Поиск может быть как поиском по ключевым словам Weibo, так и поиском по темам Weibo.

dataabc
⭐ 2,340 Python 👤 dataabc User 🕐 Обновлено 2026-06-05 📅 Создано 2020-03-25
13
QianyanTech/Image-Downloader

Скачать изображения из Google, Bing, Baidu. Загрузка изображений из Google, Baidu, Bing.

QianyanTech
⭐ 2,331 Python 👤 QianyanTech Organization 🕐 Обновлено 2024-07-07 📅 Создано 2016-07-17
14
ictar/python-doc

Перевести документы Python на китайский язык для удобной справки Проще говоря, здесь хранятся эти дорогие документы Python, и мы постараемся перевести их на китайский язык ~~

ictar
⭐ 1,942 👤 ictar User 🕐 Обновлено 2024-05-17 📅 Создано 2015-12-18
15
DanMcInerney/xsscrapy

XSS паук - 66/66 wavsep XSS обнаружен

DanMcInerney
⭐ 1,731 Python 👤 DanMcInerney User 🕐 Обновлено 2024-06-13 📅 Создано 2014-06-23
16
TheWebScrapingClub/webscraping-from-0-to-hero

Репозиторий открытого проекта по веб-скрапингу нацелен на обмен знаниями и опытом в области веб-скрапинга с использованием Python.

TheWebScrapingClub
⭐ 1,695 👤 TheWebScrapingClub Organization 🕐 Обновлено 2024-05-27 📅 Создано 2022-05-26
17
eliasdabbas/advertools

advertools - инструменты продуктивности и анализа онлайн-маркетинга

eliasdabbas
⭐ 1,508 Python 👤 eliasdabbas User 🕐 Обновлено 2026-06-30 📅 Создано 2017-05-14
18
scrapy-plugins/scrapy-playwright

Интеграция Playwright для Scrapy

scrapy-plugins
⭐ 1,469 Python 👤 scrapy-plugins Organization 🕐 Обновлено 2026-11-02 📅 Создано 2020-11-10
19
tb0hdan/domains

Самый крупный в мире единый набор данных интернет-доменов

tb0hdan
⭐ 1,181 Shell 👤 tb0hdan User 🕐 Обновлено 2026-11-11 📅 Создано 2020-01-12
20
xingag/spider_python

краулер Python

xingag
⭐ 1,165 Python 👤 xingag User 🕐 Обновлено 2026-08-07 📅 Создано 2018-09-12
21
juancarlospaco/faster-than-requests

Быстрые запросы на Python 3

juancarlospaco
⭐ 1,131 Nim 👤 juancarlospaco User 🕐 Обновлено 2026-11-19 📅 Создано 2018-11-13
22
vifreefly/kimuraframework

Создавайте веб‑скрейперы на Ruby, используя чистый DSL с поддержкой ИИ. Kimurai использует ИИ, чтобы определить, где находятся данные, затем кэширует селекторы и выполняет скрейпинг только на Ruby. Получите интеллектуальные возможности LLM без задержек на запросы и стоимости токенов.

vifreefly
⭐ 1,102 Ruby 👤 vifreefly User 🕐 Обновлено 2026-01-27 📅 Создано 2018-08-23
23
moyada/stealer

Douyin, Kuaishou, Huoshan, Pipixia, программа для удаления водяных знаков с видео

moyada
⭐ 1,094 Python 👤 moyada User 🕐 Обновлено 2024-05-21 📅 Создано 2020-04-07
24
clemfromspace/scrapy-selenium

Мидлвэр Scrapy для обработки страниц JavaScript с использованием Selenium

clemfromspace
⭐ 950 Python 👤 clemfromspace User 🕐 Обновлено 2026-04-13 📅 Создано 2018-02-11
25
TikHub/TikHub-API-Python-SDK

Высокопроизводительный асинхронный решатель капчи (Captcha Solver) для Douyin(抖音), TikTok, Xiaohongshu(小红书), Kuaishou(快手), Weibo(微博), Instagram, YouTube(油管), Twitter(X) с API (интерфейсом) временной почты (Temp Mail).

TikHub
⭐ 943 Python 👤 TikHub Organization 🕐 Обновлено 2026-10-03 📅 Создано 2022-12-17
26
hellock/icrawler

Фреймворк многопоточного краулера с многими встроенными краулерами изображений.

hellock
⭐ 936 Python 👤 hellock User 🕐 Обновлено 2025-12-10 📅 Создано 2016-03-19
27
superboyyy/xianyu_spider

Парсер Xianyu, разработанный на основе веб-клиента Xianyu. Предоставляет API для поиска товаров, созданный с использованием FastAPI, с поддержкой асинхронных параллельных запросов и автоматического удаления дубликатов и хранения данных. Теперь также поддерживается вход в систему.

superboyyy
⭐ 922 Python 👤 superboyyy User 🕐 Обновлено 2026-09-18 📅 Создано 2025-06-04
28
scrapinghub/scrapyrt

HTTP API для пауков Scrapy

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 Обновлено 2026-10-13 📅 Создано 2015-01-06
29
alltheplaces/alltheplaces

Набор спайдеров и скрейперов для извлечения информации о местоположении из мест, которые публикуют свою локацию в интернете.

alltheplaces
⭐ 851 Python 👤 alltheplaces Organization 🕐 Обновлено 2026-11-21 📅 Создано 2016-06-15
30
MorvanZhou/easy-scraping-tutorial

Простой, но полезный код урока по веб-скрейпингу на Python.

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 Обновлено 2024-04-07 📅 Создано 2017-12-29
31
unnohwn/telegram-scraper

Мощный скрипт Python, который позволяет извлекать сообщения и медиа из каналов Telegram с помощью библиотеки Telethon. Функции включают непрерывный сбор данных в реальном времени, загрузку медиа и возможности экспорта данных.

unnohwn
⭐ 797 Python 👤 unnohwn User 🕐 Обновлено 2026-04-11 📅 Создано 2024-11-04
32
scrapy/scrapyd-client

Клиент командной строки для сервера Scrapyd

scrapy
⭐ 773 Python 👤 scrapy Organization 🕐 Обновлено 2026-02-27 📅 Создано 2015-03-27
33
TeamHG-Memex/scrapy-rotating-proxies

использовать несколько прокси с Scrapy

TeamHG-Memex
⭐ 772 Python 👤 TeamHG-Memex Organization 🕐 Обновлено 2026-04-08 📅 Создано 2017-02-01
34
casual-silva/NewsCrawl

Корпоративный проект с открытым исходным кодом для сбора новостей общественного мнения: поддерживает запуск любого количества краулеров одним щелчком мыши, запланированные задачи краулеров, пакетное удаление краулеров; развертывание краулеров одним щелчком; визуализация мониторинга краулеров; настройка стратегии распределения краулеров в кластере; 👉 Готовая документация по развертыванию Docker одним щелчком уже решила проблемы за вас.

casual-silva
⭐ 688 Python 👤 casual-silva User 🕐 Обновлено 2026-05-23 📅 Создано 2022-07-08
35
lzjqsdd/NewsSpider

Скрапинг новостей с Toutiao, NetEase, Tencent и т.д., и создание простого поискового движка

lzjqsdd
⭐ 638 Python 👤 lzjqsdd User 🕐 Обновлено 2024-05-14 📅 Создано 2016-04-19
36
mouday/spider-admin-pro

spider-admin-pro Визуальный инструмент управления для просмотра проектов краулеров Scrapy+Scrapyd и планового запуска задач краулеров, обновленная версия SpiderAdmin

mouday
⭐ 614 Python 👤 mouday User 🕐 Обновлено 2026-06-15 📅 Создано 2021-01-25
37
spekulatius/PHPScraper

Универсальная веб-утилита для PHP.

spekulatius
⭐ 588 PHP 👤 spekulatius User 🕐 Обновлено 2026-09-08 📅 Создано 2020-04-21
38
AlexMathew/scrapple

Фреймворк для создания полуавтоматических экстракторов веб-контента

AlexMathew
⭐ 506 Python 👤 AlexMathew User 🕐 Обновлено 2026-01-16 📅 Создано 2014-12-13

Часто задаваемые вопросы

1

Какой репозиторий по теме #scrapy наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #scrapy на GitHub — crawlab-team/crawlab, набравший 12,301 звёзд. Распределенная платформа администрирования веб-краулера для управления пауками независимо от языков и фреймворков. 分布式爬虫管理平台,支持任何语言和框架

2

Какие языки программирования чаще всего используются в репозиториях по теме #scrapy?

Среди наиболее высоко оценённых проектов по теме #scrapy на GitHub чаще всего используются языки программирования Python, Go, Java, Shell.

3

Как рассчитывается рейтинг репозиториев по теме #scrapy?

Мы отслеживаем 38 активных репозиториев с открытым исходным кодом, отмеченных тегом #scrapy (500 и более звёзд), с общим числом 84,191 звёзд и в среднем 2,215 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.