#scrapy Репозитории
Откройте для себя 38 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #scrapy, с общим числом 84,191 звёзд (в среднем 2,215 на проект). Лидером этой темы является crawlab-team/crawlab, набравший 12,301 звёзд.
Всего репозиториев: 38
Распределенная платформа администрирования веб-краулера для управления пауками независимо от языков и фреймворков. 分布式爬虫管理平台,支持任何语言和框架
Практика 🐍 различных сайтов, краулеры данных электронной коммерции 🕷. Включает 🕸: Товары Taobao, публичные аккаунты WeChat, Dianping, Qichacha, сайты вакансий, Xianyu, задачи Ali, Cnblogs, Weibo, Baidu Tieba, фильмы Douban, Baotu.com, Quan jing wang, музыка Douban, бюро по надзору за лекарствами какой-то провинции, новости Sohu, сбор текста машинного обучения, сбор активов fofa, Autohome, Национальное бюро статистики, количество включений ключевых слов Baidu, общий каталог пауков, Toutiao, рецензии на фильмы Douban, Ctrip, магазин приложений Xiaomi, Anjuke, гостевые дома Tujia ❤️❤️❤️. Демонстрационный проект краулера WeChat:
🚀🚀🚀feapder — это простой в использовании и мощный фреймворк для веб-скрапинга | feapder — это простой в использовании и мощный фреймворк для веб-скрапинга на Python. Он имеет четыре встроенных типа пауков: AirSpider, Spider, TaskSpider и BatchSpider, для удовлетворения потребностей различных сценариев. Он поддерживает такие функции, как возобновление с точки останова, мониторинг и оповещения, рендеринг браузера и дедупликация огромных объемов данных. Кроме того, мощная система управления пауками feaplat обеспечивает удобное развертывание и планирование.
Фреймворк управления распределенными краулерами на базе Scrapy, Scrapyd, Django и Vue.js
Веб-приложение для управления кластером Scrapyd, анализа и визуализации логов Scrapy, автоматической упаковки, задач по таймеру, мониторинга и оповещений, а также мобильного UI. Документы Docs :point_right:
Прошлый учебный проект: рекомендации фильмов с помощью Spark, веб-скрейпинг, веб-приложение и бэкенд. Разработка новой версии продолжается в cinematch-recommender.
Получение информации о результатах поиска Weibo. Поиск может быть как поиском по ключевым словам Weibo, так и поиском по темам Weibo.
Скачать изображения из Google, Bing, Baidu. Загрузка изображений из Google, Baidu, Bing.
Перевести документы Python на китайский язык для удобной справки Проще говоря, здесь хранятся эти дорогие документы Python, и мы постараемся перевести их на китайский язык ~~
Репозиторий открытого проекта по веб-скрапингу нацелен на обмен знаниями и опытом в области веб-скрапинга с использованием Python.
Создавайте веб‑скрейперы на Ruby, используя чистый DSL с поддержкой ИИ. Kimurai использует ИИ, чтобы определить, где находятся данные, затем кэширует селекторы и выполняет скрейпинг только на Ruby. Получите интеллектуальные возможности LLM без задержек на запросы и стоимости токенов.
Мидлвэр Scrapy для обработки страниц JavaScript с использованием Selenium
Высокопроизводительный асинхронный решатель капчи (Captcha Solver) для Douyin(抖音), TikTok, Xiaohongshu(小红书), Kuaishou(快手), Weibo(微博), Instagram, YouTube(油管), Twitter(X) с API (интерфейсом) временной почты (Temp Mail).
Парсер Xianyu, разработанный на основе веб-клиента Xianyu. Предоставляет API для поиска товаров, созданный с использованием FastAPI, с поддержкой асинхронных параллельных запросов и автоматического удаления дубликатов и хранения данных. Теперь также поддерживается вход в систему.
Набор спайдеров и скрейперов для извлечения информации о местоположении из мест, которые публикуют свою локацию в интернете.
Мощный скрипт Python, который позволяет извлекать сообщения и медиа из каналов Telegram с помощью библиотеки Telethon. Функции включают непрерывный сбор данных в реальном времени, загрузку медиа и возможности экспорта данных.
Корпоративный проект с открытым исходным кодом для сбора новостей общественного мнения: поддерживает запуск любого количества краулеров одним щелчком мыши, запланированные задачи краулеров, пакетное удаление краулеров; развертывание краулеров одним щелчком; визуализация мониторинга краулеров; настройка стратегии распределения краулеров в кластере; 👉 Готовая документация по развертыванию Docker одним щелчком уже решила проблемы за вас.
Скрапинг новостей с Toutiao, NetEase, Tencent и т.д., и создание простого поискового движка
spider-admin-pro Визуальный инструмент управления для просмотра проектов краулеров Scrapy+Scrapyd и планового запуска задач краулеров, обновленная версия SpiderAdmin
Часто задаваемые вопросы
Какой репозиторий по теме #scrapy наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #scrapy на GitHub — crawlab-team/crawlab, набравший 12,301 звёзд. Распределенная платформа администрирования веб-краулера для управления пауками независимо от языков и фреймворков. 分布式爬虫管理平台,支持任何语言和框架
Какие языки программирования чаще всего используются в репозиториях по теме #scrapy?
Среди наиболее высоко оценённых проектов по теме #scrapy на GitHub чаще всего используются языки программирования Python, Go, Java, Shell.
Как рассчитывается рейтинг репозиториев по теме #scrapy?
Мы отслеживаем 38 активных репозиториев с открытым исходным кодом, отмеченных тегом #scrapy (500 и более звёзд), с общим числом 84,191 звёзд и в среднем 2,215 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.