#spider Репозитории
Откройте для себя 92 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #spider, с общим числом 325,814 звёзд (в среднем 3,541 на проект). Лидером этой темы является NaiboWang/EasySpider, набравший 44,801 звёзд.
Всего репозиториев: 92
Визуальный no-code веб-краулер/паук: программное обеспечение для автоматизации браузера, сбора данных и веб-скрейпинга, позволяющее проектировать и выполнять задачи парсинга без написания кода. Псевдоним: ServiceWrapper, интеллектуальная система инкапсуляции сервисов для веб-приложений.
Некоторые очень интересные примеры краулеров на Python, дружелюбные для новичков, в основном для парсинга сайтов вроде Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ и т.д. (Some interesting examples of python crawlers that are friendly to beginners.)
Распределенная платформа администрирования веб-краулера для управления пауками независимо от языков и фреймворков. 分布式爬虫管理平台,支持任何语言和框架
Программное обеспечение для записи прямых трансляций с циклической дежурной службой и многопользовательской записью, поддерживающее запись прямых трансляций с более чем 40 платформ, таких как Douyin, TikTok, Youtube, Kuaishou, Huya, Douyu, Bilibili, Xiaohongshu, pandatv, sooplive, flextv, popkontv, twitcasting, winktv, Baidu, Weibo, Kugou, 17Live, Twitch, Acfun, CHZZK, Shopee и других.
Система управления AV-фильмами, avmoo, javbus, javlibrary Crawler, Онлайн-библиотека AV-фильмов, База данных AV-магнитных ссылок, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database
INFO-SPIDER — это инструментарий веб-краулера🧰, объединяющий множество источников данных, призванный помочь пользователям безопасно и быстро получать свои данные. Код инструмента является открытым, а процесс — прозрачным. Поддерживаемые источники данных включают GitHub, QQ Mail, Netease Mail, Ali Mail, Sina Mail, Hotmail, Outlook, JD, Taobao, Alipay, China Mobile, China Unicom, China Telecom, Zhihu, Bilibili, Netease Cloud Music, QQ Friends, QQ Groups, Генерация альбомов WeChat Moments, История просмотров браузера, 12306, Blog Garden, CSDN Blog, OSCHINA Blog, JianShu.
Список библиотек, инструментов и API для веб-скрейпинга и обработки данных.
Pholcus — это распределённое ПО для краулера с высокой параллельностью, написанное на чистом golang
Синхронизация статей в один клик на нескольких контент-платформах, поддержка Toutiao, WordPress, Zhihu, JianShu, Juejin, CSDN, Typecho и других крупных платформ. Одна публикация для синхронизации на нескольких платформах. Освободите личную продуктивность.
novel-plus — это многофункциональная CMS для управления романами, поддерживающая несколько платформ (ПК, WAP, приложения и мини-программы). В системе есть рекомендации, поиск и рейтинги романов, чтение, книжные полки, рецензии и списки книг, сбор романов из Интернета, центр участников, раздел для авторов, пополнение счёта и подписки, а также публикация новостей.
Частые вызовы API Bilibili. Поддерживает такие функции, как видео, аниме, пользователи, каналы, аудио и т. д. Адрес исходного репозитория: https://github.com/MoyuScript/bilibili-api
🚀🚀🚀feapder — это простой в использовании и мощный фреймворк для веб-скрапинга | feapder — это простой в использовании и мощный фреймворк для веб-скрапинга на Python. Он имеет четыре встроенных типа пауков: AirSpider, Spider, TaskSpider и BatchSpider, для удовлетворения потребностей различных сценариев. Он поддерживает такие функции, как возобновление с точки останова, мониторинг и оповещения, рендеринг браузера и дедупликация огромных объемов данных. Кроме того, мощная система управления пауками feaplat обеспечивает удобное развертывание и планирование.
Фреймворк управления распределенными краулерами на базе Scrapy, Scrapyd, Django и Vue.js
Веб-приложение для управления кластером Scrapyd, анализа и визуализации логов Scrapy, автоматической упаковки, задач по таймеру, мониторинга и оповещений, а также мобильного UI. Документы Docs :point_right:
Удаление водяных знаков с коротких видео: Douyin, Pipixia, Huoshan, Weishi, Weibo, Oasis, Zuiyou, Qingshipin, Kuaishou, Quanmin Xiaoshipin, Barcelona Film, Momo, Before Bifeng, Kaiyan, Vue Vlog Xiaokuxiu, Pipixia Funny, Quanmin K Ge, Xigua Video, Doupai, Huya, 6 Rooms, Li Video, Xinpianchang, acfun, Meipai...
DecryptLogin: API для входа в некоторые веб-сайты с использованием requests.
Geziyor, сверхбыстрый фреймворк для веб-краулинга и скрапинга для Go. Поддерживает рендеринг JS.
Примеры уроков по языку Go от начинающего до продвинутого, включая использование базовых библиотек, шаблоны проектирования, типичные ошибки на собеседованиях, утилитарные классы, интеграцию с третьими сторонами и т.д.
:spider: Прогрессивный фреймворк для краулера PHP! Элегантный прогрессивный фреймворк для сбора PHP.
🕷 CrawlerDetect — это PHP-класс для обнаружения ботов/краулеров/пауков через пользовательский агент
Скачать изображения из Google, Bing, Baidu. Загрузка изображений из Google, Baidu, Bing.
Кроссплатформенный фреймворк для веб-краулеров на C#, созданный для скорости и гибкости. Пожалуйста, поставьте звезду этому проекту! +1.
Blue Sky Collector — это бесплатная система краулеров с открытым исходным кодом, которая требует только выбора и редактирования правил для сбора данных. Она может работать локально, на виртуальном хостинге или в облачном сервере, и может сканировать практически все типы веб-страниц. Она бесшовно интегрируется с различными программами для создания веб-сайтов на основе CMS, публикует данные в режиме реального времени без входа в систему и полностью автоматизирована без вмешательства человека! Это полностью кроссплатформенная облачная система краулеров для сбора больших данных в Интернете.
Помощник экспорта QQ Space, предназначенный для резервного копирования в виде файлов записей, дневников, личных дневников, альбомов, видео, сообщений на доске, друзей QQ, избранного, публикаций и недавних посетителей QQ Space для удобного переноса и сохранения.
Сканер веб-приложений на основе Python для сбора OSINT и fuzzing уязвимостей OWASP на целевом сайте.
Скрапер BOSS Zhipin / Инструмент для сбора данных о вакансиях BOSS Zhipin, основанный на протоколе Chrome CDP для повторного использования реальных сессий входа, обхода защиты от парсинга шрифтов и вывода данных о зарплате в формате JSON/CSV + анализ навыков и зарплат.
Асинхронный микрофреймворк для веб-скрейпинга на Python 3.6+, основанный на asyncio
Douyin Crawler – сбор общедоступных данных, таких как главная страница аккаунта, лайки, коллекции, оригинальные музыкальные треки, темы, поиск, сборники, работы, подписки, подписчики и т. д.
Веб-краулер архивариуса: вывод WARC, информационная панель для всех сканирований, динамические шаблоны игнорирования
Python-краулеры, текущий запас: Парсинг песен NetEase Cloud Music, Парсинг видео Bilibili, Парсинг вопросов и ответов Zhihu, Парсинг обоев, Парсинг видео xvideos, Парсинг аудиокниг, Краулер Weibo, Парсинг информации Anjuke + визуализация данных, Извлекатель обложек видео Bilibili, Инкапсуляция пула прокси IP, Краулер пользователей Zhihu уровня миллиона + анализ данных, Краулер пользователей GitHub
📰 Бразильские официальные бюллетени доступны всем | 📰 Бразильские правительственные газеты, доступные всем.
Обмен кодом веб-скрапинга брата К, обратная разработка JS, продвинутый веб-скрапинг. Подпишитесь на официальный аккаунт WeChat: Веб-скрапинг брата К
Prime Cross Site Request Forgery (CSRF) Инструментарий для аудита и эксплуатации.
Часто задаваемые вопросы
Какой репозиторий по теме #spider наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #spider на GitHub — NaiboWang/EasySpider, набравший 44,801 звёзд. Визуальный no-code веб-краулер/паук: программное обеспечение для автоматизации браузера, сбора данных и веб-скрейпинга, позволяющее проектировать и выполнять задачи парсинга без написания кода. Псевдоним: ServiceWrapper, интеллектуальная система инкапсуляции сервисов для веб-приложений.
Какие языки программирования чаще всего используются в репозиториях по теме #spider?
Среди наиболее высоко оценённых проектов по теме #spider на GitHub чаще всего используются языки программирования Python, Go, PHP, TypeScript.
Как рассчитывается рейтинг репозиториев по теме #spider?
Мы отслеживаем 92 активных репозиториев с открытым исходным кодом, отмеченных тегом #spider (500 и более звёзд), с общим числом 325,814 звёзд и в среднем 3,541 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.