#spider Репозитории
Всего репозиториев: 92
Beanbun — это многопроцессный фреймворк для веб-скрапинга, написанный на PHP, с хорошей открытостью и высокой масштабируемостью, основанный на Workerman.
Масштабируемые Python-скрипты для веб-скрейпинга более чем 80 популярных доменов
BaiduSpider, парсер для извлечения результатов поиска Baidu, в настоящее время поддерживает веб-поиск Baidu, поиск изображений Baidu, поиск Baidu Knows, поиск видео Baidu, поиск новостей Baidu, поиск Baidu Wenku, поиск опыта Baidu и поиск Baidu Baike.
Crawly, фреймворк высокого уровня для веб-краулинга и скрейпинга для Elixir.
LLM Большие модели Заметки 50 статей Этот репозиторий содержит практические проекты в таких областях, как машинное обучение, глубокое обучение, компьютерное зрение, обработка естественного языка, большие модели, веб-скрапинг и т. д.
Golang Удаление водяных знаков с коротких видео: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipixia Gaoqiao, Xigua Video, Huya, Li Video, AcFun, Haokan Video...
Обратное проектирование JS, взлом параметров шифрования JS против скрейпинга, уже взломан ползунок Geetest w (2022.2.19), QQ Music sign (2022.2.13), Pinduoduo anti_content, Boss Zhipin zp_token, Zhihu x-zse-96, Kugou kg_mid/dfid, Vipshop mars_cid, China Judgments Online (обновлено 2020-06-30), пароль Taobao, вход в Tianan Insurance, вход в Bilibili, вход в Fang.com, вход в WPS, вход в Weibo, Youdao Translate, вход в Netease, вход в WeChat Official Account, вход в Air China Network, вход в Jmubiao, вход в Student Information Management System, вход в Gengying Finance, вход в Chongqing Science and Technology Resource Sharing Platform, загрузка Netease Cloud Music, парсинг видеоссылок в один клик, вход в Cailianshe.
Скачивание романов|Скрапинг романов|起点|笔趣阁|Экспорт Markdown|Экспорт txt|Конвертация epub|Фильтрация рекламы|Автоматическая корректура
Случаи обратного инжиниринга веб-краулеров, завершено: TLS-отпечаток | Ruishu | Zhenkunxing | NetEase Yudun | Обратное проектирование/декомпиляция мини-программ WeChat (Baida Xingxi) | Tonghuashun | RPC-дешифрование | Jiasule | Ползунок-CAPTCHA Jueyan | Julang Sanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Платформа больших данных по промышленной политике | Qizhidiao | Xueqiu.com (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Keji | mohurd | Ejoin Data | Ouke Yunlian
Набор спайдеров и скрейперов для извлечения информации о местоположении из мест, которые публикуют свою локацию в интернете.
Krawl — это настраиваемый, легковесный, облачный веб-сервер для обмана и анти-краулер, который создает фальшивые веб-приложения с низко висящими уязвимостями, используя реалистичные случайно генерируемые приманные данные и HTML-шаблоны, сгенерированные ИИ.
:point_right: Java-краулер акций на базе Spring Boot (поддерживает только акции A), если нравится :heart: пожалуйста :star: . Версия обновления V2 в разработке!
Универсальная библиотека Ruby для веб-скрейпинга, которая может сканировать сайт, несколько доменов, определенные ссылки или бесконечно. Spidr разработан для скорости и простоты использования.
Плагин источника/метаданных calibre на основе поиска ISBN Национальной библиотеки Китая. https://doiiars.com/article/NLCISBNPlugin
Фреймворк для тестирования на проникновение, инструмент для сбора информации и сканер уязвимостей веб-сайтов
Упаковщик ранобэ, который собирает контент с сайтов Bili Light Novel (bilinovel.com linovelib.com) и упаковывает его в формат EPUB, поддерживая обложки, иллюстрации, оглавление и объединение отдельных томов.
Signal 18 repman - Менеджер репликации для MySQL / MariaDB / Percona Server
🕵️♂️ Скрапер профилей LinkedIn, возвращающий структурированные данные профиля в формате JSON.
Python-скрипт для удаления водяных знаков из коротких видео: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Национальное короткое видео, Pipi Забавный, Xigua Video, Huya, Li Video, AcFun, Haokan Video...
SDK для краулера Taobao, используется для открытой платформы Taobao или для входа и парсинга Taobao, Tmall, Alibaba
Корпоративный проект с открытым исходным кодом для сбора новостей общественного мнения: поддерживает запуск любого количества краулеров одним щелчком мыши, запланированные задачи краулеров, пакетное удаление краулеров; развертывание краулеров одним щелчком; визуализация мониторинга краулеров; настройка стратегии распределения краулеров в кластере; 👉 Готовая документация по развертыванию Docker одним щелчком уже решила проблемы за вас.
Проект анкеты, рекомендация облачных серверов, проект подвески, бесплатный прокси, сбор различных скриптов. Добро пожаловать в верхний правый угол, нажмите на колокольчик, чтобы своевременно получать информацию об обновлениях. (Не форкайте, ведите себя скромно)
NetDiscovery — это универсальный фреймворк/промежуточное ПО для веб-краулинга, реализованное на основе таких фреймворков, как Vert.x и RxJava 2.
Одна команда для работы с Xiaohongshu, Douyin, TikTok, Bilibili, Kuaishou, Weibo, Xianyu, Taobao, JD.com и X: единые команды и вывод в формате JSON для людей и ИИ-агентов
Обнаружение антибот-систем, капч и методов снятия отпечатков в реальном времени. Идентифицирует Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security и другие системы, предоставляя оценку достоверности и расширенные инструменты захвата.
Скрипт Python 3 для выгрузки/парсинга/извлечения сотрудников компании из API LinkedIn
spider-admin-pro Визуальный инструмент управления для просмотра проектов краулеров Scrapy+Scrapyd и планового запуска задач краулеров, обновленная версия SpiderAdmin
FreeProxy: Сбор бесплатных прокси из интернета. (Огромное количество высококачественных бесплатных прокси по всему миру, поддержка сканирования десятков источников бесплатных прокси, фильтрация прокси по пользовательским правилам, необходимо для веб-скрапинга и анализа данных, ежедневное обновление с большим количеством бесплатных прокси.)
Fresh Onions — это открытый TOR-спайдер / краулер onion-сервисов, размещённый на zlal32teyptf4tvi.onion
🎯 Программа визуализации и анализа данных комментариев Bilibili -- создатели контента могут использовать её для выбора тем и понимания своей аудитории.