#crawler Репозитории
Всего репозиториев: 162
NetDiscovery — это универсальный фреймворк/промежуточное ПО для веб-краулинга, реализованное на основе таких фреймворков, как Vert.x и RxJava 2.
Одна команда для работы с Xiaohongshu, Douyin, TikTok, Bilibili, Kuaishou, Weibo, Xianyu, Taobao, JD.com и X: единые команды и вывод в формате JSON для людей и ИИ-агентов
Локально сохраняет веб-страницы на ваш жесткий диск с изображениями, CSS, JS и ссылками как есть.
Обнаружение антибот-систем, капч и методов снятия отпечатков в реальном времени. Идентифицирует Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security и другие системы, предоставляя оценку достоверности и расширенные инструменты захвата.
Jie выделяется как комплексный инструмент для оценки безопасности и эксплуатации, тщательно разработанный для веб-приложений. Его надежный набор функций включает сканирование уязвимостей, сбор информации и эксплуатацию, что делает его незаменимым набором инструментов как для специалистов по безопасности, так и для пентестеров. 挖洞辅助工具(漏洞扫描、信息收集)
FreeProxy: Сбор бесплатных прокси из интернета. (Огромное количество высококачественных бесплатных прокси по всему миру, поддержка сканирования десятков источников бесплатных прокси, фильтрация прокси по пользовательским правилам, необходимо для веб-скрапинга и анализа данных, ежедневное обновление с большим количеством бесплатных прокси.)
Открытая веб‑инфраструктура для ИИ. Скрапинг, краулинг и автоматизация веба, очистка markdown, сессии браузера — всё готово для ваших агентов.
Надежный высокоуровневый фреймворк для веб-краулинга и скрейпинга для Node.js.
Fresh Onions — это открытый TOR-спайдер / краулер onion-сервисов, размещённый на zlal32teyptf4tvi.onion
✈️ Самостоятельно размещаемый многоканальный мониторинг цен на авиабилеты: сбор подробной информации о рейсах → отправка текстовых и графических уведомлений через DingTalk → усиленные оповещения в четыре уровня при достижении заданных условий. Для внутренних и международных маршрутов (направления на пяти континентах) используется единый процесс сбора, проверки и отправки уведомлений. Данные хранятся на вашем устройстве, все настройки доступны в веб-интерфейсе. Проект с открытым исходным кодом и бесплатный.