#crawler Репозитории
Всего репозиториев: 162
DecryptLogin: API для входа в некоторые веб-сайты с использованием requests.
Geziyor, сверхбыстрый фреймворк для веб-краулинга и скрапинга для Go. Поддерживает рендеринг JS.
:spider: Прогрессивный фреймворк для краулера PHP! Элегантный прогрессивный фреймворк для сбора PHP.
ScopeSentry-Картографирование киберпространства, перечисление поддоменов, сканирование портов, обнаружение конфиденциальной информации, сканирование уязвимостей, распределенные узлы
news-please - Интегрированный веб-краулер и экстрактор информации для новостей, который просто работает
🕷 CrawlerDetect — это PHP-класс для обнаружения ботов/краулеров/пауков через пользовательский агент
Утечки промптов GPT обходят ограничение в 25 сообщений или позволяют попробовать GPT без подписки Plus.
Кроссплатформенный фреймворк для веб-краулеров на C#, созданный для скорости и гибкости. Пожалуйста, поставьте звезду этому проекту! +1.
Website Cloner - Использует мощные Go-процедуры для клонирования веб-сайтов на ваш компьютер за считанные секунды.
Загрузчик медиа с любых сайтов, включая Twitter, Reddit, Instagram, BlueSky, TikTok, Threads, Facebook, OnlyFans, YouTube, Pinterest, PornHub, XHamster, XVIDEOS, ThisVid и т. д.
Blue Sky Collector — это бесплатная система краулеров с открытым исходным кодом, которая требует только выбора и редактирования правил для сбора данных. Она может работать локально, на виртуальном хостинге или в облачном сервере, и может сканировать практически все типы веб-страниц. Она бесшовно интегрируется с различными программами для создания веб-сайтов на основе CMS, публикует данные в режиме реального времени без входа в систему и полностью автоматизирована без вмешательства человека! Это полностью кроссплатформенная облачная система краулеров для сбора больших данных в Интернете.
Основная библиотека NewPipe для извлечения данных из сайтов потокового вещания
Сборник кейсов веб-скрапинга. Включая, но не ограничиваясь: «Taobao, JD.com, Tmall, Douban, Douyin, Kuaishou, Weibo, WeChat, Alibaba, Toutiao, PDD, Youku, iQIYI, Ctrip, 12306, 58, Sohu, различные индексы, VIP, Wanfang, ZLibrary, Oalib, романы, тендерные сайты, закупочные сайты, Xiaohongshu, Dianping, Twitter, Maimai, Zhihu»
Diskover Community Edition - Открытый индексатор файлов, поисковая система файлов и управление данными и аналитика на базе Elasticsearch
Скрапер BOSS Zhipin / Инструмент для сбора данных о вакансиях BOSS Zhipin, основанный на протоколе Chrome CDP для повторного использования реальных сессий входа, обхода защиты от парсинга шрифтов и вывода данных о зарплате в формате JSON/CSV + анализ навыков и зарплат.
Асинхронный микрофреймворк для веб-скрейпинга на Python 3.6+, основанный на asyncio
Python-библиотека для движков Modest и Lexbor. Быстрый парсер HTML5 с CSS-селекторами для Python.
CLI-инструмент для сохранения точной копии полной веб-страницы в одном HTML-файле (на основе SingleFile)
❤️ Fredy — [F]ind [R]eal [E]state [D]amn Eas[y] (находи настоящую недвижимость без лишних усилий) — Fredy продолжает искать новые квартиры, дома и другие варианты жилья в Европе на таких платформах, как ImmoScout24, Immowelt и eBay Kleinanzeigen, и мгновенно отправляет результаты через Slack, Telegram, электронную почту, Discord или ntfy, чтобы вы могли сосредоточиться на более важных вещах в жизни ;)
Douyin Crawler – сбор общедоступных данных, таких как главная страница аккаунта, лайки, коллекции, оригинальные музыкальные треки, темы, поиск, сборники, работы, подписки, подписчики и т. д.
Веб-краулер архивариуса: вывод WARC, информационная панель для всех сканирований, динамические шаблоны игнорирования
Python-краулеры, текущий запас: Парсинг песен NetEase Cloud Music, Парсинг видео Bilibili, Парсинг вопросов и ответов Zhihu, Парсинг обоев, Парсинг видео xvideos, Парсинг аудиокниг, Краулер Weibo, Парсинг информации Anjuke + визуализация данных, Извлекатель обложек видео Bilibili, Инкапсуляция пула прокси IP, Краулер пользователей Zhihu уровня миллиона + анализ данных, Краулер пользователей GitHub
Коллекция патчей для puppeteer и playwright для предотвращения обнаружения автоматизации и утечек. Помогает обходить CAPTCHA-страницы Cloudflare и DataDome. Легко применять/отменять патчи, можно включать/отключать по требованию.
Инструмент для сбора данных Xiaohongshu, пакетной загрузки изображений веб-сайтов и видеоресурсов, инструмент для сбора данных с очень привлекательным внешним видом (пакетная загрузка, извлечение видео, изображений) Telegram:https://t.me/+ZtLSwuIKTo44MDY1
Обмен кодом веб-скрапинга брата К, обратная разработка JS, продвинутый веб-скрапинг. Подпишитесь на официальный аккаунт WeChat: Веб-скрапинг брата К
Легковесный веб-краулер/скраппер на Ruby с элегантным DSL, который извлекает структурированные данные из страниц.
Prime Cross Site Request Forgery (CSRF) Инструментарий для аудита и эксплуатации.
Быстрая и легкая альтернатива Firecrawl/Tavily на Rust. Веб-скрейпер, краулер и API поиска с MCP-сервером для ИИ-агентов. API с поддержкой Firecrawl (/scrape, /crawl, /search). В 2,3 раза быстрее Tavily и в 1,5 раза быстрее Firecrawl в тестах на 1000 URL. 6 МБ ОЗУ, один бинарный файл. Самохостинг или управляемое облако.
Beanbun — это многопроцессный фреймворк для веб-скрапинга, написанный на PHP, с хорошей открытостью и высокой масштабируемостью, основанный на Workerman.