#crawler Репозитории
Всего репозиториев: 162
Удобный загрузчик комиксов Bilibili с графическим интерфейсом, поддерживающий поиск комиксов по ключевым словам и вход по QR-коду, 'черную технологию' для загрузки разблокированных глав, многопоточную загрузку, различные форматы сохранения, локальное управление комиксами и проверку обновлений в один клик!
📝 Быстро соберите информацию (например, подписчики, теги и т.д.) профиля Instagram.
Запустите браузерный веб-архивный краулер с высокой точностью в одном Docker-контейнере
📰 Newspaper4k — ответвление популярного Newspaper3k. Извлечение статей, заголовков и метаданных с новостных сайтов.
Легко скачивайте все фото/видео из блогов Tumblr. Скачивайте изображения и видео из указанных блогов Tumblr
Сервер корпоративного поиска и поиска по сайтам с открытым исходным кодом, предназначенный для самостоятельного хостинга на базе OpenSearch. Поддерживает индексацию веб-ресурсов, файлов, баз данных и облачных источников, более 20 языков, REST API, а также семантический поиск и AI/RAG. Лицензия Apache-2.0.
Масштабируемые Python-скрипты для веб-скрейпинга более чем 80 популярных доменов
BaiduSpider, парсер для извлечения результатов поиска Baidu, в настоящее время поддерживает веб-поиск Baidu, поиск изображений Baidu, поиск Baidu Knows, поиск видео Baidu, поиск новостей Baidu, поиск Baidu Wenku, поиск опыта Baidu и поиск Baidu Baike.
Crawly, фреймворк высокого уровня для веб-краулинга и скрейпинга для Elixir.
Golang Удаление водяных знаков с коротких видео: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipixia Gaoqiao, Xigua Video, Huya, Li Video, AcFun, Haokan Video...
Создавайте веб‑скрейперы на Ruby, используя чистый DSL с поддержкой ИИ. Kimurai использует ИИ, чтобы определить, где находятся данные, затем кэширует селекторы и выполняет скрейпинг только на Ruby. Получите интеллектуальные возможности LLM без задержек на запросы и стоимости токенов.
Антидетект-браузер на уровне ядра с API Playwright, которое вы уже используете. SDK для Python и Node, поддержка MCP, неограниченное количество локальных профилей. Linux x64 + arm64, macOS Intel + Apple Silicon, Windows x64.
SiteOne Crawler — это кроссплатформенный краулер и анализатор веб-сайтов для оптимизации SEO, безопасности, доступности и производительности, идеально подходящий для разработчиков, DevOps, инженеров QA и консультантов. Поддерживает Windows, macOS и Linux (x64 и arm64).
Скачивание романов|Скрапинг романов|起点|笔趣阁|Экспорт Markdown|Экспорт txt|Конвертация epub|Фильтрация рекламы|Автоматическая корректура
Инструменты протокола на чистом Python и исследовательские заметки для X.com с наборами данных учетных записей Twitter VibeLoft
Случаи обратного инжиниринга веб-краулеров, завершено: TLS-отпечаток | Ruishu | Zhenkunxing | NetEase Yudun | Обратное проектирование/декомпиляция мини-программ WeChat (Baida Xingxi) | Tonghuashun | RPC-дешифрование | Jiasule | Ползунок-CAPTCHA Jueyan | Julang Sanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Платформа больших данных по промышленной политике | Qizhidiao | Xueqiu.com (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Keji | mohurd | Ejoin Data | Ouke Yunlian
Высокопроизводительный асинхронный решатель капчи (Captcha Solver) для Douyin(抖音), TikTok, Xiaohongshu(小红书), Kuaishou(快手), Weibo(微博), Instagram, YouTube(油管), Twitter(X) с API (интерфейсом) временной почты (Temp Mail).
Фреймворк многопоточного краулера с многими встроенными краулерами изображений.
Google Play скрейпер для Python, вдохновленный <facundoolano/google-play-scraper>
ChatWeb может сканировать веб-страницы, читать PDF, DOCX, TXT и извлекать основное содержание, а затем отвечать на ваши вопросы на основе содержания или обобщать ключевые моменты.
Библиотека на базе Kotlin для тестирования, скрапинга и парсинга, предоставляющая возможность анализа и извлечения данных из HTML (отрендеренного на сервере и на клиенте). Она делает особый акцент на удобстве использования и высокую степень читаемости, предоставляя интуитивный DSL. Она предназначена для использования как библиотека тестирования, но также может использоваться для удобного скрапинга веб-сайтов.
ArrowDL (Arrow Downloader) — это менеджер загрузок для Windows, macOS и Linux.
Krawl — это настраиваемый, легковесный, облачный веб-сервер для обмана и анти-краулер, который создает фальшивые веб-приложения с низко висящими уязвимостями, используя реалистичные случайно генерируемые приманные данные и HTML-шаблоны, сгенерированные ИИ.
Универсальная библиотека Ruby для веб-скрейпинга, которая может сканировать сайт, несколько доменов, определенные ссылки или бесконечно. Spidr разработан для скорости и простоты использования.
Скрытый движок Chromium, который предотвращает блокировку скрейперов и браузерных агентов благодаря изменению всего одной строки кода.
The Big Brother — это вооружённая платформа OSINT, включающая перебор имён пользователей (более чем на 473 платформах), визуальную разведку по четырём векторам, отслеживание с помощью Sky Radar, анализ криптовалютных кошельков, сбор сведений об SSL, восстановление цифрового следа, извлечение EXIF-данных, продвинутый поиск с помощью дорков и сетевую разведку.
Мощный инструмент для обратной разработки cookie JS: инструмент визуализации для мониторинга изменений cookie JS и хук для cookie JS с условными точками останова
Репозиторий кода книги «Продвинутая практика реверс-инжиниринга веб-скрапинга»
🕵️♂️ Скрапер профилей LinkedIn, возвращающий структурированные данные профиля в формате JSON.
Wscan — это сканер безопасности веб-сайтов, ориентированный на веб-безопасность и призванный сделать веб-безопасность доступной для всех.
Поиск в Google, Bing, Yahoo и других поисковых системах с помощью Python
Официальный репозиторий для "Craw4LLM: Эффективный веб-краулинг для предварительного обучения LLM"