#scraper Репозитории
Всего репозиториев: 128
Python-библиотека для движков Modest и Lexbor. Быстрый парсер HTML5 с CSS-селекторами для Python.
Современный API поисковой системы для аниме, фильмов/телешоу, книг, ранобэ, манги и т. д.
Полностью бесплатный Instagram-бот с открытым исходным кодом, имитирующий действия человека. Работает на UIAutomator2 и совместим практически с любым устройством Android 5.0+, на котором может быть запущено приложение Instagram — реальным или эмулируемым.
Инструмент автоматического переименования сериалов/аниме, пакетное переименование в один клик. Может использоваться совместно с QBittorrent для автоматического переименования после загрузки, что облегчает автоматический парсинг Emby. Поддерживает работу в средах Windows, Linux, MacOS, Docker и пакетах Synology.
Высокоэффективный, быстрый, мощный и легкий загрузчик и стример аниме для ваших любимых аниме.
Зеркальный сайт Anime Garden | Сайт агрегации BT-ресурсов аниме | Открытый API BT-ресурсов аниме
Легковесный веб-краулер/скраппер на Ruby с элегантным DSL, который извлекает структурированные данные из страниц.
Cinemagoer — это пакет Python, предназначенный для получения и управления данными из базы данных фильмов IMDb (с которой мы никак не связаны) о фильмах, людях и персонажах.
Получить данные постов/профиля/хэштегов Instagram без использования Instagram API
Полностью обновлённый и переработанный форк с поддержкой OnlyFans и Fansly, заново созданный с нуля на основе оригинального onlyfans-scraper.
Самостоятельно размещаемый движок для парсинга — обходит любые JS-вызовы и капчи: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Альтернатива FlareSolverr и Byparr, прямая замена для вашего стека *arr.
📰 Newspaper4k — ответвление популярного Newspaper3k. Извлечение статей, заголовков и метаданных с новостных сайтов.
Первый инструмент для просмотра "приватных постов Instagram" анонимно
Масштабируемые Python-скрипты для веб-скрейпинга более чем 80 популярных доменов
Crawly, фреймворк высокого уровня для веб-краулинга и скрейпинга для Elixir.
Создавайте веб‑скрейперы на Ruby, используя чистый DSL с поддержкой ИИ. Kimurai использует ИИ, чтобы определить, где находятся данные, затем кэширует селекторы и выполняет скрейпинг только на Ruby. Получите интеллектуальные возможности LLM без задержек на запросы и стоимости токенов.
Неофициальный MyAnimeList PHP+REST API, предоставляющий функции помимо официального API
Комплексный менеджер, который управляет ресурсами внутри компьютера и обеспечивает геймификацию
Universal Reddit Scraper — Комплексный инструмент командной строки для скрапинга/архивирования Reddit.
Получайте твиты, ответы, ленты, результаты поиска, списки и статьи X/Twitter без входа в систему и ключей API. Python CLI и библиотека для ИИ-агентов: бэкенды FxTwitter, Nitter и браузера с автоматическим переключением, единый формат JSON и дополнительный архив SQLite. Получайте публикации Twitter без входа и API.
Готовое к использованию локальное приложение для скрейпинга, управления и воспроизведения JAV/видео с поддержкой установки одной командой через командную строку и развёртывания в Docker. Просто добавьте каталог, чтобы создать собственную приватную медиатеку JAV/видео и наслаждаться первоклассным просмотром. Незаменимый инструмент для тех, кто ценит простоту! | Ваш локальный менеджер JAV/видео.
Парсер YouTube для легкого сбора общедоступных данных YouTube, включая информацию о видео и каналах.
Google Play скрейпер для Python, вдохновленный <facundoolano/google-play-scraper>
Открытая база данных международных санкционных данных, лиц, представляющих интерес, и политически значимых лиц
Библиотека на базе Kotlin для тестирования, скрапинга и парсинга, предоставляющая возможность анализа и извлечения данных из HTML (отрендеренного на сервере и на клиенте). Она делает особый акцент на удобстве использования и высокую степень читаемости, предоставляя интуитивный DSL. Она предназначена для использования как библиотека тестирования, но также может использоваться для удобного скрапинга веб-сайтов.
Инструмент командной строки для загрузки и извлечения данных из страниц HTML/XML или JSON-API с использованием CSS, XPath 3.0, XQuery 3.0, JSONiq или сопоставления шаблонов. Он также может создавать новые или преобразованные документы XML/HTML/JSON.
Универсальная библиотека Ruby для веб-скрейпинга, которая может сканировать сайт, несколько доменов, определенные ссылки или бесконечно. Spidr разработан для скорости и простоты использования.
Бесплатный инструмент для генерации лидов. Сканируйте профили в Instagram, Twitch, TikTok и LinkedIn. Извлекайте адреса электронной почты из описаний, проверяйте их через SMTP и экспортируйте в CSV.
Мощный скрипт Python, который позволяет извлекать сообщения и медиа из каналов Telegram с помощью библиотеки Telethon. Функции включают непрерывный сбор данных в реальном времени, загрузку медиа и возможности экспорта данных.
Многопользовательский самохостируемый трекер цен для Amazon, Aliexpress, ebay и многих других, а также пользовательских магазинов. Получайте уведомления, когда цена соответствует одному или нескольким критериям, установленным пользователем
Operative Framework — это фреймворк OSINT для расследований на Rust. Вы можете взаимодействовать с несколькими целями, выполнять несколько модулей, создавать связи с целями, экспортировать отчеты в PDF-файл, добавлять заметки к целям или результатам, взаимодействовать с RESTFul API, писать собственные модули.
🕵️♂️ Скрапер профилей LinkedIn, возвращающий структурированные данные профиля в формате JSON.
Скрейпить участников группы Telegram (включая скрытых участников) и добавить их в ваши.