#web-scraping Репозитории
Всего репозиториев: 382
Самостоятельно размещаемый движок для парсинга — обходит любые JS-вызовы и капчи: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Альтернатива FlareSolverr и Byparr, прямая замена для вашего стека *arr.
Библиотека JavaScript для генерации случайных пользовательских агентов с данными, обновляемыми ежедневно.
Самостоятельно размещаемый API, который принимает URL и возвращает файл со скриншотами браузера.
Предоставьте скрейперы для всех основных израильских банков и компаний кредитных карт
Масштабируемые Python-скрипты для веб-скрейпинга более чем 80 популярных доменов
В этом репозитории вы найдете примеры файлов с кодом для каждого дня курса «Python для OSINT. 21-дневный курс для начинающих».
Чистый расчет Xiaohongshu xs, обратный инжиниринг чистого расчета для полей Xiaohongshu x-s, x-s-common, xsc и т.д.
Создавайте веб‑скрейперы на Ruby, используя чистый DSL с поддержкой ИИ. Kimurai использует ИИ, чтобы определить, где находятся данные, затем кэширует селекторы и выполняет скрейпинг только на Ruby. Получите интеллектуальные возможности LLM без задержек на запросы и стоимости токенов.
Стабильное Племя. Профессиональное резервное копирование и экспорт записей Weibo, стабильно!
Более 660 моделей генеративных медиа, размещённых на muapi, а также сторонние API-инструменты, добавленные сообществом (SEO, обогащение данных, соцсети, скрейпинг). Для каждой записи — отдельный YAML-файл; просмотр доступен по возможностям.
Антидетект-браузер на уровне ядра с API Playwright, которое вы уже используете. SDK для Python и Node, поддержка MCP, неограниченное количество локальных профилей. Linux x64 + arm64, macOS Intel + Apple Silicon, Windows x64.
Время последнего изменения этой должности видно с первого взгляда: зеленый — в течение 2 недель, темно-оранжевый — в течение 1,5 месяцев, красный — более 1,5 месяцев
Проект анализа общественного мнения на основе данных Weibo, включающий парсер Weibo, тематический анализ LDA и анализ тональности.
HTTP-прокси нового поколения, который безупречно маскирует запросы под браузер Chrome на всех уровнях стека.
SiteOne Crawler — это кроссплатформенный краулер и анализатор веб-сайтов для оптимизации SEO, безопасности, доступности и производительности, идеально подходящий для разработчиков, DevOps, инженеров QA и консультантов. Поддерживает Windows, macOS и Linux (x64 и arm64).
Библиотека на Rust для извлечения полезных данных из HTML-документов, подходящая для веб-скрейпинга.
Ранжирование результатов поиска Google Scholar на основе количества цитирований
Код для «WebVoyager: WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models»
Загрузчик курсов Geektime, поддерживает загрузку колонок Geektime/видеокурсов/ежедневных уроков/практических занятий крупных компаний/видео с буткемпов
Это лёгкий браузер без графического интерфейса, специально созданный для выполнения задач автоматизации браузера ИИ-агентами (например, Codex или Claude Code). Он предназначен для работы с различными системами веб-защиты, процессами входа в систему и сценариями обратной разработки.
Позволяет массово загружать все ваши электронные книги Kindle в более автоматизированном режиме. Этот инструмент позволяет создавать резервные копии книг, которые вы уже приобрели.
Инструмент автоматического сканирования промокодов ChatGPT Team (Business) — пакетное обнаружение/проверка/сбор цен, поддержка 34 кодов в 17 странах, скидка до 71% | ChatGPT Business promo code scanner — batch discovery, validation, price collection, 34 codes across 17 countries, up to 71% off
Расширение Chrome для обнаружения конфиденциальной веб-информации и фингерпринтинга.
Dorks Eye Google Hacking Dork Scraping and Searching Script. Dorks Eye — это скрипт, который я написал на Python 3. С помощью этого инструмента вы можете легко находить Google Dorks. Dork Eye собирает потенциально уязвимые веб-страницы и приложения в Интернете или другую полезную информацию, которую улавливают поисковые боты Google. Автор: Jolanda de Koff