#web-scraping Репозитории
Всего репозиториев: 382
Amazon Nova Act — это сервис AWS для создания и развертывания высоконадежных агентов ИИ, которые автоматизируют рабочие процессы на основе пользовательского интерфейса в масштабе.
Версия goose, совместимая с Python 3 http://goose3.readthedocs.io/en/latest/index.html
Инструмент командной строки и API для бесплатного получения данных из Twitter!
Получите программный доступ к вашим данным отслеживания питания, хранящимся в MyFitnessPal
Invisible Playwright MCP: сервер Playwright MCP, незаметный для антибот-систем и CAPTCHA: ИИ-агент просматривает веб-страницы с помощью скрытного Firefox с защитой от обнаружения, Python, незаметной автоматизации браузера, скрейпинга и управления компьютером.
⭐️ Милый и своенравный неограниченный загрузчик аудиоальбомов Гималаев O(∩_∩)O
Инструмент для ротации пула прокси путем поиска открытых прокси socks5 с помощью fofa
Пожар в Гонконге (Тай По, 26.11): Сильный пожар пронесся по Ван Фук Корт
Универсальная библиотека Ruby для веб-скрейпинга, которая может сканировать сайт, несколько доменов, определенные ссылки или бесконечно. Spidr разработан для скорости и простоты использования.
Кроссплатформенное программное обеспечение для автоматической записи прямых трансляций на базе Electron, поддерживает Douyin/Kuaishou в формате нескольких ссылок
Программируемый встраиваемый драйвер веб-браузера, совместимый со спецификацией Selenium WebDriver — без графического интерфейса, на основе WebKit, чистый Java
Скрытый движок Chromium, который предотвращает блокировку скрейперов и браузерных агентов благодаря изменению всего одной строки кода.
Необнаруженная версия NodeJS библиотеки тестирования и автоматизации Playwright.
Руководство по выбору браузеров с подменой цифрового отпечатка (браузеров для предотвращения связывания аккаунтов / антидетект-браузеров / Antidetect Browser) и резидентных прокси-IP, а также подборка ресурсов с открытым исходным кодом: тарифы 27 ведущих браузеров с подменой отпечатка и 28 поставщиков прокси-IP, включая настройку отпечатка Chromium, Camoufox, Patchright, антидетект-автоматизацию и инструменты проверки цифрового отпечатка.
Интегрирует существующие источники Xiangse Guguan в Интернете, веб-сканер автоматически обновляет источники книг еженедельно
Selenium, невидимый для антибот-систем, — никаких CAPTCHA: тот же API, скрытый headless Firefox с защитой от обнаружения, незаметный браузерный отпечаток, обход обнаружения ботов, веб-скрейпинг и автоматизация браузера на Python.
Список популярных поисковых запросов Weibo записывает популярные поисковые запросы в Weibo, начиная с 24 ноября 2020 года. Данные извлекаются ежечасно и архивируются ежедневно.
Используйте Cloudflare для создания HTTP-прокси с пробросом портов для уникальной ротации IP-адресов, аналогично fireprox
Визуально объединяйте блоки, чтобы создавать сложные сценарии работы в браузере и выполнять их через API
Извлекайте метаданные фильмов XBMC и Kodi и автоматически переименовывайте файлы для японских видео для взрослых (JAV), американских DVD для взрослых и американского веб-контента для взрослых.
Панель Qinglong, подключиться, Banu Hot Pot, FAW-Volkswagen, Haidilao, Watsons, Bawang Tea Master, Huazhu Club, Dongcheng Club, Wanda Hotels, Yihetang Автоматическая регистрация. Мониторинг запасов и изменений цен в магазине DJI
Записывает список трендов Douyin, список звезд, список прямых трансляций, музыкальный список и список брендов, обновляется каждый час, архивируется по дням.
Резидентские, дата-центровые, ISP- и мобильные прокси с более чем 90 млн IP в 200+ странах, а также API для скрейпинга и SERP. Примеры кода на Python, Node.js, PHP, Go, Java, C#, Ruby и curl.
Инструмент для анализа и обработки сетевых видеопотоков для CCTV.com
LittleCrawler (小爬虫), поддерживает сбор открытых данных на платформах Xiaohongshu (xhs), Zhihu (zh) и XianYu (xy).
Руководство по использованию Google Sheets для базового веб-скрапинга
Превращайте любое веб-приложение в API. Расширение Chrome захватывает трафик браузера, автоматически генерирует схемы и позволяет ИИ воспроизводить API напрямую. Официальный API не требуется.
Создавайте и разворачивайте API на базе искусственного интеллекта за считанные секунды