#web-scraping Репозитории
Всего репозиториев: 382
Playwright Model Context Protocol Server - Инструмент для автоматизации браузеров и API в Claude Desktop, Cline, Cursor IDE и других 🔌
Идеальный веб-ресурс для вашего ИИ-агента кодирования — локальный поиск, извлечение, сканирование и исследование через MCP. Без ключей API, без облака, $0/запрос. Открытая бета-версия.
Необнаруженная версия библиотеки тестирования и автоматизации Playwright.
Извлеките полную систему дизайна любого веб-сайта одной командой. Токены DTCG, семантический+примитивный+композитный, сервер MCP для Claude Code/Cursor/Windsurf, мультиплатформенные эмиттеры (iOS SwiftUI, Android Compose, Flutter, WordPress), Tailwind v4, переменные Figma, shadcn/ui, аудит здоровья CSS, исправление WCAG, расширение Chrome. MIT, Playwright, Node 20+.
Преемник Undetected-Chromedriver. Предоставляет молниеносно быстрый фреймворк для веб-автоматизации, веб-скрапинга, ботов и любых других творческих идей, которые обычно затрудняются раздражающими антибот-системами, такими как Captcha / CloudFlare / Imperva / hCaptcha.
Основы веб-скрапинга, Продвинутый веб-скрапинг, Экспертный веб-скрапинг
Упрощенный клиент HTTP-запросов 'request' с поддержкой Promise. На базе Bluebird.
Примеры кода из книги Web Scraping with Python http://shop.oreilly.com/product/0636920034391.do
Агентный инструмент для извлечения информации на платформах обмена сообщениями. Noria получает сообщения и URL в чате, собирает данные из интернета, чтобы оценивать содержимое по настраиваемым системам критериев (например, для вакансий и стипендий), а затем отправляет структурированную сводку с рассчитанной оценкой соответствия непосредственно на назначенный номер в мессенджере.
поиск и загрузка музыки Из NetEase Cloud Music, QQ Music, KuGou Music, Baidu Music, Xiami Music, MiGu Music и т.д. поиск и загрузка песен
(неофициальный) Googletrans: Бесплатный и неограниченный API Google Translate для Python. Переводит полностью бесплатно.
Идеальное место для приложений с открытым исходным кодом и очищенных приложений. OrionStore предоставляет мгновенный доступ к YouTube Morphe, YT Music Morphe и важным инструментам с открытым исходным кодом — без лишнего шума. Никаких серверов и отслеживания — только красивый современный портал к любимым приложениям.
Проведите обратную разработку любого веб-сайта и создайте типизированный API-клиент. Работает с Claude Code, Codex, Cursor и OpenCode.
Будьте в курсе популярных тем в социальных сетях и в Интернете с помощью ИИ
Superstar Learning Cloud / Super Star Er Ya / Pan Ya Superstar Полностью автоматическое завершение заданий без присмотра
Возьмите список доменов, обходите URL и сканируйте на наличие конечных точек, секретов, ключей API, расширений файлов, токенов и многого другого.
Мониторинг · сбор · републикация контента на разных платформах. Одна веб-панель для управления Douyin / Xiaohongshu / Kuaishou / каналами WeChat / TikTok / Bilibili / Instagram / международной версией Xiaohongshu (rednote)
API для веб-скрейпинга с открытым исходным кодом. Превращайте любой сайт в чистый Markdown или структурированный JSON. Антидетект-браузер, автоматический выбор прокси, возможность самохостинга. Одна команда: make up
Реверс-инжиниринг TikTok, краулер TikTok, все API TikTok, личные сообщения, мониторинг直播 комнат
Бесплатная пробная версия Amazon Scraper API для извлечения данных поиска, продуктов, списков предложений, отзывов, вопросов и ответов, бестселлеров и данных продавцов.
Сбор структурированных данных с любого веб-сайта с помощью парсера, краулера и автоматизации браузера на базе ИИ. Парсинг и сканирование с помощью запросов на естественном языке. Оснастите ваши LLM-агенты свежими данными. Python SDK AI Studio для интеллектуального сбора веб-данных.
Скрытая автоматизация браузера для ИИ-агентов через MCP и протокол Chrome DevTools: навигация, сетевые хуки, извлечение DOM и пиксельно точное клонирование пользовательского интерфейса.
PHP Curl Class упрощает отправку HTTP-запросов и интеграцию с веб-API.
Бесплатный браузер против отпечатков пальцев, браузер отпечатков пальцев, браузер конфиденциальности, браузер против распознавания, браузер против идентификации, браузер против связывания, бесплатный браузер отпечатков пальцев, специально предназначенный для аирдропов Web3 https://virtualbrowser.cc/?src=github
Личный теггер медиа в стиле booru, который может импортировать файлы и теги с вашего жёсткого диска и популярных веб-сайтов. Контент может быть поделён с другими пользователями через серверы, управляемые пользователями.
Процесс извлечения данных о товарах с Amazon с использованием Python, включая заголовки, рейтинги, цены, изображения и описания.
📲 Агент для поиска, курирования и планирования публикаций в социальных сетях с участием человека.
Python-программа, которая превращает LLM, работающий на Ollama, в автоматизированного исследователя, который с помощью одного запроса определит области исследования, выполнит веб-поиск, соберет контент с различных релевантных веб-сайтов и проведет исследование для вас самостоятельно! И не только, включая сохранение найденной информации для вас!
Библиотека Python и CLI для скрапинга X/Twitter с ротацией нескольких аккаунтов и встроенной обработкой ограничений скорости.
Высокоуровневый API для управления headless Chrome или Chromium через протокол DevTools. Это эквивалент Puppeteer на Rust, библиотека Node, поддерживаемая командой Chrome DevTools.
Изучите пошаговое руководство по сбору данных Google Trends и сравнению результатов с использованием Python и Oxylabs SERP API. Извлекайте ключевые слова, их популярность, разбивку по регионам, связанные запросы и многое другое.
Huya, Douyu, Douyin, BiliBili, TikTok, Twitch🔥Горячие🔥Умный AI-робот для редактирования и публикации живых видео, Автоматизация🤖, Полностью интеллектуальный⚙(интеллектуальное создание нарезок, заголовков, обложек, описаний), Визуализация👓, Мониторинг популярных платформ🌡, Богатые плагины с произвольным расширением🕹, Быстрое развертывание⚡, Автоматизированное создание и публикация видеоаккаунтов🌟, Поддержка DIY🎮
Мощный сервер Model Context Protocol (MCP), предлагающий комплексное решение для общедоступного веб-доступа.