#web-scraping Репозитории
Всего репозиториев: 382
AI Map — это инструмент для составления карты веб-сайтов на базе искусственного интеллекта от Oxylabs AI Studio, который использует подсказки на естественном языке для интеллектуального обнаружения и извлечения релевантных URL-адресов с любого веб-сайта.
❤️ Fredy — [F]ind [R]eal [E]state [D]amn Eas[y] (находи настоящую недвижимость без лишних усилий) — Fredy продолжает искать новые квартиры, дома и другие варианты жилья в Европе на таких платформах, как ImmoScout24, Immowelt и eBay Kleinanzeigen, и мгновенно отправляет результаты через Slack, Telegram, электронную почту, Discord или ntfy, чтобы вы могли сосредоточиться на более важных вещах в жизни ;)
🖱️ Генерируйте человеческие движения мыши с помощью puppeteer или на любой 2D-плоскости
Курс по Data Science от General Assembly 2015 года в Вашингтоне, округ Колумбия
Самостоятельно размещаемый веб-поиск для ИИ-агентов и SEO. Google, Bing, Yandex, Baidu, DuckDuckGo и Ecosia — с обработкой в настоящем браузере, ранжированными результатами и аккуратным Markdown страниц. API, CLI, MCP 🎉
Необнаруженная версия Python библиотеки для тестирования и автоматизации Playwright.
Простое расширение для Chrome (и Firefox), которое конвертирует веб-романы (и другие веб-страницы) в EPUB.
AgentQL — это набор инструментов для подключения вашего ИИ к веб. Благодаря языку запросов и интеграции с Playwright для быстрого, точного и масштабируемого взаимодействия с элементами и извлечения данных. Включает REST API, SDK для Python и JavaScript, отладчик браузера.
Ищите жильё в аренду на карте: устали обходить весь город в поисках квартиры? Попробуйте другой способ — ищите жильё напрямую на карте! [Официальный аккаунт и мини-программа WeChat: 人生删除指南]
Коллекция патчей для puppeteer и playwright для предотвращения обнаружения автоматизации и утечек. Помогает обходить CAPTCHA-страницы Cloudflare и DataDome. Легко применять/отменять патчи, можно включать/отключать по требованию.
Собирайте структурированные ответы от скрапера ChatGPT, отправляя подсказку с действительными учетными данными API для скрапинга ChatGPT. Включите живой поиск, внедряйте HTML-контекст и автоматизируйте интеллектуальные рабочие процессы скрапера ChatGPT всего за несколько параметров.
WebAI2API: Инструмент преобразования веб-АИ в API на основе Camoufox, поддерживает LMArena/Gemini и другие, многопоточная работа с окнами и изоляция аккаунтов. | Web AI в OpenAI API через Camoufox. Поддерживает LMArena/Gemini и многое другое, многопоточная работа & изоляция аккаунтов.
Используйте API Web Scraper для извлечения данных из Google Финансы, включая названия акций, цены и изменения цен в процентах.
Puppeteer для Python, который не обнаруживают антибот-системы, поэтому капчи не появляются: тот же API, скрытый headless Firefox с защитой от обнаружения, необнаруживаемый цифровой отпечаток, обход обнаружения ботов, веб-скрейпинг и автоматизация браузера.
📖 Сервер MCP для получения deepwiki.com и последних знаний в Cursor и других редакторах кода
Go HTTP клиент с фингерпринтингом TLS/HTTP2, идентичным браузеру. Обходит обнаружение ботов, точно имитируя Chrome, Firefox и Safari на криптографическом уровне (JA3/JA4, фингерпринт Akamai, порядок заголовков). Поддерживает HTTP/1.1, HTTP/2, HTTP/3, сессии, куки и прокси.
Новый плагин источника метаданных Douban для Calibre. Douban больше не предоставляет публичные API для книг, поэтому для получения данных можно использовать только веб-скрапинг. Это плагин Douban для Calibre, основанный на веб-скрапинге.
🔥 Платформа веб‑мониторинга на базе ИИ. Создайте автоматических разведчиков, которые ищут в сети и отправляют оповещения по электронной почте, когда находят то, что вы ищете.
WebLoop: Скриптовый, безголовый WebKit с API на Go. Похож на PhantomJS, но для Go.
Flyscrape — это инструмент для веб-скрейпинга командной строки, разработанный для тех, кто не обладает продвинутыми навыками программирования.
Dianping Crawler (можно сканировать весь сайт, решает проблему шифрования динамических шрифтов, без OCR). Постоянное обновление
Инструмент обогащения данных на базе ИИ, который преобразует электронные письма в богатые наборы данных с профилями компаний, данными о финансировании, технологическими стеками и многим другим с помощью Firecrawl и мультиагентного ИИ
Kspider — это платформа для веб-сканирования, которая позволяет графически определять рабочие процессы сканирования, что позволяет реализовать рабочий процесс сканирования без кода. Kspider не ограничивается только веб-сканированием, но также может использоваться для автоматизированного тестирования веб-приложений. Больше функций ждут вас для изучения.
Быстрая и легкая альтернатива Firecrawl/Tavily на Rust. Веб-скрейпер, краулер и API поиска с MCP-сервером для ИИ-агентов. API с поддержкой Firecrawl (/scrape, /crawl, /search). В 2,3 раза быстрее Tavily и в 1,5 раза быстрее Firecrawl в тестах на 1000 URL. 6 МБ ОЗУ, один бинарный файл. Самохостинг или управляемое облако.
Автоматический отслеживатель цен, использующий Bright Data, Playwright, React и Flask.
Механизм снятия отпечатка Chromium на уровне исходного кода, который сайты обнаружения оценивают как обычный Chrome. Механизм снятия отпечатка Chromium на уровне исходного кода, проходящий тесты на обнаружение ботов. Это не инъекция JS, а патчи на C++, скомпилированные в бинарный файл.
Получите cookies.txt, НИКОГДА не отправляйте информацию наружу.
Расширение для браузера для вырезания информации с веб-страниц. Сохраните её на свой локальный компьютер, чтобы избежать аннулирования информации. Без скучной регистрации, без платы.