#scraping Репозитории
Всего репозиториев: 109
AgentQL — это набор инструментов для подключения вашего ИИ к веб. Благодаря языку запросов и интеграции с Playwright для быстрого, точного и масштабируемого взаимодействия с элементами и извлечения данных. Включает REST API, SDK для Python и JavaScript, отладчик браузера.
Коллекция патчей для puppeteer и playwright для предотвращения обнаружения автоматизации и утечек. Помогает обходить CAPTCHA-страницы Cloudflare и DataDome. Легко применять/отменять патчи, можно включать/отключать по требованию.
Собирайте структурированные ответы от скрапера ChatGPT, отправляя подсказку с действительными учетными данными API для скрапинга ChatGPT. Включите живой поиск, внедряйте HTML-контекст и автоматизируйте интеллектуальные рабочие процессы скрапера ChatGPT всего за несколько параметров.
📰 Бразильские официальные бюллетени доступны всем | 📰 Бразильские правительственные газеты, доступные всем.
Puppeteer для Python, который не обнаруживают антибот-системы, поэтому капчи не появляются: тот же API, скрытый headless Firefox с защитой от обнаружения, необнаруживаемый цифровой отпечаток, обход обнаружения ботов, веб-скрейпинг и автоматизация браузера.
Parsel позволяет извлекать данные из документов XML/HTML с помощью XPath или CSS-селекторов
:rocket: Альтернатива searx с открытым исходным кодом, предоставляющая метапоисковую систему с современным видом :sparkles:, молниеносной скоростью :zap:, уважением к конфиденциальности :disguised_face: и безопасностью :lock:
Полностью обновлённый и переработанный форк с поддержкой OnlyFans и Fansly, заново созданный с нуля на основе оригинального onlyfans-scraper.
Самостоятельно размещаемый движок для парсинга — обходит любые JS-вызовы и капчи: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Альтернатива FlareSolverr и Byparr, прямая замена для вашего стека *arr.
📰 Newspaper4k — ответвление популярного Newspaper3k. Извлечение статей, заголовков и метаданных с новостных сайтов.
Автоматически архивируйте ссылки на видео, изображения и контент из социальных сетей из Google Таблиц (и не только).
⛏️ Движок извлечения, лежащий в основе Maigret: превратите любой URL-адрес профиля в структурированную запись OSINT на более чем 150 сайтах
Бот для массового автоматического создания Gmail с открытым исходным кодом с использованием Selenium и Seleniumwire (Python). Не стесняйтесь обращаться ко мне по вопросам Django/Flask, ML, AI, GPT, автоматизации, скрапинга.
Масштабируемые Python-скрипты для веб-скрейпинга более чем 80 популярных доменов
Crawly, фреймворк высокого уровня для веб-краулинга и скрейпинга для Elixir.
Инструменты для различных онлайн-джаджей. Загрузка примеров случаев, генерация дополнительных тестовых случаев, тестирование вашего кода и отправка.
Набор инструментов CLI для автоматической генерации оглавлений для PDF-файлов.
📄 Инструмент Python для преобразования страниц Notion.so в легкие, настраиваемые статические веб-сайты
Скрытый движок Chromium, который предотвращает блокировку скрейперов и браузерных агентов благодаря изменению всего одной строки кода.
Lookyloo — это веб-интерфейс, который позволяет пользователям захватывать страницу веб-сайта и затем отображать дерево доменов, которые вызывают друг друга.
Высокопроизводительный механизм ротации прокси с автоматическим управлением IP и мониторингом состояния в реальном времени
🕵️♂️ Скрапер профилей LinkedIn, возвращающий структурированные данные профиля в формате JSON.
😈📚 Курируемая библиотека исследовательских работ и презентаций для энтузиастов противодействия обнаружению и веб-конфиденциальности.
Kemono pawchive Downloader — это быстрое приложение на PyQt5 для архивации контента с широкого спектра сайтов, включая Kemono, Coomer, Bunkr, Erome, Saint2.su, nhentai и Discord. Оно оснащено браузером авторов, проверкой обновлений и поддерживает многопоточную и многосегментную загрузку. Сессии можно приостанавливать, возобновлять или восстанавливать фильтры.
Библиотека для скрейпинга и сбора данных из социальных сетей через API Facebook, Twitter, Reddit, YouTube, Pinterest и Tumblr
Comic-dl — это инструмент командной строки для скачивания манги и комиксов с различных сайтов комиксов и манги. Поддерживаемые сайты: readcomiconline.to, mangafox.me, comic naver и многие другие.
Это Python-приложение представляет собой инструмент OSINT (Open Source Intelligence) под названием «Ominis OSINT - Web Hunter». Оно выполняет сбор информации в Интернете, запрашивая у Google результаты поиска, связанные с введенным пользователем запросом. Инструмент извлекает соответствующую информацию, такую как заголовки, URL-адреса и потенциальные упоминания запроса в результатах.
Асинхронный клиент на Python для сбора общедоступных данных из X (Twitter): поиск, профили, треды, ответы и медиа. Встроенная ротация аккаунтов, адаптивное ограничение частоты запросов и экспорт в JSON/CSV/SQLite.
:card_index: Извлекайте профили социальных сетей и многое другое с помощью регулярных выражений
Обнаружение антибот-систем, капч и методов снятия отпечатков в реальном времени. Идентифицирует Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security и другие системы, предоставляя оценку достоверности и расширенные инструменты захвата.
Скрипт Python 3 для выгрузки/парсинга/извлечения сотрудников компании из API LinkedIn
Universal Reddit Scraper — работает с любым сабреддитом или пользователем
Простейший пример автоматизации Chrome с помощью Python и Selenium в AWS Lambda
Инструмент, позволяющий извлекать медиафайлы из любого аккаунта Onlyfans и не только