#web-scraping Репозитории
Всего репозиториев: 382
Taobao, Tmall, распродажа за полцены, выхвати телевизор, выхвати Маотай, уничтожим спекулянтов
AIMedia — это интегрированное программное обеспечение, которое автоматически собирает горячие темы, создает статьи с помощью ИИ и автоматически публикует их. Поддерживает Toutiao, Xiaohongshu, официальные аккаунты WeChat и другие.
Невидимый Playwright: Playwright, который не могут обнаружить антибот-системы, поэтому никаких капч: тот же API, скрытый headless Firefox с защитой от обнаружения, незаметный цифровой отпечаток, обход обнаружения ботов, веб-скрейпинг и автоматизация браузера на Python.
Бесплатный скрейпер Google Maps с открытым исходным кодом для поиска потенциальных клиентов (Python, без API-ключа и Docker). Экспортирует в CSV названия, телефоны, адреса электронной почты, сайты, рейтинги и ссылки на Instagram/Facebook/LinkedIn/TikTok/YouTube/X. 100 мест с адресами электронной почты за 44 с; параметр --grid позволяет обойти ограничение Google в 120 результатов. Проверка MX-записей электронной почты и обнаружение рекламных пикселей. Навык для Claude Code, Codex и Cursor.
Быстрая локальная веб-экстракция контента для LLM. Скрапинг, краулинг, извлечение структурированных данных — всё на Rust. CLI, REST API и сервер MCP.
HTML DOM парсер. Позволяет манипулировать HTML. Находите теги на HTML-странице с помощью селекторов, как в jQuery.
Экспортировать книги из WeChat Reading в форматы epub, pdf, mobi и т.д.
Платформа автоматизации браузера, развернутая локально и не обнаруживаемая. Работает на Camoufox (Firefox) для 0 % вероятности обнаружения. Создана для скорости, приватности и масштабируемости.
Вызов браузерных методов RPC (удаленный вызов процедур), избегая ручного написания кода и настройки окружения
Изучите Python в течение следующих 30 (или около того) дней.
Tmall TaoBao iМаотай iMatoTai JD Цзиндун молниеносная покупка, Цзиндун Маотай молниеносная покупка версия Windows, готов к использованию из коробки без настройки окружения. Разработка на подходе (открытый протокол использует Apache License)
Альтернатива Gemini Deep Research с открытым исходным кодом. Создавайте отчеты с помощью ИИ на основе результатов поиска.
Руководство по извлечению заголовков, авторов и цитат из Google Scholar с использованием Python и API Oxylabs SERP Scraper.
Код для извлечения самых продаваемых товаров, результатов поиска и доступных в настоящее время предложений с Amazon с использованием Python и API Oxylabs E-Commerce Scraper.
Автоматически собранные прямые эфиры IPTV на базе IPv4 для гостиничных телевизоров, автоматическое тестирование скорости воспроизведения, ежедневное автоматическое обновление. Включает национальные и спутниковые каналы CCTV, а также некоторые местные каналы, обеспечивая плавное воспроизведение. Может быть запущен в OpenWrt или Docker Synology.
Быстрый инструмент для преобразования любого веб-сайта в готовые для LLM данные в формате Markdown. Создано https://supermemory.ai
Простая, гибкая, распределенная Java-библиотека для сканирования с поддержкой SpringBoot; Гибкая, распределенная библиотека для сканирования.
Интеллектуальный парсер для каталога «Читай-город». Высокоскоростной сбор и структурирование данных по любым заданным параметрам: от ISBN до динамики скидок.
net/http.Client, аналогичный HTTP Client, с опциями для выбора конкретных TLS-отпечатков клиента для использования в запросах.
Скрипт для сбора данных сообщений Danmaku в веб-версии прямых трансляций Douyin (последняя версия 2025 года)
ЭТОТ РЕПОЗИТОРИЙ - ПРОСТО ЗЕРКАЛО! Основной репозиторий для разработки находится по адресу https://codeberg.org/Freedium-cfd/web
SURF - Расширенный HTTP-клиент Go с имитацией браузеров Chrome/Firefox, HTTP/3 с отпечатками QUIC, эмуляцией TLS JA3/JA4 и обходом защиты от ботов для веб-автоматизации и скрапинга.
Независимый драйвер Headless Chrome/Chromium над Puppeteer. Делайте скриншоты, генерируйте PDF, извлекайте текст и HTML через API, готовый к продакшн использованию.
qstock разработан публичным аккаунтом «Python Financial Quant» с целью создания персонального пакета для количественного анализа инвестиционных исследований, который в настоящее время включает модули для получения данных (data), визуализации (plot), выбора акций (stock) и количественного бэктестинга (strategy backtest). qstock предоставит пользователям лаконичный интерфейс данных и нормализованные данные финансового рынка. Модуль визуализации предоставляет пользователям простой интерфейс для интерактивной графики на основе веб-технологий; модуль выбора акций предоставляет данные выбора акций от Tonghuashun и пользовательский выбор акций, включая RPS, тренд MM, финансовые индикаторы, модель денежных потоков и т. д.; модуль бэктестинга предоставляет всем векторизованный (на основе pandas) и событийно-ориентированный базовый фреймворк и модель. Подписывайтесь на публичный аккаунт WeChat «Python Financial Quant», чтобы получить больше информации о приложениях.
Подписывайтесь на блоги, вики, каналы YouTube, а также аккаунты в Twitter, Instagram и т.д. с одной страницы.
Узнайте, как создать собственный скрапер Google Jobs, который одновременно извлекает данные о вакансиях Google для нескольких поисковых запросов и географических местоположений с помощью Python и API Google Jobs Scraper от Oxylabs. https://oxylabs.io/blog/how-to-scrape-google-jobs
Бесплатный браузерный лаунчер с открытым исходным кодом и защитой от обнаружения для веб-скрейпинга и работы с несколькими аккаунтами. От команды ShardX (ранее ProxyShard). Подмена отпечатка на уровне движка в Chromium 158 (WebGL / WebGPU / Client Hints / шрифты / TLS), более 220 встроенных профилей устройств, стабильная работа QUIC + WebRTC через SOCKS5.
Получите весь сайт и сохраните его в текстовый файл (для использования с моделями ИИ).
Обмен ресурсами кино и телевидения через Baidu Netdisk, Quark Netdisk и Aliyun Drive. Ежедневная публикация новейших сериалов, развлекательных шоу и киноресурсов.
В этом руководстве мы покажем, как собирать общедоступные данные Google с помощью Python и API Oxylabs.
Python-библиотека для движков Modest и Lexbor. Быстрый парсер HTML5 с CSS-селекторами для Python.
CLI-инструмент для сохранения точной копии полной веб-страницы в одном HTML-файле (на основе SingleFile)
Реализация выбора текста, выбора символов, выбора и распознавания сенсорных CAPTCHA, обученная на PyTorch
Скрейпер Twitter и X для Python: собирайте твиты, профили, подписчиков, подписки и тренды без официального API. Библиотека для скрейпинга Twitter с пулом нескольких аккаунтов, поддержкой прокси и асинхронной обработкой или размещённая на Apify версия.