#web-scraping Репозитории
Всего репозиториев: 382
Просто форк библиотеки Simple HTML DOM. (http://simplehtmldom.sourceforge.net/)
Открытая веб‑инфраструктура для ИИ. Скрапинг, краулинг и автоматизация веба, очистка markdown, сессии браузера — всё готово для ваших агентов.
Преобразуйте весь репозиторий GitHub в один организованный файл .txt для использования с LLM (ChatGPT, Claude, Gemini и т. д.).
🔥 Мгновенно создавайте ИИ-чат-ботов для любого веб-сайта с помощью поиска на основе RAG, потоковой передачи ответов и конечных точек API, совместимых с OpenAI
knowledge-grab — это настольное приложение, созданное на базе Tauri и Vue 3, предназначенное для удобства пользователей при загрузке различных образовательных ресурсов с Платформы интеллектуального образования для начальных и средних школ (basic.smartedu.cn).
Фреймворк/SDK, позволяющий создавать агентов для управления браузером в 3 строки кода. Присоединяйтесь к чату по адресу https://discord.gg/umgnyQU2K8
Список бесплатных прокси ✅🚀 HTTP, HTTPS, SOCKS4 и SOCKS5 | Обновляется каждые 5 минут | Строгий SSL, без MITM, многоканальный
Навык для ИИ-агентов: поиск в Интернете с SearXNG, просмотр веб-страниц с Camofox, обход защиты с CloakBrowser. Защита от галлюцинаций на уровне архитектуры. Self-hosted, бесплатно, без ограничений.
Facepager был создан для получения общедоступных данных с YouTube, Twitter и других веб-сайтов на основе API и веб-скрейпинга.
Самостоятельно размещаемый сервис преобразования URL и файлов в Markdown для людей и ИИ-агентов: веб-страницы, документы, изображения, аудио и YouTube. PWA + REST + MCP + навык для Claude Code, поддержка Reddit и обновляемые ссылки для общего доступа.
Скрипт перенаправления поисковых систем, позволяющий удобно переключаться между несколькими движками
бесплатный плагин боковой панели браузера с открытым исходным кодом, который предлагает бесплатную альтернативу таким продуктам, как Sider, Monica и Merlin.
Реверс-инжиниринг веб-подписей TikTok позволяет создавать действительные подписи TikTok для запросов к API.
Agent Skills для тестирования браузерного отпечатка: запускайте liarjs из Claude Code, Codex, Cursor или Copilot, чтобы оценить браузер путем сравнения его с самим собой — 40 проверок согласованности Canvas, WebGL, WebGPU, аудио, шрифтов и WebRTC с перекрёстной проверкой на уровне TLS/HTTP. Контроль качества тестовых оболочек Playwright и Puppeteer, блокирование регрессий в CI и триаж обнаружения headless-браузеров.
Краткие руководства по Python, чтобы получить максимальную пользу от бесплатной пробной версии Oxylabs Web Scraper API.
Универсальный API для веб-скрейпинга и извлечения данных в реальном времени в больших масштабах: прокси, обработка CAPTCHA, рендеринг JavaScript и парсинг в рамках одного запроса с возвратом HTML или структурированного JSON.
🎯 Программа визуализации и анализа данных комментариев Bilibili -- создатели контента могут использовать её для выбора тем и понимания своей аудитории.