#web-scraper Репозитории
Откройте для себя 36 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #web-scraper, с общим числом 565,282 звёзд (в среднем 15,702 на проект). Лидером этой темы является firecrawl/firecrawl, набравший 205,758 звёзд.
Всего репозиториев: 36
Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.
Дайте вашему AI‑агенту «глаз» для просмотра всего интернета. Читайте и ищите в Twitter, Reddit, YouTube, GitHub, Bilibili, XiaoHongShu — один CLI, нулевые API‑платы.
🕷️ ЛУЧШИЙ фреймворк для веб-скрейпинга, который справится со всем: от одного запроса до масштабного обхода сайтов! Не стесняйтесь — присоединяйтесь здесь: https://discord.gg/EMgGbDceNQ и подписывайтесь здесь, чтобы ежедневно получать советы и полезные приёмы: https://x.com/Scrapling_dev
Лучший безголовый браузер для ИИ-агентов. Лёгкий, быстрый и высокосовместимый. Создан на Rust
Превратите любой веб-сайт в структурированный API. Извлекайте данные, автоматизируйте процессы, выполняйте поиск и отслеживайте веб-пространство.
сбор данных из Google Maps. Извлекает данные, такие как название, адрес, номер телефона, URL сайта, рейтинг, количество отзывов, широту и долготу, отзывы, email и многое другое для каждого места
Браузерное расширение профессионального уровня с приоритетом локальной обработки, которое полностью в среде браузера преобразует любые веб-страницы в высокоточный Markdown, удобный для LLM. Без облака, с акцентом на конфиденциальность и специально разработанное для рабочих процессов с ИИ.
PHP Curl Class упрощает отправку HTTP-запросов и интеграцию с веб-API.
Процесс извлечения данных о товарах с Amazon с использованием Python, включая заголовки, рейтинги, цены, изображения и описания.
Руководство по извлечению заголовков, авторов и цитат из Google Scholar с использованием Python и API Oxylabs SERP Scraper.
Код для извлечения самых продаваемых товаров, результатов поиска и доступных в настоящее время предложений с Amazon с использованием Python и API Oxylabs E-Commerce Scraper.
CLI-инструмент для сохранения точной копии полной веб-страницы в одном HTML-файле (на основе SingleFile)
Быстрая и легкая альтернатива Firecrawl/Tavily на Rust. Веб-скрейпер, краулер и API поиска с MCP-сервером для ИИ-агентов. API с поддержкой Firecrawl (/scrape, /crawl, /search). В 2,3 раза быстрее Tavily и в 1,5 раза быстрее Firecrawl в тестах на 1000 URL. 6 МБ ОЗУ, один бинарный файл. Самохостинг или управляемое облако.
Извлечение, поиск и краулинг веб-страниц для ИИ-агентов. Создано с нуля на Rust. Без ключей, без аккаунтов. AGPL v3.
AI Scraper — это мощный инструмент для скрапинга и агент скрапинга, созданный для автоматизации извлечения данных с непревзойденной точностью. Идеально подходит для масштабируемых задач скрапинга ИИ на разнообразных веб-источниках, этот инструмент упрощает сложные операции скрапинга в эффективные и интеллектуальные рабочие процессы.
Универсальная библиотека Ruby для веб-скрейпинга, которая может сканировать сайт, несколько доменов, определенные ссылки или бесконечно. Spidr разработан для скорости и простоты использования.
100% бесплатная и полностью открытая альтернатива Firecrawl edge с лучшим извлечением ссылок для агентов - которую вы можете самостоятельно развернуть на Cloudflare или Vercel.
Краткие руководства по Python, чтобы получить максимальную пользу от бесплатной пробной версии Oxylabs Web Scraper API.
Универсальный API для веб-скрейпинга и извлечения данных в реальном времени в больших масштабах: прокси, обработка CAPTCHA, рендеринг JavaScript и парсинг в рамках одного запроса с возвратом HTML или структурированного JSON.
Часто задаваемые вопросы
Какой репозиторий по теме #web-scraper наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #web-scraper на GitHub — firecrawl/firecrawl, набравший 205,758 звёзд. Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.
Какие языки программирования чаще всего используются в репозиториях по теме #web-scraper?
Среди наиболее высоко оценённых проектов по теме #web-scraper на GitHub чаще всего используются языки программирования Python, TypeScript, Rust, Go.
Как рассчитывается рейтинг репозиториев по теме #web-scraper?
Мы отслеживаем 36 активных репозиториев с открытым исходным кодом, отмеченных тегом #web-scraper (500 и более звёзд), с общим числом 565,282 звёзд и в среднем 15,702 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.