Git Stars Git Stars

#web-scraper Репозитории

Откройте для себя 36 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #web-scraper, с общим числом 565,282 звёзд (в среднем 15,702 на проект). Лидером этой темы является firecrawl/firecrawl, набравший 205,758 звёзд.

36
Всего репозиториев
565,282
Всего звезд
15,702
Среднее количество звезд на репозиторий

Всего репозиториев: 36

1
firecrawl/firecrawl

Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-04-15
2
Panniantong/Agent-Reach

Дайте вашему AI‑агенту «глаз» для просмотра всего интернета. Читайте и ищите в Twitter, Reddit, YouTube, GitHub, Bilibili, XiaoHongShu — один CLI, нулевые API‑платы.

Panniantong
⭐ 113,683 Python 👤 Panniantong User 🕐 Обновлено 2026-11-08 📅 Создано 2026-02-24
3
D4Vinci/Scrapling

🕷️ ЛУЧШИЙ фреймворк для веб-скрейпинга, который справится со всем: от одного запроса до масштабного обхода сайтов! Не стесняйтесь — присоединяйтесь здесь: https://discord.gg/EMgGbDceNQ и подписывайтесь здесь, чтобы ежедневно получать советы и полезные приёмы: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 Обновлено 2026-11-17 📅 Создано 2024-10-13
4
ScrapeGraphAI/Scrapegraph-ai

Python-скрейпер на основе ИИ

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 Обновлено 2026-10-06 📅 Создано 2024-01-27
5
lexmount/moli

Лучший безголовый браузер для ИИ-агентов. Лёгкий, быстрый и высокосовместимый. Создан на Rust

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-08-10
6
getmaxun/maxun

Превратите любой веб-сайт в структурированный API. Извлекайте данные, автоматизируйте процессы, выполняйте поиск и отслеживайте веб-пространство.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 Обновлено 2026-11-20 📅 Создано 2023-10-23
7
gosom/google-maps-scraper

сбор данных из Google Maps. Извлекает данные, такие как название, адрес, номер телефона, URL сайта, рейтинг, количество отзывов, широту и долготу, отзывы, email и многое другое для каждого места

gosom
⭐ 8,291 Go 👤 gosom User 🕐 Обновлено 2026-11-21 📅 Создано 2023-04-22
8
BruceDone/awesome-crawler

Сборник крутых веб-краулеров и спайдеров на разных языках

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 Обновлено 2024-06-16 📅 Создано 2016-10-10
9
jaypyles/Scraperr

Собственный веб-скрейпер.

jaypyles
⭐ 4,876 TypeScript 👤 jaypyles User 🕐 Обновлено 2025-10-12 📅 Создано 2024-07-06
10
AhmadHassan-BTed/JinaClip

Браузерное расширение профессионального уровня с приоритетом локальной обработки, которое полностью в среде браузера преобразует любые веб-страницы в высокоточный Markdown, удобный для LLM. Без облака, с акцентом на конфиденциальность и специально разработанное для рабочих процессов с ИИ.

AhmadHassan-BTed
⭐ 4,160 JavaScript 👤 AhmadHassan-BTed User 🕐 Обновлено 2026-11-09 📅 Создано 2026-05-16
11
oxylabs/google-ai-mode-scraper

Масштабно извлекайте ответы Google AI Mode без блокировок.

oxylabs
⭐ 3,619 Java 👤 oxylabs Organization 🕐 Обновлено 2026-11-18 📅 Создано 2025-09-08
12
arpit-omprakash/100ProjectsOfCode

Список практических проектов по наращиванию знаний.

arpit-omprakash
⭐ 3,548 👤 arpit-omprakash User 🕐 Обновлено 2024-04-12 📅 Создано 2020-10-05
13
itsOwen/CyberScraper-2077

Мощный веб-скрапер на базе LLM | OpenAI, Gemini и Ollama

itsOwen
⭐ 3,302 Python 👤 itsOwen User 🕐 Обновлено 2026-10-12 📅 Создано 2024-08-17
14
php-curl-class/php-curl-class

PHP Curl Class упрощает отправку HTTP-запросов и интеграцию с веб-API.

php-curl-class
⭐ 3,293 PHP 👤 php-curl-class Organization 🕐 Обновлено 2026-11-17 📅 Создано 2013-08-16
15
oxylabs/how-to-scrape-amazon-product-data

Процесс извлечения данных о товарах с Amazon с использованием Python, включая заголовки, рейтинги, цены, изображения и описания.

oxylabs
⭐ 3,248 Python 👤 oxylabs Organization 🕐 Обновлено 2026-11-18 📅 Создано 2024-09-03
16
spider-rs/spider

Базовый сбор веб-данных с низкой задержкой на Rust

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 Обновлено 2026-11-20 📅 Создано 2018-01-07
17
lncrawl/lightnovel-crawler

Генерируйте и загружайте электронные книги из онлайн-источников.

lncrawl
⭐ 2,717 Python 👤 lncrawl Organization 🕐 Обновлено 2026-11-11 📅 Создано 2018-01-17
18
anaskhan96/soup

Веб-скрейпер на Go, аналогичный BeautifulSoup

anaskhan96
⭐ 2,302 Go 👤 anaskhan96 User 🕐 Обновлено 2026-10-24 📅 Создано 2017-02-23
19
oxylabs/how-to-scrape-google-scholar

Руководство по извлечению заголовков, авторов и цитат из Google Scholar с использованием Python и API Oxylabs SERP Scraper.

oxylabs
⭐ 2,095 Python 👤 oxylabs Organization 🕐 Обновлено 2026-11-18 📅 Создано 2024-03-07
20
oxylabs/how-to-scrape-amazon-prices

Код для извлечения самых продаваемых товаров, результатов поиска и доступных в настоящее время предложений с Amazon с использованием Python и API Oxylabs E-Commerce Scraper.

oxylabs
⭐ 2,083 Python 👤 oxylabs Organization 🕐 Обновлено 2026-11-18 📅 Создано 2024-03-21
21
gildas-lormeau/single-file-cli

CLI-инструмент для сохранения точной копии полной веб-страницы в одном HTML-файле (на основе SingleFile)

gildas-lormeau
⭐ 1,702 JavaScript 👤 gildas-lormeau User 🕐 Обновлено 2026-11-18 📅 Создано 2022-05-31
22
fastcrw/crw

Быстрая и легкая альтернатива Firecrawl/Tavily на Rust. Веб-скрейпер, краулер и API поиска с MCP-сервером для ИИ-агентов. API с поддержкой Firecrawl (/scrape, /crawl, /search). В 2,3 раза быстрее Tavily и в 1,5 раза быстрее Firecrawl в тестах на 1000 URL. 6 МБ ОЗУ, один бинарный файл. Самохостинг или управляемое облако.

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-03-02
23
dondai44423/donsetch

Извлечение, поиск и краулинг веб-страниц для ИИ-агентов. Создано с нуля на Rust. Без ключей, без аккаунтов. AGPL v3.

dondai44423
⭐ 1,138 Rust 👤 dondai44423 User 🕐 Обновлено 2026-11-21 📅 Создано 2026-08-07
24
juancarlospaco/faster-than-requests

Быстрые запросы на Python 3

juancarlospaco
⭐ 1,131 Nim 👤 juancarlospaco User 🕐 Обновлено 2026-11-19 📅 Создано 2018-11-13
25
0x676e67/wreq

Эргономичный HTTP-клиент на Rust с поддержкой конфиденциальности

0x676e67
⭐ 1,118 Rust 👤 0x676e67 User 🕐 Обновлено 2026-11-20 📅 Создано 2024-09-19
26
oxylabs/ai-scraper-py

AI Scraper — это мощный инструмент для скрапинга и агент скрапинга, созданный для автоматизации извлечения данных с непревзойденной точностью. Идеально подходит для масштабируемых задач скрапинга ИИ на разнообразных веб-источниках, этот инструмент упрощает сложные операции скрапинга в эффективные и интеллектуальные рабочие процессы.

oxylabs
⭐ 1,089 👤 oxylabs Organization 🕐 Обновлено 2026-04-02 📅 Создано 2025-09-25
27
postmodern/spidr

Универсальная библиотека Ruby для веб-скрейпинга, которая может сканировать сайт, несколько доменов, определенные ссылки или бесконечно. Spidr разработан для скорости и простоты использования.

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 Обновлено 2026-01-12 📅 Создано 2009-03-08
28
cassidoo/scrapers

Список скрейперов из разных уголков сети.

cassidoo
⭐ 723 👤 cassidoo User 🕐 Обновлено 2025-02-07 📅 Создано 2016-04-18
29
lumpinif/deepcrawl

100% бесплатная и полностью открытая альтернатива Firecrawl edge с лучшим извлечением ссылок для агентов - которую вы можете самостоятельно развернуть на Cloudflare или Vercel.

lumpinif
⭐ 704 TypeScript 👤 lumpinif User 🕐 Обновлено 2026-08-24 📅 Создано 2025-05-22
30
shaikhsajid1111/social-media-profile-scrapers

Получить данные пользователя из социальных сетей

shaikhsajid1111
⭐ 588 Python 👤 shaikhsajid1111 User 🕐 Обновлено 2026-09-15 📅 Создано 2020-04-26
31
spekulatius/PHPScraper

Универсальная веб-утилита для PHP.

spekulatius
⭐ 588 PHP 👤 spekulatius User 🕐 Обновлено 2026-09-08 📅 Создано 2020-04-21
32
jaebradley/basketball_reference_web_scraper

API статистики NBA через Basketball Reference

jaebradley
⭐ 563 HTML 👤 jaebradley User 🕐 Обновлено 2026-11-21 📅 Создано 2015-10-23
33
oxylabs/oxylabs-ai-studio-openclaw

Официальный плагин Openclaw для Oxylabs AI-Studio

oxylabs
⭐ 549 TypeScript 👤 oxylabs Organization 🕐 Обновлено 2026-09-16 📅 Создано 2026-02-26
34
oxylabs/quick-start-guide

Краткие руководства по Python, чтобы получить максимальную пользу от бесплатной пробной версии Oxylabs Web Scraper API.

oxylabs
⭐ 512 👤 oxylabs Organization 🕐 Обновлено 2026-06-19 📅 Создано 2022-03-14
35
AlexMathew/scrapple

Фреймворк для создания полуавтоматических экстракторов веб-контента

AlexMathew
⭐ 506 Python 👤 AlexMathew User 🕐 Обновлено 2026-01-16 📅 Создано 2014-12-13
36
oxylabs/web-scraper-api

Универсальный API для веб-скрейпинга и извлечения данных в реальном времени в больших масштабах: прокси, обработка CAPTCHA, рендеринг JavaScript и парсинг в рамках одного запроса с возвратом HTML или структурированного JSON.

oxylabs
⭐ 503 👤 oxylabs Organization 🕐 Обновлено 2026-10-01 📅 Создано 2026-06-05

Часто задаваемые вопросы

1

Какой репозиторий по теме #web-scraper наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #web-scraper на GitHub — firecrawl/firecrawl, набравший 205,758 звёзд. Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.

2

Какие языки программирования чаще всего используются в репозиториях по теме #web-scraper?

Среди наиболее высоко оценённых проектов по теме #web-scraper на GitHub чаще всего используются языки программирования Python, TypeScript, Rust, Go.

3

Как рассчитывается рейтинг репозиториев по теме #web-scraper?

Мы отслеживаем 36 активных репозиториев с открытым исходным кодом, отмеченных тегом #web-scraper (500 и более звёзд), с общим числом 565,282 звёзд и в среднем 15,702 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.