Git Stars Git Stars

#web-scraping Репозитории

Откройте для себя 381 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #web-scraping, с общим числом 2,147,590 звёзд (в среднем 5,636 на проект). Лидером этой темы является firecrawl/firecrawl, набравший 205,758 звёзд.

381
Всего репозиториев
2.1M
Всего звезд
5,636
Среднее количество звезд на репозиторий

Всего репозиториев: 382

1
firecrawl/firecrawl

Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-04-15
2
jackfrued/Python-100-Days

Python - 100 дней от новичка до мастера

jackfrued
⭐ 187,961 Jupyter Notebook 👤 jackfrued User 🕐 Обновлено 2026-07-29 📅 Создано 2018-03-01
3
ytdl-org/youtube-dl

Программа командной строки для скачивания видео с YouTube.com и других видео-сайтов

ytdl-org
⭐ 141,627 Python 👤 ytdl-org Organization 🕐 Обновлено 2026-11-06 📅 Создано 2010-10-31
4
browser-use/browser-use

Открытая библиотека Python для ИИ-агентов, работающих в браузере, и Browser Use Cloud: скрытые браузеры и размещённый API для агентов.

browser-use
⭐ 121,654 Python 👤 browser-use Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-10-31
5
D4Vinci/Scrapling

🕷️ ЛУЧШИЙ фреймворк для веб-скрейпинга, который справится со всем: от одного запроса до масштабного обхода сайтов! Не стесняйтесь — присоединяйтесь здесь: https://discord.gg/EMgGbDceNQ и подписывайтесь здесь, чтобы ежедневно получать советы и полезные приёмы: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 Обновлено 2026-11-17 📅 Создано 2024-10-13
6
unclecode/crawl4ai

Официальный Crawl4AI Cloud: размещённый в облаке API для веб-скрейпинга, извлечения данных и поиска для ИИ-агентов. Бесплатный API-ключ, 1 000 кредитов в месяц, банковская карта не нужна. Полностью открытый исходный код: в этом репозитории находится краулер под лицензией Apache-2.0, на котором работает сервис; его можно развернуть самостоятельно.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Обновлено 2026-11-20 📅 Создано 2024-05-09
7
NanmiCoder/MediaCrawler

Заметка Xiaohongshu | Краулер комментариев, Видео Douyin | Краулер комментариев, Видео Kuaishou | Краулер комментариев, Видео Bilibili | Краулер комментариев, Пост Weibo | Краулер комментариев, Пост Baidu Tieba | Краулер ответов на комментарии Baidu Tieba | Статья с вопросами и ответами Zhihu|Краулер комментариев

NanmiCoder
⭐ 71,528 Python 👤 NanmiCoder User 🕐 Обновлено 2026-11-21 📅 Создано 2023-06-09
8
scrapy/scrapy

Scrapy, быстрый фреймворк высокого уровня для веб-краулинга и скрапинга на Python.

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 Обновлено 2026-11-19 📅 Создано 2010-02-22
9
soimort/you-get

:arrow_double_down: Глупый загрузчик, который скрейпит веб

soimort
⭐ 56,851 Python 👤 soimort User 🕐 Обновлено 2026-11-15 📅 Создано 2012-08-20
10
gedoor/legado

Legado 3.0 Book Reader с мощными элементами управления и полным набором функций ❤️ Чтение 3.0, Чтение — это инструмент, позволяющий настраивать источники для чтения онлайн-контента, предоставляющий любителям сетевой литературы удобный, быстрый и комфортный опыт пробного чтения.

gedoor
⭐ 47,268 Kotlin 👤 gedoor User 🕐 Обновлено 2026-05-27 📅 Создано 2019-05-22
11
JCodesMore/ai-website-cloner-template

Клонируйте любой веб-сайт с помощью одной команды, используя ИИ-агенты для кодирования

JCodesMore
⭐ 39,582 TypeScript 👤 JCodesMore User 🕐 Обновлено 2026-11-10 📅 Создано 2026-03-13
12
dgtlmoon/changedetection.io

Лучший и самый простой инструмент для обнаружения изменений на сайтах, мониторинга веб-страниц и получения уведомлений об изменениях. Идеально подходит для отслеживания изменений контента, снижения цен, уведомлений о поступлении товара и мониторинга взлома сайтов — MCP включён! Всё бесплатно или воспользуйтесь нашим тарифом SaaS!

dgtlmoon
⭐ 35,939 Python 👤 dgtlmoon User 🕐 Обновлено 2026-11-20 📅 Создано 2021-01-27
13
CloakHQ/CloakBrowser

Незаметный Chromium, проходящий все тесты на обнаружение ботов. Прямая замена Playwright с патчами отпечатков на уровне исходного кода. Пройдено более 50 тестов.

CloakHQ
⭐ 33,007 Python 👤 CloakHQ Organization 🕐 Обновлено 2026-11-20 📅 Создано 2026-02-22
14
ScrapeGraphAI/Scrapegraph-ai

Python-скрейпер на основе ИИ

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 Обновлено 2026-10-06 📅 Создано 2024-01-27
15
apify/crawlee

Crawlee—Библиотека для веб-скрейпинга и автоматизации браузера для Node.js для создания надежных краулеров. На JavaScript и TypeScript. Извлечение данных для ИИ, LLM, RAG или GPT. Загрузка HTML, PDF, JPG, PNG и других файлов с сайтов. Работает с Puppeteer, Playwright, Cheerio, JSDOM и чистым HTTP. В режимах с видимой головой и headless. С ротацией прокси.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Обновлено 2026-11-21 📅 Создано 2016-08-26
16
browserbase/stagehand

SDK для извлечения данных и взаимодействия с любым сайтом в интернете. Начните с Claude Code, Codex, Eve, Mastra и других инструментов.

browserbase
⭐ 26,109 TypeScript 👤 browserbase Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-03-24
17
lexmount/moli

Лучший безголовый браузер для ИИ-агентов. Лёгкий, быстрый и высокосовместимый. Создан на Rust

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-08-10
18
Evil0ctal/Douyin_TikTok_Download_API

🚀 Самостоятельно размещаемый API для сбора данных с Douyin, TikTok и Bilibili и скачивания видео без водяных знаков. Поддерживает вызовы ИИ-агентов через MCP и офлайн-преобразование речи в текст. Развёртывание Docker в один клик. | Самостоятельно размещаемый парсер TikTok, Douyin и Bilibili и загрузчик видео без водяных знаков: асинхронный REST API, MCP-сервер для ИИ-агентов, CLI и веб-консоль, а также офлайн-преобразование речи в текст для скачанных видео. Самовосстанавливающийся пул идентификаторов, архив PostgreSQL и запуск одной командой `docker compose up`.

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 Обновлено 2026-11-20 📅 Создано 2021-11-07
19
getmaxun/maxun

Превратите любой веб-сайт в структурированный API. Извлекайте данные, автоматизируйте процессы, выполняйте поиск и отслеживайте веб-пространство.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 Обновлено 2026-11-20 📅 Создано 2023-10-23
20
MODSetter/SurfSense

Изолированная от сетей альтернатива NotebookLM с открытым исходным кодом, ориентированная на конфиденциальность. ИИ-агент, который исследует, преобразует и редактирует ваши документы. Присоединяйтесь к нашему Discord: https://discord.gg/ejRNvftDp9

MODSetter
⭐ 16,907 Python 👤 MODSetter User 🕐 Обновлено 2026-11-14 📅 Создано 2024-07-30
21
yusufkaraaslan/Skill_Seekers

Преобразуйте веб-сайты с документацией, репозитории GitHub и PDF-файлы в навыки Claude AI с функцией автоматического обнаружения конфликтов

yusufkaraaslan
⭐ 15,351 Python 👤 yusufkaraaslan User 🕐 Обновлено 2026-11-16 📅 Создано 2025-10-17
22
pjialin/py12306

🚂 Помощник по покупке билетов 12306, поддержка кластера, несколько аккаунтов, многозадачная покупка билетов и управление веб-страницами

pjialin
⭐ 14,960 Python 👤 pjialin User 🕐 Обновлено 2026-10-01 📅 Создано 2019-01-07
23
nanobrowser/nanobrowser

Открытый ИИ-агент для автоматизации работы в интернете. Используйте свой настоящий браузер с выполненным входом, чтобы автоматизировать повседневные задачи.

nanobrowser
⭐ 14,359 TypeScript 👤 nanobrowser Organization 🕐 Обновлено 2026-11-17 📅 Создано 2024-12-31
24
seleniumbase/SeleniumBase

Быстрая и надежная автоматизация браузера для сквозного тестирования, сбора данных и скрытной работы. Обходит обнаружение ботов с помощью режима CDP. Интегрируется с pytest, Playwright и MCP.

seleniumbase
⭐ 13,272 Python 👤 seleniumbase Organization 🕐 Обновлено 2026-11-21 📅 Создано 2014-03-04
25
jiji262/douyin-downloader

Практичный загрузчик Douyin для скачивания отдельных материалов и содержимого профилей пакетами, с отображением прогресса, повторными попытками, дедупликацией на основе SQLite и поддержкой резервного режима через браузер. Инструмент для пакетного скачивания из Douyin, поддерживающий видео, альбомы изображений, подборки и музыку (оригинальный звук).

jiji262
⭐ 12,644 Python 👤 jiji262 User 🕐 Обновлено 2026-11-21 📅 Создано 2023-05-25
26
jo-inc/camofox-browser

Скрытый headless-браузер для ИИ-агентов — обходит Cloudflare, обнаружение ботов и антискрейпинг. Drop-in замена Puppeteer/Playwright.

jo-inc
⭐ 12,437 JavaScript 👤 jo-inc Organization 🕐 Обновлено 2026-11-10 📅 Создано 2026-01-26
27
jhy/jsoup

jsoup: анализатор HTML для Java, предназначенный для редактирования, очистки, скрапинга и безопасности от XSS в HTML.

jhy
⭐ 11,418 Java 👤 jhy User 🕐 Обновлено 2026-11-18 📅 Создано 2009-12-19
28
NopeCHALLC/nopecha-extension

Автоматический решатель CAPTCHA для вашего браузера. Работает с Selenium, Puppeteer, Playwright и другими.

NopeCHALLC
⭐ 11,140 👤 NopeCHALLC User 🕐 Обновлено 2026-10-02 📅 Создано 2023-03-23
29
pinchtab/pinchtab

Мост автоматизации браузера высокой производительности и оркестратор многократных экземпляров с продвинутой скрытой инъекцией и панелью реального времени.

pinchtab
⭐ 10,599 Go 👤 pinchtab Organization 🕐 Обновлено 2026-11-10 📅 Создано 2026-02-15
30
apify/crawlee-python

Crawlee — библиотека для веб-скрейпинга и автоматизации браузера на Python, позволяющая создавать надёжные краулеры. Извлекайте структурированные данные с помощью LLM через Pydantic AI или управляйте браузером на естественном языке с помощью Stagehand. Совместима с BeautifulSoup, Parsel, Playwright и низкоуровневым HTTP. Скачивайте HTML, PDF, изображения и другие файлы. Ротация прокси включена.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Обновлено 2026-11-20 📅 Создано 2024-01-10
31
scrapinghub/portia

Визуальный скрейпинг для Scrapy

scrapinghub
⭐ 9,479 Python 👤 scrapinghub Organization 🕐 Обновлено 2024-06-26 📅 Создано 2014-03-21
32
nashsu/FreeAskInternet

FreeAskInternet — это совершенно бесплатный, ЧАСТНЫЙ и ЛОКАЛЬНО работающий агрегатор поиска и генератор ответов, использующий МНОЖЕСТВО LLM, без необходимости в GPU. Пользователь может задать вопрос, и система выполнит многодвижковый поиск и объединит результаты поиска с LLM, чтобы сгенерировать ответ на основе результатов поиска. Все это БЕСПЛАТНО для использования.

nashsu
⭐ 8,734 Python 👤 nashsu User 🕐 Обновлено 2024-04-18 📅 Создано 2024-04-05
33
cv-cat/Spider_XHS

Сбор данных с помощью краулера Xiaohongshu (RED), обратный инжиниринг Xiaohongshu, личные сообщения, прямые трансляции и комплексные решения для работы на Xiaohongshu

cv-cat
⭐ 8,542 Python 👤 cv-cat User 🕐 Обновлено 2026-10-22 📅 Создано 2023-08-08
34
cporter202/API-mega-list

Этот репозиторий GitHub — мощная коллекция API, которые вы можете сразу начать использовать для создания чего угодно: от простых автоматизаций до полномасштабных приложений. Один из самых ценных списков API на GitHub — и точка. 💪

cporter202
⭐ 8,406 JavaScript 👤 cporter202 User 🕐 Обновлено 2026-11-19 📅 Создано 2025-12-09
35
ericchiang/pup

Парсинг HTML в командной строке

ericchiang
⭐ 8,372 HTML 👤 ericchiang User 🕐 Обновлено 2024-05-02 📅 Создано 2014-09-01
36
mherrmann/helium

Легкая автоматизация веб с Python

mherrmann
⭐ 8,333 Python 👤 mherrmann User 🕐 Обновлено 2026-10-22 📅 Создано 2019-11-26
37
gosom/google-maps-scraper

сбор данных из Google Maps. Извлекает данные, такие как название, адрес, номер телефона, URL сайта, рейтинг, количество отзывов, широту и долготу, отзывы, email и многое другое для каждого места

gosom
⭐ 8,291 Go 👤 gosom User 🕐 Обновлено 2026-11-21 📅 Создано 2023-04-22
38
lorien/awesome-web-scraping

Список библиотек, инструментов и API для веб-скрейпинга и обработки данных.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Обновлено 2026-11-21 📅 Создано 2015-08-12
39
alirezamika/autoscraper

Умный, автоматический, быстрый и легкий веб-скрейпер для Python

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 Обновлено 2026-07-29 📅 Создано 2020-08-31
40
firecrawl/firecrawl-mcp-server

Официальный MCP-сервер Firecrawl — контекстный API для ИИ-агентов: ищите информацию в интернете, извлекайте данные и взаимодействуйте с веб-страницами, а также анализируйте, обходите и картируйте сайты, используя Agent и Monitor из любого MCP-клиента.

firecrawl
⭐ 7,871 JavaScript 👤 firecrawl Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-12-06
41
WECENG/ticket-purchase

Автоматический захват билетов Barley, поддерживает выбор людей, городов, дат сеансов, цен

WECENG
⭐ 7,844 Python 👤 WECENG User 🕐 Обновлено 2026-05-14 📅 Создано 2023-10-12
42
mgdm/htmlq

Как jq, но для HTML.

mgdm
⭐ 7,591 Rust 👤 mgdm User 🕐 Обновлено 2026-05-27 📅 Создано 2019-05-07
43
go-rod/rod

Драйвер протокола Chrome DevTools для автоматизации веб и скрапинга.

go-rod
⭐ 7,160 Go 👤 go-rod Organization 🕐 Обновлено 2026-08-11 📅 Создано 2020-01-21
44
adbar/trafilatura

Инструмент Python и командной строки для сбора текста и метаданных в Интернете: Краулинг, скрейпинг, извлечение, вывод в формате CSV, JSON, HTML, MD, TXT, XML

adbar
⭐ 7,157 Python 👤 adbar User 🕐 Обновлено 2026-11-20 📅 Создано 2019-04-08
45
autoscrape-labs/pydoll

Pydoll — это библиотека для автоматизации браузеров на основе Chromium без WebDriver, предлагающая реалистичные взаимодействия.

autoscrape-labs
⭐ 7,145 HTML 👤 autoscrape-labs Organization 🕐 Обновлено 2026-11-08 📅 Создано 2024-10-27
46
lexiforest/curl_cffi

Python-привязка для форка curl-impersonate через cffi. HTTP-клиент, который может имитировать отпечатки TLS/JA3/HTTP2 браузера.

lexiforest
⭐ 6,909 Python 👤 lexiforest User 🕐 Обновлено 2026-11-21 📅 Создано 2022-03-10
47
browser-act/skills

CLI для автоматизации браузера, созданный для ИИ-агентов. Прорывайте антибот-барьеры, передавайте задачи людям на разных платформах, когда застряли. Параллельное выполнение нескольких задач, независимая работа с несколькими сессиями, изолированный просмотр с нескольких учетных записей.

browser-act
⭐ 6,385 Python 👤 browser-act Organization 🕐 Обновлено 2026-11-04 📅 Создано 2026-02-06
48
nickscamara/open-deep-research

Клон для глубоких исследований с открытым исходным кодом. Агент ИИ, который анализирует большие объемы веб-данных, извлеченных с помощью Firecrawl.

nickscamara
⭐ 6,242 TypeScript 👤 nickscamara User 🕐 Обновлено 2025-05-07 📅 Создано 2025-02-03
49
MontFerret/ferret

Декларативный язык автоматизации данных и среда выполнения Go для структурированных рабочих процессов извлечения.

MontFerret
⭐ 6,025 Go 👤 MontFerret Organization 🕐 Обновлено 2026-11-19 📅 Создано 2018-08-23
50
RedSiege/EyeWitness

EyeWitness предназначен для создания снимков экрана веб-сайтов, предоставления информации о серверных заголовках и, по возможности, определения учетных данных по умолчанию.

RedSiege
⭐ 5,906 Python 👤 RedSiege Organization 🕐 Обновлено 2026-01-05 📅 Создано 2014-02-26

Часто задаваемые вопросы

1

Какой репозиторий по теме #web-scraping наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #web-scraping на GitHub — firecrawl/firecrawl, набравший 205,758 звёзд. Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.

2

Какие языки программирования чаще всего используются в репозиториях по теме #web-scraping?

Среди наиболее высоко оценённых проектов по теме #web-scraping на GitHub чаще всего используются языки программирования Python, TypeScript, JavaScript, Go.

3

Как рассчитывается рейтинг репозиториев по теме #web-scraping?

Мы отслеживаем 381 активных репозиториев с открытым исходным кодом, отмеченных тегом #web-scraping (500 и более звёзд), с общим числом 2,147,590 звёзд и в среднем 5,636 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.