Git Stars Git Stars

#webscraping Репозитории

Откройте для себя 50 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #webscraping, с общим числом 581,593 звёзд (в среднем 11,631 на проект). Лидером этой темы является firecrawl/firecrawl, набравший 205,758 звёзд.

50
Всего репозиториев
581,593
Всего звезд
11,631
Среднее количество звезд на репозиторий

Всего репозиториев: 50

1
firecrawl/firecrawl

Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-04-15
2
D4Vinci/Scrapling

🕷️ ЛУЧШИЙ фреймворк для веб-скрейпинга, который справится со всем: от одного запроса до масштабного обхода сайтов! Не стесняйтесь — присоединяйтесь здесь: https://discord.gg/EMgGbDceNQ и подписывайтесь здесь, чтобы ежедневно получать советы и полезные приёмы: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 Обновлено 2026-11-17 📅 Создано 2024-10-13
3
huginn/huginn

Создайте агентов, которые мониторят и действуют от вашего имени. Ваши агенты наготове!

huginn
⭐ 50,601 Ruby 👤 huginn Organization 🕐 Обновлено 2026-11-21 📅 Создано 2013-03-10
4
CloakHQ/CloakBrowser

Незаметный Chromium, проходящий все тесты на обнаружение ботов. Прямая замена Playwright с патчами отпечатков на уровне исходного кода. Пройдено более 50 тестов.

CloakHQ
⭐ 33,007 Python 👤 CloakHQ Organization 🕐 Обновлено 2026-11-20 📅 Создано 2026-02-22
5
ScrapeGraphAI/Scrapegraph-ai

Python-скрейпер на основе ИИ

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 Обновлено 2026-10-06 📅 Создано 2024-01-27
6
assafelovic/gpt-researcher

Автономный агент, проводящий глубокие исследования любых данных с использованием любых провайдеров LLM

assafelovic
⭐ 30,810 Python 👤 assafelovic User 🕐 Обновлено 2026-11-12 📅 Создано 2023-05-12
7
getmaxun/maxun

Превратите любой веб-сайт в структурированный API. Извлекайте данные, автоматизируйте процессы, выполняйте поиск и отслеживайте веб-пространство.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 Обновлено 2026-11-20 📅 Создано 2023-10-23
8
pystardust/ani-cli

CLI-инструмент для просмотра и воспроизведения аниме

pystardust
⭐ 14,142 Shell 👤 pystardust User 🕐 Обновлено 2026-11-20 📅 Создано 2021-06-09
9
daijro/camoufox

🦊 Антидетект браузер

daijro
⭐ 13,533 C 👤 daijro User 🕐 Обновлено 2026-11-19 📅 Создано 2024-07-26
10
lorien/awesome-web-scraping

Список библиотек, инструментов и API для веб-скрейпинга и обработки данных.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Обновлено 2026-11-21 📅 Создано 2015-08-12
11
alirezamika/autoscraper

Умный, автоматический, быстрый и легкий веб-скрейпер для Python

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 Обновлено 2026-07-29 📅 Создано 2020-08-31
12
Kaliiiiiiiiii-Vinyzu/patchright

Необнаруженная версия библиотеки тестирования и автоматизации Playwright.

Kaliiiiiiiiii-Vinyzu
⭐ 5,227 TypeScript 👤 Kaliiiiiiiiii-Vinyzu Organization 🕐 Обновлено 2026-11-13 📅 Создано 2023-11-07
13
niespodd/browser-fingerprinting

Анализ систем защиты от ботов с доступными контрмерами 🚿. Как победить систему защиты от ботов 👻 и обойти скрипты сбора отпечатков браузера 🕵️‍♂️ при веб-скрейпинге?

niespodd
⭐ 5,171 JavaScript 👤 niespodd User 🕐 Обновлено 2026-07-27 📅 Создано 2021-01-23
14
jaypyles/Scraperr

Собственный веб-скрейпер.

jaypyles
⭐ 4,876 TypeScript 👤 jaypyles User 🕐 Обновлено 2025-10-12 📅 Создано 2024-07-06
15
itsOwen/CyberScraper-2077

Мощный веб-скрапер на базе LLM | OpenAI, Gemini и Ollama

itsOwen
⭐ 3,302 Python 👤 itsOwen User 🕐 Обновлено 2026-10-12 📅 Создано 2024-08-17
16
GodsScion/Auto_job_applier_linkedIn

Упростите поиск работы, автоматизировав процесс подачи заявок с помощью этого Автоматического аппликанта.

GodsScion
⭐ 3,049 Python 👤 GodsScion User 🕐 Обновлено 2026-11-08 📅 Создано 2023-06-17
17
oss-invisible/playwright

Невидимый Playwright: Playwright, который не могут обнаружить антибот-системы, поэтому никаких капч: тот же API, скрытый headless Firefox с защитой от обнаружения, незаметный цифровой отпечаток, обход обнаружения ботов, веб-скрейпинг и автоматизация браузера на Python.

oss-invisible
⭐ 2,612 Python 👤 oss-invisible Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-05-13
18
scrapoxy/scrapoxy

Scrapoxy был прекращен.

scrapoxy
⭐ 2,402 👤 scrapoxy User 🕐 Обновлено 2026-02-07 📅 Создано 2015-08-28
19
anaskhan96/soup

Веб-скрейпер на Go, аналогичный BeautifulSoup

anaskhan96
⭐ 2,302 Go 👤 anaskhan96 User 🕐 Обновлено 2026-10-24 📅 Создано 2017-02-23
20
reworkd/tarsier

Инструменты зрения для веб-агентов взаимодействия 👀

reworkd
⭐ 1,746 Jupyter Notebook 👤 reworkd Organization 🕐 Обновлено 2024-11-25 📅 Создано 2023-11-09
21
ProxyShard/ShardBrowser

Бесплатный браузерный лаунчер с открытым исходным кодом и защитой от обнаружения для веб-скрейпинга и работы с несколькими аккаунтами. От команды ShardX (ранее ProxyShard). Подмена отпечатка на уровне движка в Chromium 158 (WebGL / WebGPU / Client Hints / шрифты / TLS), более 220 встроенных профилей устройств, стабильная работа QUIC + WebRTC через SOCKS5.

ProxyShard
⭐ 1,735 TypeScript 👤 ProxyShard User 🕐 Обновлено 2026-11-21 📅 Создано 2026-05-30
22
TheWebScrapingClub/webscraping-from-0-to-hero

Репозиторий открытого проекта по веб-скрапингу нацелен на обмен знаниями и опытом в области веб-скрапинга с использованием Python.

TheWebScrapingClub
⭐ 1,695 👤 TheWebScrapingClub Organization 🕐 Обновлено 2024-05-27 📅 Создано 2022-05-26
23
zohaibbashir/Google-Maps-Scrapper

Этот код используется для веб-скрейпинга и извлечения данных из Google Maps. Он специально разработан для получения информации о бизнесах, включая их название, адрес, веб-сайт, номер телефона, отзывы и многое другое.

zohaibbashir
⭐ 1,651 Python 👤 zohaibbashir User 🕐 Обновлено 2026-05-18 📅 Создано 2023-10-17
24
Kaliiiiiiiiii-Vinyzu/patchright-python

Необнаруженная версия Python библиотеки для тестирования и автоматизации Playwright.

Kaliiiiiiiiii-Vinyzu
⭐ 1,603 Python 👤 Kaliiiiiiiiii-Vinyzu Organization 🕐 Обновлено 2026-11-10 📅 Создано 2024-11-02
25
requests-cache/requests-cache

Постоянный HTTP-кеш для запросов Python

requests-cache
⭐ 1,511 Python 👤 requests-cache Organization 🕐 Обновлено 2026-11-20 📅 Создано 2012-04-12
26
cdpdriver/zendriver

Сверхбыстрый, асинхронный, необнаружимый фреймворк для веб-скрапинга/веб-автоматизации на основе ultrafunkamsterdam/nodriver. Теперь с поддержкой Docker!

cdpdriver
⭐ 1,483 Python 👤 cdpdriver Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-10-19
27
m8sec/CrossLinked

Инструмент перечисления LinkedIn для извлечения действительных имен сотрудников из организации через скрапинг поисковых систем

m8sec
⭐ 1,455 Python 👤 m8sec User 🕐 Обновлено 2024-11-26 📅 Создано 2019-05-16
28
jamesturk/scrapeghost

👻 Экспериментальная библиотека для веб-скрейпинга с использованием API GPT от OpenAI.

jamesturk
⭐ 1,439 Python 👤 jamesturk User 🕐 Обновлено 2026-01-14 📅 Создано 2023-03-18
29
feder-cr/invisible_puppeteer

Puppeteer для Python, который не обнаруживают антибот-системы, поэтому капчи не появляются: тот же API, скрытый headless Firefox с защитой от обнаружения, необнаруживаемый цифровой отпечаток, обход обнаружения ботов, веб-скрейпинг и автоматизация браузера.

feder-cr
⭐ 1,403 Python 👤 feder-cr User 🕐 Обновлено 2026-10-19 📅 Создано 2024-09-01
30
raznem/parsera

Легкая библиотека для веб-скрапинга с использованием LLM

raznem
⭐ 1,372 Python 👤 raznem User 🕐 Обновлено 2025-12-17 📅 Создано 2024-08-12
31
mov-cli/mov-cli

Смотрите все из вашего терминала.

mov-cli
⭐ 1,313 Python 👤 mov-cli Organization 🕐 Обновлено 2025-10-05 📅 Создано 2022-03-11
32
ovobrowsersupport/ovobrowser

Механизм снятия отпечатка Chromium на уровне исходного кода, который сайты обнаружения оценивают как обычный Chrome. Механизм снятия отпечатка Chromium на уровне исходного кода, проходящий тесты на обнаружение ботов. Это не инъекция JS, а патчи на C++, скомпилированные в бинарный файл.

ovobrowsersupport
⭐ 1,277 👤 ovobrowsersupport User 🕐 Обновлено 2026-11-16 📅 Создано 2026-08-23
33
scrapfly/scrapfly-scrapers

Масштабируемые Python-скрипты для веб-скрейпинга более чем 80 популярных доменов

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-05-22
34
openzim/zimit

Создайте файл ZIM с любого веб-сайта и просматривайте его в автономном режиме!

openzim
⭐ 872 Python 👤 openzim Organization 🕐 Обновлено 2026-11-18 📅 Создано 2016-06-21
35
oss-invisible/playwright_mcp

Invisible Playwright MCP: сервер Playwright MCP, незаметный для антибот-систем и CAPTCHA: ИИ-агент просматривает веб-страницы с помощью скрытного Firefox с защитой от обнаружения, Python, незаметной автоматизации браузера, скрейпинга и управления компьютером.

oss-invisible
⭐ 869 Python 👤 oss-invisible Organization 🕐 Обновлено 2026-11-20 📅 Создано 2026-09-29
36
vil/H4X-Tools

Модульный, основанный на терминале набор инструментов для OSINT, разведки и сбора данных — написан на Python, работает под Linux и Windows.

vil
⭐ 857 Python 👤 vil User 🕐 Обновлено 2026-10-17 📅 Создано 2022-04-18
37
wodsuz/EasyApplyJobsBot

Python-бот для автоматического отклика на все вакансии «Easy Apply» на LinkedIn, Glassdoor и т. д. в соответствии с вашими предпочтениями. Автоматический вход в систему, автоматическое заполнение дополнительных вопросов, автоматическое отклики!

wodsuz
⭐ 838 Python 👤 wodsuz User 🕐 Обновлено 2026-05-18 📅 Создано 2021-08-09
38
benibela/xidel

Инструмент командной строки для загрузки и извлечения данных из страниц HTML/XML или JSON-API с использованием CSS, XPath 3.0, XQuery 3.0, JSONiq или сопоставления шаблонов. Он также может создавать новые или преобразованные документы XML/HTML/JSON.

benibela
⭐ 836 Pascal 👤 benibela User 🕐 Обновлено 2025-02-22 📅 Создано 2015-06-11
39
tiliondev/fortress

Скрытый движок Chromium, который предотвращает блокировку скрейперов и браузерных агентов благодаря изменению всего одной строки кода.

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 Обновлено 2026-11-03 📅 Создано 2026-07-02
40
Kaliiiiiiiiii-Vinyzu/patchright-nodejs

Необнаруженная версия NodeJS библиотеки тестирования и автоматизации Playwright.

Kaliiiiiiiiii-Vinyzu
⭐ 813 TypeScript 👤 Kaliiiiiiiiii-Vinyzu Organization 🕐 Обновлено 2026-11-10 📅 Создано 2024-11-02
41
Skallwar/suckit

Соси InTernet

Skallwar
⭐ 812 Rust 👤 Skallwar User 🕐 Обновлено 2026-03-12 📅 Создано 2019-10-29
42
feder-cr/invisible_selenium

Selenium, невидимый для антибот-систем, — никаких CAPTCHA: тот же API, скрытый headless Firefox с защитой от обнаружения, незаметный браузерный отпечаток, обход обнаружения ботов, веб-скрейпинг и автоматизация браузера на Python.

feder-cr
⭐ 808 Python 👤 feder-cr User 🕐 Обновлено 2026-10-19 📅 Создано 2024-08-16
43
hitarth-gg/zenshin

🔖 Веб- и Electron-приложение для стриминга аниме для 🐈s

hitarth-gg
⭐ 784 JavaScript 👤 hitarth-gg User 🕐 Обновлено 2026-05-24 📅 Создано 2024-08-14
44
ZacharyHampton/HomeHarvest

Пакет Python для скрейпинга данных о недвижимости

ZacharyHampton
⭐ 764 Python 👤 ZacharyHampton User 🕐 Обновлено 2025-12-26 📅 Создано 2023-09-15
45
z0m31en7/Uscrapper

Uscrapper Vanta: Погрузитесь глубже в интернет с помощью этого мощного инструмента с открытым исходным кодом. Легко и эффективно извлекайте ценные сведения как из источников поверхностного, так и из источников глубокого веба. Расширьте возможности своего майнинга данных и анализа с помощью передовых возможностей Vanta. Быстрый, надежный и удобный в использовании Uscrapper Vanta — лучший выбор для исследователей и аналитиков.

z0m31en7
⭐ 740 Python 👤 z0m31en7 User 🕐 Обновлено 2024-11-24 📅 Создано 2023-05-31
46
ScrapeGraphAI/scrapecraft

Редактор веб-скрейпинга на базе ИИ с визуальным конструктором рабочих процессов. Создавайте, тестируйте и развертывайте веб-скрейперы с использованием естественного языка. На базе ScrapeGraphAI и LangGraph.

ScrapeGraphAI
⭐ 731 Python 👤 ScrapeGraphAI Organization 🕐 Обновлено 2025-12-26 📅 Создано 2025-07-01
47
scrapfly/Antibot-Detector

Обнаружение антибот-систем, капч и методов снятия отпечатков в реальном времени. Идентифицирует Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security и другие системы, предоставляя оценку достоверности и расширенные инструменты захвата.

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 Обновлено 2026-11-17 📅 Создано 2025-09-03
48
adrianhajdin/pricewise

Погрузитесь в веб-скрейпинг и создайте трекер цен для электронной коммерции на Next.js 13 в одном видео, которое научит вас скрейпингу данных, cron-заданиям, отправке электронных писем, развертыванию и многому другому.

adrianhajdin
⭐ 583 TypeScript 👤 adrianhajdin User 🕐 Обновлено 2024-07-06 📅 Создано 2023-09-29
49
jpjacobpadilla/Stealth-Requests

Незаметный веб-скрейпинг и бесшовная обработка HTML на Python!

jpjacobpadilla
⭐ 570 Python 👤 jpjacobpadilla User 🕐 Обновлено 2026-09-19 📅 Создано 2024-08-04
50
oxylabs/oxylabs-ai-studio-openclaw

Официальный плагин Openclaw для Oxylabs AI-Studio

oxylabs
⭐ 549 TypeScript 👤 oxylabs Organization 🕐 Обновлено 2026-09-16 📅 Создано 2026-02-26

Часто задаваемые вопросы

1

Какой репозиторий по теме #webscraping наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #webscraping на GitHub — firecrawl/firecrawl, набравший 205,758 звёзд. Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.

2

Какие языки программирования чаще всего используются в репозиториях по теме #webscraping?

Среди наиболее высоко оценённых проектов по теме #webscraping на GitHub чаще всего используются языки программирования Python, TypeScript, JavaScript, Ruby.

3

Как рассчитывается рейтинг репозиториев по теме #webscraping?

Мы отслеживаем 50 активных репозиториев с открытым исходным кодом, отмеченных тегом #webscraping (500 и более звёзд), с общим числом 581,593 звёзд и в среднем 11,631 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.