Git Stars Git Stars

#web-scraping Репозитории

381
Всего репозиториев
2.1M
Всего звезд
5,636
Среднее количество звезд на репозиторий

Всего репозиториев: 382

51
matthewmueller/x-ray

Следующий веб-скрейпер. Проникайте сквозь шум <html>.

matthewmueller
⭐ 5,899 JavaScript 👤 matthewmueller User 🕐 Обновлено 2026-08-31 📅 Создано 2015-02-05
52
omkarcloud/botasaurus

Универсальный фреймворк для создания непобедимых скрейперов

omkarcloud
⭐ 5,857 TypeScript 👤 omkarcloud Organization 🕐 Обновлено 2026-11-13 📅 Создано 2023-05-09
53
executeautomation/mcp-playwright

Playwright Model Context Protocol Server - Инструмент для автоматизации браузеров и API в Claude Desktop, Cline, Cursor IDE и других 🔌

executeautomation
⭐ 5,681 TypeScript 👤 executeautomation User 🕐 Обновлено 2025-12-13 📅 Создано 2024-12-03
54
KnockOutEZ/wigolo

Идеальный веб-ресурс для вашего ИИ-агента кодирования — локальный поиск, извлечение, сканирование и исследование через MCP. Без ключей API, без облака, $0/запрос. Открытая бета-версия.

KnockOutEZ
⭐ 5,560 TypeScript 👤 KnockOutEZ User 🕐 Обновлено 2026-11-21 📅 Создано 2026-04-12
55
Kaliiiiiiiiii-Vinyzu/patchright

Необнаруженная версия библиотеки тестирования и автоматизации Playwright.

Kaliiiiiiiiii-Vinyzu
⭐ 5,227 TypeScript 👤 Kaliiiiiiiiii-Vinyzu Organization 🕐 Обновлено 2026-11-13 📅 Создано 2023-11-07
56
Manavarya09/design-extract

Извлеките полную систему дизайна любого веб-сайта одной командой. Токены DTCG, семантический+примитивный+композитный, сервер MCP для Claude Code/Cursor/Windsurf, мультиплатформенные эмиттеры (iOS SwiftUI, Android Compose, Flutter, WordPress), Tailwind v4, переменные Figma, shadcn/ui, аудит здоровья CSS, исправление WCAG, расширение Chrome. MIT, Playwright, Node 20+.

Manavarya09
⭐ 5,180 HTML 👤 Manavarya09 User 🕐 Обновлено 2026-11-18 📅 Создано 2026-04-15
57
ultrafunkamsterdam/nodriver

Преемник Undetected-Chromedriver. Предоставляет молниеносно быстрый фреймворк для веб-автоматизации, веб-скрапинга, ботов и любых других творческих идей, которые обычно затрудняются раздражающими антибот-системами, такими как Captcha / CloudFlare / Imperva / hCaptcha.

ultrafunkamsterdam
⭐ 4,950 Python 👤 ultrafunkamsterdam User 🕐 Обновлено 2026-10-26 📅 Создано 2024-02-20
58
jaypyles/Scraperr

Собственный веб-скрейпер.

jaypyles
⭐ 4,876 TypeScript 👤 jaypyles User 🕐 Обновлено 2025-10-12 📅 Создано 2024-07-06
59
NanmiCoder/CrawlerTutorial

Основы веб-скрапинга, Продвинутый веб-скрапинг, Экспертный веб-скрапинг

NanmiCoder
⭐ 4,873 Python 👤 NanmiCoder User 🕐 Обновлено 2026-04-03 📅 Создано 2024-03-24
60
request/request-promise

Упрощенный клиент HTTP-запросов 'request' с поддержкой Promise. На базе Bluebird.

request
⭐ 4,734 JavaScript 👤 request Organization 🕐 Обновлено 2024-01-31 📅 Создано 2013-10-04
61
REMitchell/python-scraping

Примеры кода из книги Web Scraping with Python http://shop.oreilly.com/product/0636920034391.do

REMitchell
⭐ 4,669 Jupyter Notebook 👤 REMitchell User 🕐 Обновлено 2024-06-01 📅 Создано 2015-06-14
62
AhmadHassan-BTed/Noria

Агентный инструмент для извлечения информации на платформах обмена сообщениями. Noria получает сообщения и URL в чате, собирает данные из интернета, чтобы оценивать содержимое по настраиваемым системам критериев (например, для вакансий и стипендий), а затем отправляет структурированную сводку с рассчитанной оценкой соответствия непосредственно на назначенный номер в мессенджере.

AhmadHassan-BTed
⭐ 4,624 JavaScript 👤 AhmadHassan-BTed User 🕐 Обновлено 2026-11-10 📅 Создано 2026-05-31
63
linsomniac/spotify_to_ytmusic

Скопировать плейлисты и понравившуюся музыку из Spotify в YTMusic

linsomniac
⭐ 4,588 Python 👤 linsomniac User 🕐 Обновлено 2026-04-13 📅 Создано 2023-12-22
64
0xHJK/music-dl

поиск и загрузка музыки Из NetEase Cloud Music, QQ Music, KuGou Music, Baidu Music, Xiami Music, MiGu Music и т.д. поиск и загрузка песен

0xHJK
⭐ 4,423 Python 👤 0xHJK User 🕐 Обновлено 2025-08-12 📅 Создано 2019-01-08
65
ssut/py-googletrans

(неофициальный) Googletrans: Бесплатный и неограниченный API Google Translate для Python. Переводит полностью бесплатно.

ssut
⭐ 4,303 Python 👤 ssut User 🕐 Обновлено 2026-08-08 📅 Создано 2015-06-05
66
RookieEnough/Orion-Store

Идеальное место для приложений с открытым исходным кодом и очищенных приложений. OrionStore предоставляет мгновенный доступ к YouTube Morphe, YT Music Morphe и важным инструментам с открытым исходным кодом — без лишнего шума. Никаких серверов и отслеживания — только красивый современный портал к любимым приложениям.

RookieEnough
⭐ 4,285 Kotlin 👤 RookieEnough User 🕐 Обновлено 2026-11-19 📅 Создано 2025-11-28
67
scrapinghub/splash

Легковесный, управляемый скриптами браузер как услуга с HTTP API

scrapinghub
⭐ 4,197 Python 👤 scrapinghub Organization 🕐 Обновлено 2024-08-02 📅 Создано 2013-05-20
68
kalil0321/reverse-api-engineer

Проведите обратную разработку любого веб-сайта и создайте типизированный API-клиент. Работает с Claude Code, Codex, Cursor и OpenCode.

kalil0321
⭐ 4,088 Python 👤 kalil0321 User 🕐 Обновлено 2026-11-21 📅 Создано 2025-12-23
69
snooppr/snoop

Snoop — Инструмент разведки на основе открытых данных (OSINT)

snooppr
⭐ 4,072 Python 👤 snooppr User 🕐 Обновлено 2026-11-20 📅 Создано 2020-02-14
70
IonicaBizau/scrape-it

🔮 Скрапер Node.js для людей.

IonicaBizau
⭐ 4,069 JavaScript 👤 IonicaBizau User 🕐 Обновлено 2026-11-20 📅 Создано 2016-04-28
71
ericciarla/trendFinder

Будьте в курсе популярных тем в социальных сетях и в Интернете с помощью ИИ

ericciarla
⭐ 4,016 TypeScript 👤 ericciarla User 🕐 Обновлено 2025-02-17 📅 Создано 2024-12-31
72
osnr/TabFS

🗄 Монтируйте вкладки браузера как файловую систему.

osnr
⭐ 3,916 JavaScript 👤 osnr User 🕐 Обновлено 2024-12-28 📅 Создано 2019-02-26
73
Samueli924/chaoxing

Superstar Learning Cloud / Super Star Er Ya / Pan Ya Superstar Полностью автоматическое завершение заданий без присмотра

Samueli924
⭐ 3,883 Python 👤 Samueli924 User 🕐 Обновлено 2026-09-28 📅 Создано 2020-11-20
74
sentient-agi/OpenDeepSearch

LLM на основе поиска SOTA

sentient-agi
⭐ 3,824 Python 👤 sentient-agi Organization 🕐 Обновлено 2025-04-04 📅 Создано 2025-03-20
75
edoardottt/cariddi

Возьмите список доменов, обходите URL и сканируйте на наличие конечных точек, секретов, ключей API, расширений файлов, токенов и многого другого.

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 Обновлено 2026-11-19 📅 Создано 2021-04-27
76
3441293738/creatorhub

Мониторинг · сбор · републикация контента на разных платформах. Одна веб-панель для управления Douyin / Xiaohongshu / Kuaishou / каналами WeChat / TikTok / Bilibili / Instagram / международной версией Xiaohongshu (rednote)

3441293738
⭐ 3,774 Python 👤 3441293738 User 🕐 Обновлено 2026-11-21 📅 Создано 2026-07-03
77
Anakin-Inc/anakin

API для веб-скрейпинга с открытым исходным кодом. Превращайте любой сайт в чистый Markdown или структурированный JSON. Антидетект-браузер, автоматический выбор прокси, возможность самохостинга. Одна команда: make up

Anakin-Inc
⭐ 3,764 Go 👤 Anakin-Inc Organization 🕐 Обновлено 2026-08-18 📅 Создано 2026-03-17
78
cv-cat/DouYin_Spider

Реверс-инжиниринг TikTok, краулер TikTok, все API TikTok, личные сообщения, мониторинг直播 комнат

cv-cat
⭐ 3,711 Python 👤 cv-cat User 🕐 Обновлено 2026-10-23 📅 Создано 2023-10-17
79
oxylabs/amazon-scraper

Бесплатная пробная версия Amazon Scraper API для извлечения данных поиска, продуктов, списков предложений, отзывов, вопросов и ответов, бестселлеров и данных продавцов.

oxylabs
⭐ 3,417 Python 👤 oxylabs Organization 🕐 Обновлено 2026-11-18 📅 Создано 2022-11-29
81
oxylabs/oxylabs-ai-studio-py

Сбор структурированных данных с любого веб-сайта с помощью парсера, краулера и автоматизации браузера на базе ИИ. Парсинг и сканирование с помощью запросов на естественном языке. Оснастите ваши LLM-агенты свежими данными. Python SDK AI Studio для интеллектуального сбора веб-данных.

oxylabs
⭐ 3,394 Python 👤 oxylabs Organization 🕐 Обновлено 2026-08-21 📅 Создано 2025-06-17
82
vibheksoni/stealth-browser-mcp

Скрытая автоматизация браузера для ИИ-агентов через MCP и протокол Chrome DevTools: навигация, сетевые хуки, извлечение DOM и пиксельно точное клонирование пользовательского интерфейса.

vibheksoni
⭐ 3,384 Python 👤 vibheksoni User 🕐 Обновлено 2026-11-20 📅 Создано 2025-08-09
83
php-curl-class/php-curl-class

PHP Curl Class упрощает отправку HTTP-запросов и интеграцию с веб-API.

php-curl-class
⭐ 3,293 PHP 👤 php-curl-class Organization 🕐 Обновлено 2026-11-17 📅 Создано 2013-08-16
84
Virtual-Browser/VirtualBrowser

Бесплатный браузер против отпечатков пальцев, браузер отпечатков пальцев, браузер конфиденциальности, браузер против распознавания, браузер против идентификации, браузер против связывания, бесплатный браузер отпечатков пальцев, специально предназначенный для аирдропов Web3 https://virtualbrowser.cc/?src=github

Virtual-Browser
⭐ 3,282 Vue 👤 Virtual-Browser User 🕐 Обновлено 2026-10-16 📅 Создано 2023-05-20
85
hydrusnetwork/hydrus

Личный теггер медиа в стиле booru, который может импортировать файлы и теги с вашего жёсткого диска и популярных веб-сайтов. Контент может быть поделён с другими пользователями через серверы, управляемые пользователями.

hydrusnetwork
⭐ 3,276 Python 👤 hydrusnetwork User 🕐 Обновлено 2026-11-18 📅 Создано 2013-02-19
86
oxylabs/how-to-scrape-amazon-product-data

Процесс извлечения данных о товарах с Amazon с использованием Python, включая заголовки, рейтинги, цены, изображения и описания.

oxylabs
⭐ 3,248 Python 👤 oxylabs Organization 🕐 Обновлено 2026-11-18 📅 Создано 2024-09-03
87
mitsuhiko/agent-stuff

Это команды, которые я использую с агентами, в основном с Claude.

mitsuhiko
⭐ 3,223 TypeScript 👤 mitsuhiko User 🕐 Обновлено 2026-09-27 📅 Создано 2025-11-02
88
scrapy/scrapyd

Службовый демон для запуска пауков Scrapy

scrapy
⭐ 3,100 Python 👤 scrapy Organization 🕐 Обновлено 2026-10-23 📅 Создано 2013-02-01
90
langchain-ai/social-media-agent

📲 Агент для поиска, курирования и планирования публикаций в социальных сетях с участием человека.

langchain-ai
⭐ 3,045 TypeScript 👤 langchain-ai Organization 🕐 Обновлено 2026-11-18 📅 Создано 2024-11-21
91
TheBlewish/Automated-AI-Web-Researcher-Ollama

Python-программа, которая превращает LLM, работающий на Ollama, в автоматизированного исследователя, который с помощью одного запроса определит области исследования, выполнит веб-поиск, соберет контент с различных релевантных веб-сайтов и проведет исследование для вас самостоятельно! И не только, включая сохранение найденной информации для вас!

TheBlewish
⭐ 3,019 Python 👤 TheBlewish User 🕐 Обновлено 2026-09-02 📅 Создано 2024-11-20
92
x4nth055/pythoncode-tutorials

Туториалы по коду Python

x4nth055
⭐ 3,003 Jupyter Notebook 👤 x4nth055 User 🕐 Обновлено 2026-09-30 📅 Создано 2019-07-29
93
vladkens/twscrape

Библиотека Python и CLI для скрапинга X/Twitter с ротацией нескольких аккаунтов и встроенной обработкой ограничений скорости.

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 Обновлено 2026-11-19 📅 Создано 2023-05-05
94
rust-headless-chrome/rust-headless-chrome

Высокоуровневый API для управления headless Chrome или Chromium через протокол DevTools. Это эквивалент Puppeteer на Rust, библиотека Node, поддерживаемая командой Chrome DevTools.

rust-headless-chrome
⭐ 2,960 Rust 👤 rust-headless-chrome Organization 🕐 Обновлено 2026-06-11 📅 Создано 2018-09-18
95
oxylabs/how-to-scrape-google-trends

Изучите пошаговое руководство по сбору данных Google Trends и сравнению результатов с использованием Python и Oxylabs SERP API. Извлекайте ключевые слова, их популярность, разбивку по регионам, связанные запросы и многое другое.

oxylabs
⭐ 2,907 Python 👤 oxylabs Organization 🕐 Обновлено 2026-11-18 📅 Создано 2024-08-06
96
digininja/CeWL

CeWL — это генератор пользовательских списков слов

digininja
⭐ 2,896 Ruby 👤 digininja User 🕐 Обновлено 2026-06-24 📅 Создано 2016-04-22
97
spider-rs/spider

Базовый сбор веб-данных с низкой задержкой на Rust

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 Обновлено 2026-11-20 📅 Создано 2018-01-07
98
Geniusay/ChopperBot

Huya, Douyu, Douyin, BiliBili, TikTok, Twitch🔥Горячие🔥Умный AI-робот для редактирования и публикации живых видео, Автоматизация🤖, Полностью интеллектуальный⚙(интеллектуальное создание нарезок, заголовков, обложек, описаний), Визуализация👓, Мониторинг популярных платформ🌡, Богатые плагины с произвольным расширением🕹, Быстрое развертывание⚡, Автоматизированное создание и публикация видеоаккаунтов🌟, Поддержка DIY🎮

Geniusay
⭐ 2,758 Java 👤 Geniusay User 🕐 Обновлено 2025-08-04 📅 Создано 2023-04-27
99
levywang/avhub

Инструмент поиска и управления ресурсами R18

levywang
⭐ 2,742 Vue 👤 levywang User 🕐 Обновлено 2026-04-18 📅 Создано 2025-03-07
100
brightdata/brightdata-mcp

Мощный сервер Model Context Protocol (MCP), предлагающий комплексное решение для общедоступного веб-доступа.

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 Обновлено 2026-11-18 📅 Создано 2025-04-15