Git Stars Git Stars

#web-scraping Репозитории

381
Всего репозиториев
2.1M
Всего звезд
5,636
Среднее количество звезд на репозиторий

Всего репозиториев: 382

201
germondai/trawl

Самостоятельно размещаемый движок для парсинга — обходит любые JS-вызовы и капчи: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Альтернатива FlareSolverr и Byparr, прямая замена для вашего стека *arr.

germondai
⭐ 1,209 TypeScript 👤 germondai User 🕐 Обновлено 2026-11-16 📅 Создано 2026-06-26
202
intoli/user-agents

Библиотека JavaScript для генерации случайных пользовательских агентов с данными, обновляемыми ежедневно.

intoli
⭐ 1,194 TypeScript 👤 intoli Organization 🕐 Обновлено 2026-11-21 📅 Создано 2018-08-06
203
Evolution0/bandcamp-dl

Простой скрипт на Python для скачивания альбомов Bandcamp

Evolution0
⭐ 1,189 Python 👤 Evolution0 User 🕐 Обновлено 2026-11-18 📅 Создано 2013-04-29
204
goodreasonai/ScrapeServ

Самостоятельно размещаемый API, который принимает URL и возвращает файл со скриншотами браузера.

goodreasonai
⭐ 1,184 Python 👤 goodreasonai Organization 🕐 Обновлено 2025-03-09 📅 Создано 2025-02-05
205
eshaham/israeli-bank-scrapers

Предоставьте скрейперы для всех основных израильских банков и компаний кредитных карт

eshaham
⭐ 1,181 TypeScript 👤 eshaham User 🕐 Обновлено 2026-11-20 📅 Создано 2017-07-29
206
dchrastil/ScrapedIn

Инструмент для скрапинга LinkedIn без ограничений API для разведки данных

dchrastil
⭐ 1,168 Python 👤 dchrastil User 🕐 Обновлено 2024-04-11 📅 Создано 2018-03-29
207
ccd0/4chan-x

Добавляет различные функции на анонимные имиджборды.

ccd0
⭐ 1,163 CoffeeScript 👤 ccd0 User 🕐 Обновлено 2026-08-27 📅 Создано 2014-04-01
208
yize8888/maotai

iMoutai, скрипт бронирования HuLuWa

yize8888
⭐ 1,135 JavaScript 👤 yize8888 User 🕐 Обновлено 2025-03-08 📅 Создано 2023-06-20
209
fwonggh/Bthub

Страница публикации последней адреса Bthub

fwonggh
⭐ 1,134 HTML 👤 fwonggh User 🕐 Обновлено 2026-11-21 📅 Создано 2020-01-11
210
scrapfly/scrapfly-scrapers

Масштабируемые Python-скрипты для веб-скрейпинга более чем 80 популярных доменов

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-05-22
211
juancarlospaco/faster-than-requests

Быстрые запросы на Python 3

juancarlospaco
⭐ 1,131 Nim 👤 juancarlospaco User 🕐 Обновлено 2026-11-19 📅 Создано 2018-11-13
212
cipher387/python-for-OSINT-21-days

В этом репозитории вы найдете примеры файлов с кодом для каждого дня курса «Python для OSINT. 21-дневный курс для начинающих».

cipher387
⭐ 1,129 Python 👤 cipher387 User 🕐 Обновлено 2026-01-06 📅 Создано 2023-03-26
213
Cloxl/xhshow

Чистый расчет Xiaohongshu xs, обратный инжиниринг чистого расчета для полей Xiaohongshu x-s, x-s-common, xsc и т.д.

Cloxl
⭐ 1,124 Python 👤 Cloxl User 🕐 Обновлено 2026-06-11 📅 Создано 2024-09-11
215
xiaoguyu/wechatDownload

Инструмент для загрузки статей из аккаунтов WeChat

xiaoguyu
⭐ 1,107 TypeScript 👤 xiaoguyu User 🕐 Обновлено 2025-11-28 📅 Создано 2023-01-03
216
vifreefly/kimuraframework

Создавайте веб‑скрейперы на Ruby, используя чистый DSL с поддержкой ИИ. Kimurai использует ИИ, чтобы определить, где находятся данные, затем кэширует селекторы и выполняет скрейпинг только на Ruby. Получите интеллектуальные возможности LLM без задержек на запросы и стоимости токенов.

vifreefly
⭐ 1,102 Ruby 👤 vifreefly User 🕐 Обновлено 2026-01-27 📅 Создано 2018-08-23
217
requireCool/stealth.min.js

Автоматически сгенерировать новейший stealth.min.js.

requireCool
⭐ 1,096 👤 requireCool User 🕐 Обновлено 2026-11-16 📅 Создано 2022-04-10
218
caolvchong-top/twitter_download

Twitter Картинки Видео Парсер; Скачать в один клик

caolvchong-top
⭐ 1,087 Python 👤 caolvchong-top User 🕐 Обновлено 2026-07-28 📅 Создано 2022-08-23
219
YaoZeyuan/stablog

Стабильное Племя. Профессиональное резервное копирование и экспорт записей Weibo, стабильно!

YaoZeyuan
⭐ 1,085 JavaScript 👤 YaoZeyuan User 🕐 Обновлено 2026-08-15 📅 Создано 2019-09-11
220
Anil-matcha/awesome-agent-apis

Более 660 моделей генеративных медиа, размещённых на muapi, а также сторонние API-инструменты, добавленные сообществом (SEO, обогащение данных, соцсети, скрейпинг). Для каждой записи — отдельный YAML-файл; просмотр доступен по возможностям.

Anil-matcha
⭐ 1,070 Python 👤 Anil-matcha User 🕐 Обновлено 2026-10-14 📅 Создано 2023-05-06
221
antibrow/antibrow

Антидетект-браузер на уровне ядра с API Playwright, которое вы уже используете. SDK для Python и Node, поддержка MCP, неограниченное количество локальных профилей. Linux x64 + arm64, macOS Intel + Apple Silicon, Windows x64.

antibrow
⭐ 1,068 TypeScript 👤 antibrow User 🕐 Обновлено 2026-09-28 📅 Создано 2026-07-29
222
IcarusRyy/NewJob

Время последнего изменения этой должности видно с первого взгляда: зеленый — в течение 2 недель, темно-оранжевый — в течение 1,5 месяцев, красный — более 1,5 месяцев

IcarusRyy
⭐ 1,058 JavaScript 👤 IcarusRyy User 🕐 Обновлено 2024-06-10 📅 Создано 2024-05-03
223
stay-leave/weibo-public-opinion-analysis

Проект анализа общественного мнения на основе данных Weibo, включающий парсер Weibo, тематический анализ LDA и анализ тональности.

stay-leave
⭐ 1,058 Python 👤 stay-leave User 🕐 Обновлено 2026-10-24 📅 Создано 2021-08-01
224
lm-rebooter/NuggetsBooklet

Мини-книга Juejin

lm-rebooter
⭐ 1,054 HTML 👤 lm-rebooter User 🕐 Обновлено 2026-05-06 📅 Создано 2023-05-31
225
mandatoryprogrammer/thermoptic

HTTP-прокси нового поколения, который безупречно маскирует запросы под браузер Chrome на всех уровнях стека.

mandatoryprogrammer
⭐ 1,053 JavaScript 👤 mandatoryprogrammer User 🕐 Обновлено 2026-10-25 📅 Создано 2025-09-02
⭐ 1,041 JavaScript 👤 badlogic User 🕐 Обновлено 2026-02-17 📅 Создано 2023-05-08
227
FR13ND8/BruteFb

Взлом Facebook методом brute force в Termux

FR13ND8
⭐ 1,026 Python 👤 FR13ND8 User 🕐 Обновлено 2024-07-17 📅 Создано 2019-01-10
228
janreges/siteone-crawler

SiteOne Crawler — это кроссплатформенный краулер и анализатор веб-сайтов для оптимизации SEO, безопасности, доступности и производительности, идеально подходящий для разработчиков, DevOps, инженеров QA и консультантов. Поддерживает Windows, macOS и Linux (x64 и arm64).

janreges
⭐ 1,019 Rust 👤 janreges User 🕐 Обновлено 2026-09-27 📅 Создано 2023-10-04
229
utkarshkukreti/select.rs

Библиотека на Rust для извлечения полезных данных из HTML-документов, подходящая для веб-скрейпинга.

utkarshkukreti
⭐ 1,018 Rust 👤 utkarshkukreti User 🕐 Обновлено 2025-03-19 📅 Создано 2015-07-15
230
thepycoach/automation

Автоматизация с помощью Python (Excel, скрипты и т. д.)

thepycoach
⭐ 1,010 Jupyter Notebook 👤 thepycoach User 🕐 Обновлено 2024-05-19 📅 Создано 2021-05-02
231
fferrin/free-medium

Расширение для бесплатного чтения статей Medium

fferrin
⭐ 1,008 JavaScript 👤 fferrin User 🕐 Обновлено 2025-11-02 📅 Создано 2024-02-13
232
WittmannF/sort-google-scholar

Ранжирование результатов поиска Google Scholar на основе количества цитирований

WittmannF
⭐ 999 Python 👤 WittmannF User 🕐 Обновлено 2026-10-30 📅 Создано 2016-04-30
233
maldevel/EmailHarvester

Сборщик адресов электронной почты

maldevel
⭐ 999 Python 👤 maldevel User 🕐 Обновлено 2026-06-07 📅 Создано 2016-04-16
234
runesleo/x-reader

Универсальный сервер MCP для чтения контента на 10+ платформах

runesleo
⭐ 992 Python 👤 runesleo User 🕐 Обновлено 2026-11-11 📅 Создано 2026-02-22
235
borisbabic/browser_cookie3

Это форк browser_cookie

borisbabic
⭐ 989 Python 👤 borisbabic User 🕐 Обновлено 2024-12-20 📅 Создано 2015-04-26
236
MinorJerry/WebVoyager

Код для «WebVoyager: WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models»

MinorJerry
⭐ 986 Python 👤 MinorJerry User 🕐 Обновлено 2024-03-04 📅 Создано 2024-01-24
237
YaoZeyuan/zhihuhelp

Переписывание помощника Zhihu на основе Node & TypeScript

YaoZeyuan
⭐ 985 TypeScript 👤 YaoZeyuan User 🕐 Обновлено 2026-10-24 📅 Создано 2019-02-04
238
nicoxiang/geektime-downloader

Загрузчик курсов Geektime, поддерживает загрузку колонок Geektime/видеокурсов/ежедневных уроков/практических занятий крупных компаний/видео с буткемпов

nicoxiang
⭐ 982 Go 👤 nicoxiang User 🕐 Обновлено 2026-11-19 📅 Создано 2022-03-12
239
romansky/dom-to-semantic-markdown

DOM в Semantic-Markdown для использования с LLM

romansky
⭐ 976 TypeScript 👤 romansky User 🕐 Обновлено 2025-05-21 📅 Создано 2024-07-22
241
cutetailbud/ff-ruyijs

Это лёгкий браузер без графического интерфейса, специально созданный для выполнения задач автоматизации браузера ИИ-агентами (например, Codex или Claude Code). Он предназначен для работы с различными системами веб-защиты, процессами входа в систему и сценариями обратной разработки.

cutetailbud
⭐ 968 C++ 👤 cutetailbud User 🕐 Обновлено 2026-11-19 📅 Создано 2026-10-28
242
treetrum/amazon-kindle-bulk-downloader

Позволяет массово загружать все ваши электронные книги Kindle в более автоматизированном режиме. Этот инструмент позволяет создавать резервные копии книг, которые вы уже приобрели.

treetrum
⭐ 968 TypeScript 👤 treetrum User 🕐 Обновлено 2025-02-27 📅 Создано 2023-04-07
244
HtmlUnit/htmlunit

HtmlUnit — это «браузер без GUI для программ на Java».

HtmlUnit
⭐ 951 JavaScript 👤 HtmlUnit Organization 🕐 Обновлено 2026-11-21 📅 Создано 2018-09-02
245
JUk1-GH/gpt-promo-scanner

Инструмент автоматического сканирования промокодов ChatGPT Team (Business) — пакетное обнаружение/проверка/сбор цен, поддержка 34 кодов в 17 странах, скидка до 71% | ChatGPT Business promo code scanner — batch discovery, validation, price collection, 34 codes across 17 countries, up to 71% off

JUk1-GH
⭐ 948 Python 👤 JUk1-GH User 🕐 Обновлено 2026-05-15 📅 Создано 2026-05-11
246
SickleSec/SnowEyes

Расширение Chrome для обнаружения конфиденциальной веб-информации и фингерпринтинга.

SickleSec
⭐ 946 JavaScript 👤 SickleSec User 🕐 Обновлено 2026-08-10 📅 Создано 2024-12-27
247
BullsEye0/dorks-eye

Dorks Eye Google Hacking Dork Scraping and Searching Script. Dorks Eye — это скрипт, который я написал на Python 3. С помощью этого инструмента вы можете легко находить Google Dorks. Dork Eye собирает потенциально уязвимые веб-страницы и приложения в Интернете или другую полезную информацию, которую улавливают поисковые боты Google. Автор: Jolanda de Koff

BullsEye0
⭐ 940 Python 👤 BullsEye0 User 🕐 Обновлено 2026-10-01 📅 Создано 2020-04-30
248
caseychu/spotify-backup

Python-скрипт, который экспортирует все ваши плейлисты Spotify.

caseychu
⭐ 937 Python 👤 caseychu User 🕐 Обновлено 2024-09-22 📅 Создано 2014-12-24
249
facundoolano/feedi

Персональный RSS-ридер

facundoolano
⭐ 933 Python 👤 facundoolano User 🕐 Обновлено 2026-09-19 📅 Создано 2023-07-15
250
browser-use/awesome-prompts

Таблица отличных подсказок по использованию браузера

browser-use
⭐ 926 👤 browser-use Organization 🕐 Обновлено 2025-03-26 📅 Создано 2025-03-26