Git Stars Git Stars

#scraping Репозитории

109
Всего репозиториев
768,143
Всего звезд
7,047
Среднее количество звезд на репозиторий

Всего репозиториев: 109

51
tinyfish-io/agentql

AgentQL — это набор инструментов для подключения вашего ИИ к веб. Благодаря языку запросов и интеграции с Playwright для быстрого, точного и масштабируемого взаимодействия с элементами и извлечения данных. Включает REST API, SDK для Python и JavaScript, отладчик браузера.

tinyfish-io
⭐ 1,510 Python 👤 tinyfish-io Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-02-20
52
rebrowser/rebrowser-patches

Коллекция патчей для puppeteer и playwright для предотвращения обнаружения автоматизации и утечек. Помогает обходить CAPTCHA-страницы Cloudflare и DataDome. Легко применять/отменять патчи, можно включать/отключать по требованию.

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 Обновлено 2026-11-02 📅 Создано 2024-08-06
53
ScrapingBee/chatgpt-scraper-api

Собирайте структурированные ответы от скрапера ChatGPT, отправляя подсказку с действительными учетными данными API для скрапинга ChatGPT. Включите живой поиск, внедряйте HTML-контекст и автоматизируйте интеллектуальные рабочие процессы скрапера ChatGPT всего за несколько параметров.

ScrapingBee
⭐ 1,465 👤 ScrapingBee Organization 🕐 Обновлено 2026-07-15 📅 Создано 2026-03-12
54
okfn-brasil/querido-diario

📰 Бразильские официальные бюллетени доступны всем | 📰 Бразильские правительственные газеты, доступные всем.

okfn-brasil
⭐ 1,424 Python 👤 okfn-brasil Organization 🕐 Обновлено 2026-10-12 📅 Создано 2018-04-01
55
feder-cr/invisible_puppeteer

Puppeteer для Python, который не обнаруживают антибот-системы, поэтому капчи не появляются: тот же API, скрытый headless Firefox с защитой от обнаружения, необнаруживаемый цифровой отпечаток, обход обнаружения ботов, веб-скрейпинг и автоматизация браузера.

feder-cr
⭐ 1,403 Python 👤 feder-cr User 🕐 Обновлено 2026-10-19 📅 Создано 2024-09-01
56
raznem/parsera

Легкая библиотека для веб-скрапинга с использованием LLM

raznem
⭐ 1,372 Python 👤 raznem User 🕐 Обновлено 2025-12-17 📅 Создано 2024-08-12
57
lorey/mlscraper

🤖 Автоматически собирайте данные с HTML-сайтов, просто предоставляя примеры

lorey
⭐ 1,370 Python 👤 lorey User 🕐 Обновлено 2024-03-17 📅 Создано 2020-07-30
58
scrapy/parsel

Parsel позволяет извлекать данные из документов XML/HTML с помощью XPath или CSS-селекторов

scrapy
⭐ 1,368 Python 👤 scrapy Organization 🕐 Обновлено 2026-11-12 📅 Создано 2015-04-24
59
mov-cli/mov-cli

Смотрите все из вашего терминала.

mov-cli
⭐ 1,313 Python 👤 mov-cli Organization 🕐 Обновлено 2025-10-05 📅 Создано 2022-03-11
60
daijro/browserforge

🎭 Интеллектуальный генератор заголовков и отпечатков браузера

daijro
⭐ 1,298 Python 👤 daijro User 🕐 Обновлено 2026-10-29 📅 Создано 2024-03-13
61
plabayo/rama

модульный сервисный фреймворк для перемещения и преобразования сетевых пакетов

plabayo
⭐ 1,273 Rust 👤 plabayo Organization 🕐 Обновлено 2026-11-21 📅 Создано 2022-08-07
62
Decodo/Decodo

HTTP(S)/SOCKS5 вращающиеся жилые прокси - примеры кода и общая информация.

Decodo
⭐ 1,264 Java 👤 Decodo Organization 🕐 Обновлено 2026-11-11 📅 Создано 2019-01-07
63
neon-mmd/websurfx

:rocket: Альтернатива searx с открытым исходным кодом, предоставляющая метапоисковую систему с современным видом :sparkles:, молниеносной скоростью :zap:, уважением к конфиденциальности :disguised_face: и безопасностью :lock:

neon-mmd
⭐ 1,231 Rust 👤 neon-mmd User 🕐 Обновлено 2026-11-06 📅 Создано 2023-04-28
64
datawhores/OF-Scraper

Полностью обновлённый и переработанный форк с поддержкой OnlyFans и Fansly, заново созданный с нуля на основе оригинального onlyfans-scraper.

datawhores
⭐ 1,219 Python 👤 datawhores User 🕐 Обновлено 2026-11-21 📅 Создано 2023-03-22
65
germondai/trawl

Самостоятельно размещаемый движок для парсинга — обходит любые JS-вызовы и капчи: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Альтернатива FlareSolverr и Byparr, прямая замена для вашего стека *arr.

germondai
⭐ 1,209 TypeScript 👤 germondai User 🕐 Обновлено 2026-11-16 📅 Создано 2026-06-26
66
AndyTheFactory/newspaper4k

📰 Newspaper4k — ответвление популярного Newspaper3k. Извлечение статей, заголовков и метаданных с новостных сайтов.

AndyTheFactory
⭐ 1,170 Python 👤 AndyTheFactory User 🕐 Обновлено 2026-11-01 📅 Создано 2023-10-22
67
bellingcat/auto-archiver

Автоматически архивируйте ссылки на видео, изображения и контент из социальных сетей из Google Таблиц (и не только).

bellingcat
⭐ 1,158 Python 👤 bellingcat Organization 🕐 Обновлено 2026-11-18 📅 Создано 2021-01-15
68
soxoj/socid-extractor

⛏️ Движок извлечения, лежащий в основе Maigret: превратите любой URL-адрес профиля в структурированную запись OSINT на более чем 150 сайтах

soxoj
⭐ 1,143 Python 👤 soxoj User 🕐 Обновлено 2026-11-20 📅 Создано 2019-11-17
69
ai-to-ai/Auto-Gmail-Creator

Бот для массового автоматического создания Gmail с открытым исходным кодом с использованием Selenium и Seleniumwire (Python). Не стесняйтесь обращаться ко мне по вопросам Django/Flask, ML, AI, GPT, автоматизации, скрапинга.

ai-to-ai
⭐ 1,138 Python 👤 ai-to-ai User 🕐 Обновлено 2024-09-26 📅 Создано 2023-02-20
70
scrapfly/scrapfly-scrapers

Масштабируемые Python-скрипты для веб-скрейпинга более чем 80 популярных доменов

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-05-22
71
elixir-crawly/crawly

Crawly, фреймворк высокого уровня для веб-краулинга и скрейпинга для Elixir.

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 Обновлено 2026-11-20 📅 Создано 2019-03-09
72
online-judge-tools/oj

Инструменты для различных онлайн-джаджей. Загрузка примеров случаев, генерация дополнительных тестовых случаев, тестирование вашего кода и отправка.

online-judge-tools
⭐ 1,128 Python 👤 online-judge-tools Organization 🕐 Обновлено 2024-05-03 📅 Создано 2017-01-05
73
viu-media/viu

Ваш аниме-опыт в браузере из терминала

viu-media
⭐ 1,062 Python 👤 viu-media Organization 🕐 Обновлено 2026-05-06 📅 Создано 2024-05-27
74
jfilter/clean-text

🧹 Python пакет для очистки текста

jfilter
⭐ 1,031 Python 👤 jfilter User 🕐 Обновлено 2026-10-26 📅 Создано 2018-12-06
75
daijro/hrequests

Веб-скрейпинг для людей

daijro
⭐ 976 Python 👤 daijro User 🕐 Обновлено 2024-12-01 📅 Создано 2023-07-06
76
Krasjet/pdf.tocgen

Набор инструментов CLI для автоматической генерации оглавлений для PDF-файлов.

Krasjet
⭐ 853 Python 👤 Krasjet User 🕐 Обновлено 2026-05-13 📅 Создано 2020-07-28
77
leoncvlt/loconotion

📄 Инструмент Python для преобразования страниц Notion.so в легкие, настраиваемые статические веб-сайты

leoncvlt
⭐ 853 Python 👤 leoncvlt User 🕐 Обновлено 2024-07-22 📅 Создано 2020-05-16
78
tiliondev/fortress

Скрытый движок Chromium, который предотвращает блокировку скрейперов и браузерных агентов благодаря изменению всего одной строки кода.

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 Обновлено 2026-11-03 📅 Создано 2026-07-02
79
MorvanZhou/easy-scraping-tutorial

Простой, но полезный код урока по веб-скрейпингу на Python.

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 Обновлено 2024-04-07 📅 Создано 2017-12-29
80
Lookyloo/lookyloo

Lookyloo — это веб-интерфейс, который позволяет пользователям захватывать страницу веб-сайта и затем отображать дерево доменов, которые вызывают друг друга.

Lookyloo
⭐ 790 Python 👤 Lookyloo Organization 🕐 Обновлено 2026-11-20 📅 Создано 2017-07-23
81
alpkeskin/rota

Высокопроизводительный механизм ротации прокси с автоматическим управлением IP и мониторингом состояния в реальном времени

alpkeskin
⭐ 775 Go 👤 alpkeskin User 🕐 Обновлено 2026-09-25 📅 Создано 2024-06-02
82
ZacharyHampton/HomeHarvest

Пакет Python для скрейпинга данных о недвижимости

ZacharyHampton
⭐ 764 Python 👤 ZacharyHampton User 🕐 Обновлено 2025-12-26 📅 Создано 2023-09-15
83
serpapi/google-search-results-python

Результаты поиска Google через SERP API pip Python Package

serpapi
⭐ 762 Python 👤 serpapi Organization 🕐 Обновлено 2026-08-18 📅 Создано 2018-01-10
84
1broseidon/ketch

Быстрый CLI без состояния для веб-поиска и скрейпинга. Создан для ИИ-агентов.

1broseidon
⭐ 756 Go 👤 1broseidon User 🕐 Обновлено 2026-11-19 📅 Создано 2026-03-25
85
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ Скрапер профилей LinkedIn, возвращающий структурированные данные профиля в формате JSON.

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 Обновлено 2024-04-05 📅 Создано 2018-12-21
86
prescience-data/dark-knowledge

😈📚 Курируемая библиотека исследовательских работ и презентаций для энтузиастов противодействия обнаружению и веб-конфиденциальности.

prescience-data
⭐ 715 JavaScript 👤 prescience-data User 🕐 Обновлено 2024-02-19 📅 Создано 2021-04-15
87
Yuvi9587/Kemono-Downloader

Kemono pawchive Downloader — это быстрое приложение на PyQt5 для архивации контента с широкого спектра сайтов, включая Kemono, Coomer, Bunkr, Erome, Saint2.su, nhentai и Discord. Оно оснащено браузером авторов, проверкой обновлений и поддерживает многопоточную и многосегментную загрузку. Сессии можно приостанавливать, возобновлять или восстанавливать фильтры.

Yuvi9587
⭐ 675 Python 👤 Yuvi9587 User 🕐 Обновлено 2026-11-12 📅 Создано 2025-05-05
88
ScriptSmith/socialreaper

Библиотека для скрейпинга и сбора данных из социальных сетей через API Facebook, Twitter, Reddit, YouTube, Pinterest и Tumblr

ScriptSmith
⭐ 668 Python 👤 ScriptSmith User 🕐 Обновлено 2026-09-29 📅 Создано 2017-01-31
89
Xonshiz/comic-dl

Comic-dl — это инструмент командной строки для скачивания манги и комиксов с различных сайтов комиксов и манги. Поддерживаемые сайты: readcomiconline.to, mangafox.me, comic naver и многие другие.

Xonshiz
⭐ 667 Python 👤 Xonshiz User 🕐 Обновлено 2025-07-31 📅 Создано 2016-11-13
90
freelawproject/juriscraper

API для сбора метаданных с веб-сайтов американских судов.

freelawproject
⭐ 664 HTML 👤 freelawproject Organization 🕐 Обновлено 2026-11-21 📅 Создано 2014-08-08
91
AnonCatalyst/Ominis-OSINT

Это Python-приложение представляет собой инструмент OSINT (Open Source Intelligence) под названием «Ominis OSINT - Web Hunter». Оно выполняет сбор информации в Интернете, запрашивая у Google результаты поиска, связанные с введенным пользователем запросом. Инструмент извлекает соответствующую информацию, такую как заголовки, URL-адреса и потенциальные упоминания запроса в результатах.

AnonCatalyst
⭐ 655 Python 👤 AnonCatalyst User 🕐 Обновлено 2026-11-17 📅 Создано 2023-10-09
92
gunkonchi/xscrape

Асинхронный клиент на Python для сбора общедоступных данных из X (Twitter): поиск, профили, треды, ответы и медиа. Встроенная ротация аккаунтов, адаптивное ограничение частоты запросов и экспорт в JSON/CSV/SQLite.

gunkonchi
⭐ 647 Python 👤 gunkonchi User 🕐 Обновлено 2026-10-20 📅 Создано 2026-09-26
93
lorey/social-media-profiles-regexs

:card_index: Извлекайте профили социальных сетей и многое другое с помощью регулярных выражений

lorey
⭐ 642 Python 👤 lorey User 🕐 Обновлено 2024-01-11 📅 Создано 2015-06-24
94
scrapfly/Antibot-Detector

Обнаружение антибот-систем, капч и методов снятия отпечатков в реальном времени. Идентифицирует Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security и другие системы, предоставляя оценку достоверности и расширенные инструменты захвата.

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 Обновлено 2026-11-17 📅 Создано 2025-09-03
95
l4rm4nd/LinkedInDumper

Скрипт Python 3 для выгрузки/парсинга/извлечения сотрудников компании из API LinkedIn

l4rm4nd
⭐ 624 Python 👤 l4rm4nd User 🕐 Обновлено 2026-08-21 📅 Создано 2022-10-17
96
ksanjeev284/reddit-universal-scraper

Universal Reddit Scraper — работает с любым сабреддитом или пользователем

ksanjeev284
⭐ 620 Python 👤 ksanjeev284 User 🕐 Обновлено 2026-10-22 📅 Создано 2025-12-13
97
umihico/docker-selenium-lambda

Простейший пример автоматизации Chrome с помощью Python и Selenium в AWS Lambda

umihico
⭐ 614 Dockerfile 👤 umihico User 🕐 Обновлено 2026-11-12 📅 Создано 2021-03-12
98
kr4ude/onlyfans-scraper

Инструмент, позволяющий извлекать медиафайлы из любого аккаунта Onlyfans и не только

kr4ude
⭐ 605 Python 👤 kr4ude User 🕐 Обновлено 2025-11-25 📅 Создано 2025-11-10
99
drudge/n8n-nodes-puppeteer

n8n-узел для автоматизации браузера с использованием Puppeteer

drudge
⭐ 589 TypeScript 👤 drudge User 🕐 Обновлено 2026-05-08 📅 Создано 2022-05-07
100
spekulatius/PHPScraper

Универсальная веб-утилита для PHP.

spekulatius
⭐ 588 PHP 👤 spekulatius User 🕐 Обновлено 2026-09-08 📅 Создано 2020-04-21