Git Stars Git Stars

#web-scraping Репозитории

381
Всего репозиториев
2.1M
Всего звезд
5,636
Среднее количество звезд на репозиторий

Всего репозиториев: 382

151
Nutlope/turboseek

Поисковая система ИИ, вдохновленная Perplexity

Nutlope
⭐ 1,660 TypeScript 👤 Nutlope User 🕐 Обновлено 2026-10-23 📅 Создано 2024-05-26
152
oxylabs/ai-map-py

AI Map — это инструмент для составления карты веб-сайтов на базе искусственного интеллекта от Oxylabs AI Studio, который использует подсказки на естественном языке для интеллектуального обнаружения и извлечения релевантных URL-адресов с любого веб-сайта.

oxylabs
⭐ 1,651 👤 oxylabs Organization 🕐 Обновлено 2026-04-02 📅 Создано 2025-10-29
153
orangecoding/fredy

❤️ Fredy — [F]ind [R]eal [E]state [D]amn Eas[y] (находи настоящую недвижимость без лишних усилий) — Fredy продолжает искать новые квартиры, дома и другие варианты жилья в Европе на таких платформах, как ImmoScout24, Immowelt и eBay Kleinanzeigen, и мгновенно отправляет результаты через Slack, Telegram, электронную почту, Discord или ntfy, чтобы вы могли сосредоточиться на более важных вещах в жизни ;)

orangecoding
⭐ 1,648 JavaScript 👤 orangecoding User 🕐 Обновлено 2026-11-19 📅 Создано 2018-01-15
154
Xetera/ghost-cursor

🖱️ Генерируйте человеческие движения мыши с помощью puppeteer или на любой 2D-плоскости

Xetera
⭐ 1,634 TypeScript 👤 Xetera User 🕐 Обновлено 2026-11-04 📅 Создано 2019-10-15
155
justmarkham/DAT8

Курс по Data Science от General Assembly 2015 года в Вашингтоне, округ Колумбия

justmarkham
⭐ 1,622 Jupyter Notebook 👤 justmarkham User 🕐 Обновлено 2024-06-05 📅 Создано 2015-08-07
156
karust/openserp

Самостоятельно размещаемый веб-поиск для ИИ-агентов и SEO. Google, Bing, Yandex, Baidu, DuckDuckGo и Ecosia — с обработкой в настоящем браузере, ранжированными результатами и аккуратным Markdown страниц. API, CLI, MCP 🎉

karust
⭐ 1,605 Go 👤 karust User 🕐 Обновлено 2026-11-19 📅 Создано 2023-06-23
157
Kaliiiiiiiiii-Vinyzu/patchright-python

Необнаруженная версия Python библиотеки для тестирования и автоматизации Playwright.

Kaliiiiiiiiii-Vinyzu
⭐ 1,603 Python 👤 Kaliiiiiiiiii-Vinyzu Organization 🕐 Обновлено 2026-11-10 📅 Создано 2024-11-02
158
ulixee/hero

Веб-браузер, созданный для скрейпинга

ulixee
⭐ 1,557 TypeScript 👤 ulixee Organization 🕐 Обновлено 2026-05-16 📅 Создано 2021-07-28
159
dteviot/WebToEpub

Простое расширение для Chrome (и Firefox), которое конвертирует веб-романы (и другие веб-страницы) в EPUB.

dteviot
⭐ 1,544 JavaScript 👤 dteviot User 🕐 Обновлено 2026-11-20 📅 Создано 2015-11-23
160
headzoo/surf

Состояние-зависимый программный веб-браузинг на Go.

headzoo
⭐ 1,533 Go 👤 headzoo User 🕐 Обновлено 2024-01-24 📅 Создано 2014-08-25
161
0x676e67/wreq-python

Эргономичный, ориентированный на конфиденциальность HTTP-клиент на Python

0x676e67
⭐ 1,526 Python 👤 0x676e67 User 🕐 Обновлено 2026-11-15 📅 Создано 2025-02-10
162
tidyverse/rvest

Простой веб-скрапинг для R

tidyverse
⭐ 1,524 R 👤 tidyverse Organization 🕐 Обновлено 2026-10-27 📅 Создано 2014-07-23
163
tinyfish-io/agentql

AgentQL — это набор инструментов для подключения вашего ИИ к веб. Благодаря языку запросов и интеграции с Playwright для быстрого, точного и масштабируемого взаимодействия с элементами и извлечения данных. Включает REST API, SDK для Python и JavaScript, отладчик браузера.

tinyfish-io
⭐ 1,510 Python 👤 tinyfish-io Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-02-20
164
liguobao/HouseSearch

Ищите жильё в аренду на карте: устали обходить весь город в поисках квартиры? Попробуйте другой способ — ищите жильё напрямую на карте! [Официальный аккаунт и мини-программа WeChat: 人生删除指南]

liguobao
⭐ 1,495 JavaScript 👤 liguobao User 🕐 Обновлено 2026-11-14 📅 Создано 2016-08-07
165
antonmedv/finder

Генератор селекторов CSS 🗺

antonmedv
⭐ 1,491 HTML 👤 antonmedv User 🕐 Обновлено 2025-11-20 📅 Создано 2018-02-20
166
rebrowser/rebrowser-patches

Коллекция патчей для puppeteer и playwright для предотвращения обнаружения автоматизации и утечек. Помогает обходить CAPTCHA-страницы Cloudflare и DataDome. Легко применять/отменять патчи, можно включать/отключать по требованию.

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 Обновлено 2026-11-02 📅 Создано 2024-08-06
167
ScrapingBee/chatgpt-scraper-api

Собирайте структурированные ответы от скрапера ChatGPT, отправляя подсказку с действительными учетными данными API для скрапинга ChatGPT. Включите живой поиск, внедряйте HTML-контекст и автоматизируйте интеллектуальные рабочие процессы скрапера ChatGPT всего за несколько параметров.

ScrapingBee
⭐ 1,465 👤 ScrapingBee Organization 🕐 Обновлено 2026-07-15 📅 Создано 2026-03-12
168
Surfer-Org/Protocol

Фреймворк с открытым исходным кодом для экспорта ваших личных данных.

Surfer-Org
⭐ 1,462 TypeScript 👤 Surfer-Org Organization 🕐 Обновлено 2024-12-25 📅 Создано 2024-08-09
169
austin-weeks/miasma

Замани AI веб-скрейперов в бесконечную яму с ядом.

austin-weeks
⭐ 1,459 Rust 👤 austin-weeks User 🕐 Обновлено 2026-11-05 📅 Создано 2026-03-18
170
roach-php/core

Полный набор инструментов для веб-скрапинга на PHP.

roach-php
⭐ 1,456 PHP 👤 roach-php Organization 🕐 Обновлено 2025-10-27 📅 Создано 2021-08-17
171
wordware-ai/twitter

ИИ-агент для анализа личности в Твиттере

wordware-ai
⭐ 1,446 TypeScript 👤 wordware-ai Organization 🕐 Обновлено 2026-08-02 📅 Создано 2024-06-03
172
mattsse/chromiumoxide

Rust API для Chrome Devtools Protocol

mattsse
⭐ 1,437 Rust 👤 mattsse User 🕐 Обновлено 2026-04-03 📅 Создано 2020-11-28
173
Miserlou/SoundScrape

Загрузчик SoundCloud (а также Bandcamp и Mixcloud) на Python.

Miserlou
⭐ 1,436 Python 👤 Miserlou User 🕐 Обновлено 2024-06-23 📅 Создано 2013-12-29
174
foxhui/WebAI2API

WebAI2API: Инструмент преобразования веб-АИ в API на основе Camoufox, поддерживает LMArena/Gemini и другие, многопоточная работа с окнами и изоляция аккаунтов. | Web AI в OpenAI API через Camoufox. Поддерживает LMArena/Gemini и многое другое, многопоточная работа & изоляция аккаунтов.

foxhui
⭐ 1,429 JavaScript 👤 foxhui User 🕐 Обновлено 2026-07-10 📅 Создано 2025-11-23
175
oxylabs/how-to-scrape-google-finance

Используйте API Web Scraper для извлечения данных из Google Финансы, включая названия акций, цены и изменения цен в процентах.

oxylabs
⭐ 1,403 Python 👤 oxylabs Organization 🕐 Обновлено 2025-09-23 📅 Создано 2024-09-25
176
feder-cr/invisible_puppeteer

Puppeteer для Python, который не обнаруживают антибот-системы, поэтому капчи не появляются: тот же API, скрытый headless Firefox с защитой от обнаружения, необнаруживаемый цифровой отпечаток, обход обнаружения ботов, веб-скрейпинг и автоматизация браузера.

feder-cr
⭐ 1,403 Python 👤 feder-cr User 🕐 Обновлено 2026-10-19 📅 Создано 2024-09-01
177
mckaywrigley/clarity-ai

Клон Perplexity.

mckaywrigley
⭐ 1,401 TypeScript 👤 mckaywrigley User 🕐 Обновлено 2024-03-28 📅 Создано 2023-02-19
178
facundoolano/app-store-scraper

Собрать данные из iTunes App Store

facundoolano
⭐ 1,396 JavaScript 👤 facundoolano User 🕐 Обновлено 2025-07-27 📅 Создано 2016-05-31
179
regenrek/deepwiki-mcp

📖 Сервер MCP для получения deepwiki.com и последних знаний в Cursor и других редакторах кода

regenrek
⭐ 1,393 TypeScript 👤 regenrek User 🕐 Обновлено 2026-03-20 📅 Создано 2025-04-28
180
sardanioss/httpcloak

Go HTTP клиент с фингерпринтингом TLS/HTTP2, идентичным браузеру. Обходит обнаружение ботов, точно имитируя Chrome, Firefox и Safari на криптографическом уровне (JA3/JA4, фингерпринт Akamai, порядок заголовков). Поддерживает HTTP/1.1, HTTP/2, HTTP/3, сессии, куки и прокси.

sardanioss
⭐ 1,387 Go 👤 sardanioss User 🕐 Обновлено 2026-11-14 📅 Создано 2025-12-28
181
MiniGlome/Archive.org-Downloader

Скрипт Python3 для загрузки книг с archive.org в формате PDF

MiniGlome
⭐ 1,385 Python 👤 MiniGlome User 🕐 Обновлено 2026-09-27 📅 Создано 2021-02-17
182
fugary/calibre-douban

Новый плагин источника метаданных Douban для Calibre. Douban больше не предоставляет публичные API для книг, поэтому для получения данных можно использовать только веб-скрапинг. Это плагин Douban для Calibre, основанный на веб-скрапинге.

fugary
⭐ 1,382 Python 👤 fugary User 🕐 Обновлено 2025-11-08 📅 Создано 2021-12-12
183
firecrawl/open-scouts

🔥 Платформа веб‑мониторинга на базе ИИ. Создайте автоматических разведчиков, которые ищут в сети и отправляют оповещения по электронной почте, когда находят то, что вы ищете.

firecrawl
⭐ 1,372 TypeScript 👤 firecrawl Organization 🕐 Обновлено 2026-11-13 📅 Создано 2025-11-28
184
sourcegraph/webloop

WebLoop: Скриптовый, безголовый WebKit с API на Go. Похож на PhantomJS, но для Go.

sourcegraph
⭐ 1,366 Go 👤 sourcegraph Organization 🕐 Обновлено 2024-04-01 📅 Создано 2013-10-27
185
philippta/flyscrape

Flyscrape — это инструмент для веб-скрейпинга командной строки, разработанный для тех, кто не обладает продвинутыми навыками программирования.

philippta
⭐ 1,347 Go 👤 philippta User 🕐 Обновлено 2025-11-24 📅 Создано 2023-08-28
186
Sniper970119/dianping_spider

Dianping Crawler (можно сканировать весь сайт, решает проблему шифрования динамических шрифтов, без OCR). Постоянное обновление

Sniper970119
⭐ 1,329 Python 👤 Sniper970119 User 🕐 Обновлено 2026-11-03 📅 Создано 2021-01-22
187
firecrawl/fire-enrich

Инструмент обогащения данных на базе ИИ, который преобразует электронные письма в богатые наборы данных с профилями компаний, данными о финансировании, технологическими стеками и многим другим с помощью Firecrawl и мультиагентного ИИ

firecrawl
⭐ 1,308 TypeScript 👤 firecrawl Organization 🕐 Обновлено 2026-10-26 📅 Создано 2025-06-06
188
AI4Finance-Foundation/FinNLP

Демократизация финансовых данных интернет-масштаба.

AI4Finance-Foundation
⭐ 1,292 Jupyter Notebook 👤 AI4Finance-Foundation Organization 🕐 Обновлено 2024-07-01 📅 Создано 2023-02-07
189
kkangert/kspider

Kspider — это платформа для веб-сканирования, которая позволяет графически определять рабочие процессы сканирования, что позволяет реализовать рабочий процесс сканирования без кода. Kspider не ограничивается только веб-сканированием, но также может использоваться для автоматизированного тестирования веб-приложений. Больше функций ждут вас для изучения.

kkangert
⭐ 1,285 Java 👤 kkangert User 🕐 Обновлено 2024-08-19 📅 Создано 2024-07-07
190
fastcrw/crw

Быстрая и легкая альтернатива Firecrawl/Tavily на Rust. Веб-скрейпер, краулер и API поиска с MCP-сервером для ИИ-агентов. API с поддержкой Firecrawl (/scrape, /crawl, /search). В 2,3 раза быстрее Tavily и в 1,5 раза быстрее Firecrawl в тестах на 1000 URL. 6 МБ ОЗУ, один бинарный файл. Самохостинг или управляемое облако.

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-03-02
191
techwithtim/Price-Tracking-Web-Scraper

Автоматический отслеживатель цен, использующий Bright Data, Playwright, React и Flask.

techwithtim
⭐ 1,284 Python 👤 techwithtim User 🕐 Обновлено 2024-10-17 📅 Создано 2023-06-23
192
ovobrowsersupport/ovobrowser

Механизм снятия отпечатка Chromium на уровне исходного кода, который сайты обнаружения оценивают как обычный Chrome. Механизм снятия отпечатка Chromium на уровне исходного кода, проходящий тесты на обнаружение ботов. Это не инъекция JS, а патчи на C++, скомпилированные в бинарный файл.

ovobrowsersupport
⭐ 1,277 👤 ovobrowsersupport User 🕐 Обновлено 2026-11-16 📅 Создано 2026-08-23
193
raawaa/jav-scrapy

Труженик по пакетному захвату AV-магнитных ссылок или обложек

raawaa
⭐ 1,275 JavaScript 👤 raawaa User 🕐 Обновлено 2026-10-17 📅 Создано 2015-10-31
194
TaxyAI/browser-extension

Автоматизируйте свой браузер с помощью GPT-4

TaxyAI
⭐ 1,269 TypeScript 👤 TaxyAI Organization 🕐 Обновлено 2025-01-15 📅 Создано 2023-03-27
195
chromedp/examples

примеры кода chromedp.

chromedp
⭐ 1,265 Go 👤 chromedp Organization 🕐 Обновлено 2026-11-18 📅 Создано 2017-12-26
196
Decodo/Decodo

HTTP(S)/SOCKS5 вращающиеся жилые прокси - примеры кода и общая информация.

Decodo
⭐ 1,264 Java 👤 Decodo Organization 🕐 Обновлено 2026-11-11 📅 Создано 2019-01-07
197
MarioVilas/googlesearch

Поиск Google из Python (неофициальный).

MarioVilas
⭐ 1,249 Python 👤 MarioVilas User 🕐 Обновлено 2025-11-11 📅 Создано 2012-10-22
198
kairi003/Get-cookies.txt-LOCALLY

Получите cookies.txt, НИКОГДА не отправляйте информацию наружу.

kairi003
⭐ 1,230 JavaScript 👤 kairi003 User 🕐 Обновлено 2025-10-07 📅 Создано 2023-03-01
199
mika-cn/maoxian-web-clipper

Расширение для браузера для вырезания информации с веб-страниц. Сохраните её на свой локальный компьютер, чтобы избежать аннулирования информации. Без скучной регистрации, без платы.

mika-cn
⭐ 1,230 JavaScript 👤 mika-cn User 🕐 Обновлено 2026-08-23 📅 Создано 2018-08-09
200
eooce/Auto-login-netlib

Автоматический вход на сайт netlib.re для поддержания активности домена

eooce
⭐ 1,220 JavaScript 👤 eooce User 🕐 Обновлено 2025-11-08 📅 Создано 2025-11-06