Git Stars Git Stars

#web-scraping Репозитории

381
Всего репозиториев
2.1M
Всего звезд
5,636
Среднее количество звезд на репозиторий
Языки программирования: Python JavaScript TypeScript Go HTML Ruby Java C

Всего репозиториев: 382

301
z0m31en7/Uscrapper

Uscrapper Vanta: Погрузитесь глубже в интернет с помощью этого мощного инструмента с открытым исходным кодом. Легко и эффективно извлекайте ценные сведения как из источников поверхностного, так и из источников глубокого веба. Расширьте возможности своего майнинга данных и анализа с помощью передовых возможностей Vanta. Быстрый, надежный и удобный в использовании Uscrapper Vanta — лучший выбор для исследователей и аналитиков.

z0m31en7
⭐ 740 Python 👤 z0m31en7 User 🕐 Обновлено 2024-11-24 📅 Создано 2023-05-31
302
djadmin/medium-cli

Medium для хакеров - :computer: CLI для историй Medium.

djadmin
⭐ 735 JavaScript 👤 djadmin User 🕐 Обновлено 2026-02-13 📅 Создано 2016-01-21
303
drawrowfly/amazon-product-api

Amazon Scraper. Сбор продуктов из результатов поиска Amazon или отзывов из конкретного продукта

drawrowfly
⭐ 734 JavaScript 👤 drawrowfly User 🕐 Обновлено 2024-07-05 📅 Создано 2019-10-06
304
ScrapeGraphAI/scrapecraft

Редактор веб-скрейпинга на базе ИИ с визуальным конструктором рабочих процессов. Создавайте, тестируйте и развертывайте веб-скрейперы с использованием естественного языка. На базе ScrapeGraphAI и LangGraph.

ScrapeGraphAI
⭐ 731 Python 👤 ScrapeGraphAI Organization 🕐 Обновлено 2025-12-26 📅 Создано 2025-07-01
305
rubycdp/vessel

Быстрый высокоуровневый фреймворк Ruby для веб-краулинга

rubycdp
⭐ 725 Ruby 👤 rubycdp Organization 🕐 Обновлено 2026-11-03 📅 Создано 2019-09-17
306
MorganZhang100/zhihu-spider

Веб-скрейпер для zhihu.com

MorganZhang100
⭐ 725 Python 👤 MorganZhang100 User 🕐 Обновлено 2024-01-17 📅 Создано 2015-02-22
307
lzjun567/python_scripts

Некоторый демонстрационный код, связанный с Python

lzjun567
⭐ 715 HTML 👤 lzjun567 User 🕐 Обновлено 2024-07-21 📅 Создано 2017-02-07
308
lhccong/fish-island-backend

Moyu Island 🎣 Backend на основе веб-скрапинга ➕ Netty ➕ SpringBoot ➕Redis➕ MySQL Open Source 🌟 Универсальный веб-сайт Moyu

lhccong
⭐ 710 Java 👤 lhccong User 🕐 Обновлено 2026-11-18 📅 Создано 2025-02-20
309
kovidgoyal/html5-parser

Быстрый парсинг HTML 5 на основе C для Python

kovidgoyal
⭐ 710 C 👤 kovidgoyal User 🕐 Обновлено 2026-09-20 📅 Создано 2017-06-03
310
lumpinif/deepcrawl

100% бесплатная и полностью открытая альтернатива Firecrawl edge с лучшим извлечением ссылок для агентов - которую вы можете самостоятельно развернуть на Cloudflare или Vercel.

lumpinif
⭐ 704 TypeScript 👤 lumpinif User 🕐 Обновлено 2026-08-24 📅 Создано 2025-05-22
311
maaaaz/webscreenshot

Простой скрипт для создания скриншотов списка веб-сайтов

maaaaz
⭐ 696 Python 👤 maaaaz User 🕐 Обновлено 2025-10-19 📅 Создано 2014-01-12
312
only-cli/oc

Превратите любой веб-сайт в компактный CLI, адаптированный для ИИ-агентов. Исследуйте веб с помощью сотен токенов, а не десятков тысяч.

only-cli
⭐ 694 JavaScript 👤 only-cli User 🕐 Обновлено 2026-11-17 📅 Создано 2026-08-18
313
firecrawl/cli

Firecrawl CLI и возможности для агентов: ищите информацию в вебе, собирайте данные и взаимодействуйте с сайтами из терминала или любого агента для программирования. Также доступны парсинг, обход сайтов, построение карт, Agent и Monitor. Firecrawl — это API контекста для ИИ-агентов.

firecrawl
⭐ 694 TypeScript 👤 firecrawl Organization 🕐 Обновлено 2026-11-19 📅 Создано 2026-01-07
314
karpathy/hn-time-capsule

Ретроспективный анализ обсуждений на Hacker News десятилетней давности с помощью LLM

karpathy
⭐ 693 Python 👤 karpathy User 🕐 Обновлено 2025-12-10 📅 Создано 2025-12-10
315
xiaosimao/IP_POOL

Бесплатный пул IP-прокси

xiaosimao
⭐ 686 Python 👤 xiaosimao User 🕐 Обновлено 2025-09-15 📅 Создано 2017-09-22
316
perkeep/gphotos-cdp

Эта программа использует протокол Chrome DevTools для управления сессией Chrome, которая загружает ваши фото, хранящиеся в Google Photos.

perkeep
⭐ 683 Go 👤 perkeep Organization 🕐 Обновлено 2024-06-30 📅 Создано 2019-08-08
317
yixiu001/Free-SS-NODES

Получить бесплатные SS-узлы

yixiu001
⭐ 681 👤 yixiu001 User 🕐 Обновлено 2024-11-11 📅 Создано 2024-11-11
318
everyinfra/everyinfra-agent-plugins

MCP-сервер и плагин для агентов EveryInfra: API для сбора данных из TikTok, Instagram, Amazon, YouTube, Xiaohongshu и Douyin. 612 API для работы с данными на 106 платформах — от 0,56 $ за 1 000 вызовов. Для Claude Code, Cursor и Codex.

everyinfra
⭐ 672 Python 👤 everyinfra Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-09-01
319
firecrawl/open-researcher

🔥 Визуальный AI-помощник для исследований, который отображает мышление в реальном времени, предоставляет раздельный анализ и автоматически цитирует с использованием Claude и Firecrawl

firecrawl
⭐ 667 TypeScript 👤 firecrawl Organization 🕐 Обновлено 2025-07-02 📅 Создано 2025-06-27
320
wimglenn/advent-of-code-data

Получите свои данные Advent of Code с помощью одной инструкции импорта

wimglenn
⭐ 666 Python 👤 wimglenn User 🕐 Обновлено 2026-08-01 📅 Создано 2016-12-03
321
oxylabs/Agent-browser

Выполняйте сложные сценарии автоматизации через удаленные облачные сессии с использованием встроенных резидентных прокси, автоматического решения CAPTCHA и нативного рендеринга JavaScript для самых сложных динамических веб-сайтов.

oxylabs
⭐ 663 👤 oxylabs Organization 🕐 Обновлено 2026-11-18 📅 Создано 2026-04-17
322
adamschwartz/web.scraper.workers.dev

Скрапинг текста с веб-сайтов с помощью CSS-селектора.

adamschwartz
⭐ 658 JavaScript 👤 adamschwartz User 🕐 Обновлено 2024-02-14 📅 Создано 2019-10-10
323
asmcos/requests

Библиотека HTTP-клиента на Golang. Приветствие python requests.

asmcos
⭐ 656 Go 👤 asmcos User 🕐 Обновлено 2026-10-09 📅 Создано 2018-08-27
324
yanzhou/CnkiSpider

Краулер China National Knowledge Infrastructure

yanzhou
⭐ 653 Python 👤 yanzhou User 🕐 Обновлено 2025-03-08 📅 Создано 2014-11-05
325
11firefly11/fir-proxy

Графическая программа пула прокси с ротируемыми прокси

11firefly11
⭐ 650 Python 👤 11firefly11 User 🕐 Обновлено 2025-12-04 📅 Создано 2025-07-22
326
KNKPA/KNKPAnime

KNKPAnime: Программа для просмотра аниме с поддержкой нескольких источников эпизодов и субтитров.

KNKPA
⭐ 648 Dart 👤 KNKPA Organization 🕐 Обновлено 2025-02-01 📅 Создано 2024-04-20
327
Threezh1/SiteCopy

sitecopy — это инструмент, который облегчает резервное копирование личных веб-сайтов и сбор сетевых данных

Threezh1
⭐ 647 Python 👤 Threezh1 User 🕐 Обновлено 2024-01-21 📅 Создано 2019-12-12
328
ScrapingBee/google-hotels-api

Автоматизируйте сбор данных об отелях, включая цены, наличие номеров, рейтинги и поставщиков бронирования, с помощью интеграции Google Hotels API.

ScrapingBee
⭐ 645 👤 ScrapingBee Organization 🕐 Обновлено 2026-04-08 📅 Создано 2026-04-08
⭐ 640 CSS 👤 dreamsofcode-io Organization 🕐 Обновлено 2024-08-04 📅 Создано 2024-07-26
330
cfinke/EpsteOut

Узнайте, какие из ваших контактов LinkedIn упомянуты в файлах Эпстейна.

cfinke
⭐ 638 Python 👤 cfinke User 🕐 Обновлено 2026-10-17 📅 Создано 2026-02-04
331
lzjqsdd/NewsSpider

Скрапинг новостей с Toutiao, NetEase, Tencent и т.д., и создание простого поискового движка

lzjqsdd
⭐ 638 Python 👤 lzjqsdd User 🕐 Обновлено 2024-05-14 📅 Создано 2016-04-19
332
scrapfly/Antibot-Detector

Обнаружение антибот-систем, капч и методов снятия отпечатков в реальном времени. Идентифицирует Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security и другие системы, предоставляя оценку достоверности и расширенные инструменты захвата.

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 Обновлено 2026-11-17 📅 Создано 2025-09-03
333
ohyicong/Google-Image-Scraper

Библиотека для скрапинга изображений Google

ohyicong
⭐ 636 Python 👤 ohyicong User 🕐 Обновлено 2025-02-16 📅 Создано 2020-07-18
335
deedy5/primp

HTTP-клиент, способный имитировать веб-браузеры

deedy5
⭐ 634 Rust 👤 deedy5 User 🕐 Обновлено 2026-09-13 📅 Создано 2024-04-12
336
achuthasubhash/Complete-Life-Cycle-of-a-Data-Science-Project

Полный жизненный цикл проекта по науке о данных

achuthasubhash
⭐ 631 👤 achuthasubhash User 🕐 Обновлено 2024-06-07 📅 Создано 2020-09-02
337
eliemichel/LilySurfaceScraper

Импорт шейдеров и окружений в Blender из одного URL

eliemichel
⭐ 625 Cython 👤 eliemichel User 🕐 Обновлено 2026-06-19 📅 Создано 2019-04-28
338
super-l/superl-url

Программа для сбора контента с URL из результатов поиска поисковых систем на основе ключевых слов. Может автоматически собирать реальные адреса и заголовки связанных сайтов из нескольких поисковых систем, сохранять их в файлы и автоматически удалять дублирующиеся URL. Также можно настроить игнорирование нескольких доменов.

super-l
⭐ 621 Python 👤 super-l User 🕐 Обновлено 2025-04-12 📅 Создано 2017-08-03
339
Lofter1/anyflip-downloader

Скачайте книги anyflip в формате PDF

Lofter1
⭐ 619 Go 👤 Lofter1 User 🕐 Обновлено 2026-11-16 📅 Создано 2023-02-05
340
chenluda/zhihu-download

Конвертировать статьи колонки Zhihu в файлы Markdown и сохранить их локально

chenluda
⭐ 613 Python 👤 chenluda User 🕐 Обновлено 2025-03-21 📅 Создано 2023-05-12
341
liuda30201/AI-Coding

Справочник по бонусам для программирования с ИИ: каталог прокси-сервисов и общественных площадок для Claude Code, Codex и Cursor. Включает сведения о бесплатных лимитах, бонусах за регистрацию, акциях с отметками о посещении и отзывах, а также визуальную панель и инструменты сбора данных на Python.

liuda30201
⭐ 611 HTML 👤 liuda30201 User 🕐 Обновлено 2026-11-21 📅 Создано 2026-10-15
342
alchaincyf/huashu-chrome

Позвольте любому ИИ-агенту управлять вашим Chrome, сохраняя все активные сеансы. MCP + расширение для Chrome, совместимое с Claude Code / Codex / Cursor / Gemini CLI.

alchaincyf
⭐ 609 JavaScript 👤 alchaincyf User 🕐 Обновлено 2026-11-15 📅 Создано 2026-08-26
343
testusyd/douyin_downloader

Вращающийся автомат с подарками Douyin, инструмент для захвата подарков Douyin, написанный мной на VC++ в свободное от работы время, с некоторыми другими небольшими функциями, загрузчик видео Douyin без водяных знаков, загрузчик записей прямых трансляций Douyin, инструмент для массовой отписки от подписок Douyin

testusyd
⭐ 605 👤 testusyd User 🕐 Обновлено 2026-03-08 📅 Создано 2025-05-22
344
ThinkerWen/TicketMonitoring

Ячмень, Кошачий глаз, Остров Фенван, Ticket Planet, Мониторинг отмененных билетов на концерт

ThinkerWen
⭐ 605 Python 👤 ThinkerWen User 🕐 Обновлено 2025-01-24 📅 Создано 2023-10-22
345
lunnar211/HackFacebokpass

Взлом Facebook через Termux. Этот инструмент закодирован TecnicalDipesh. Вы можете дампить любой ID и пароль Facebook.

lunnar211
⭐ 603 Python 👤 lunnar211 User 🕐 Обновлено 2026-03-26 📅 Создано 2019-11-11
346
web-agent-master/google-search

Инструмент Node.js на базе Playwright, который обходит механизмы поисковых систем против скрапинга для выполнения поисковых запросов Google. Локальная альтернатива SERP API с интеграцией сервера MCP.

web-agent-master
⭐ 598 TypeScript 👤 web-agent-master Organization 🕐 Обновлено 2025-04-06 📅 Создано 2025-03-04
347
jiuzhi-1/meituan-shenquan

Meituan Ежедневные купоны богов Региональная активность Автоматический скрипт

jiuzhi-1
⭐ 595 Python 👤 jiuzhi-1 User 🕐 Обновлено 2024-05-08 📅 Создано 2021-10-15
348
ytdl-org/ytdl-nightly

Ежедневная сборка youtube-dl.

ytdl-org
⭐ 593 Python 👤 ytdl-org Organization 🕐 Обновлено 2026-11-06 📅 Создано 2023-07-02
349
shaikhsajid1111/social-media-profile-scrapers

Получить данные пользователя из социальных сетей

shaikhsajid1111
⭐ 588 Python 👤 shaikhsajid1111 User 🕐 Обновлено 2026-09-15 📅 Создано 2020-04-26
350
spekulatius/PHPScraper

Универсальная веб-утилита для PHP.

spekulatius
⭐ 588 PHP 👤 spekulatius User 🕐 Обновлено 2026-09-08 📅 Создано 2020-04-21