Git Stars Git Stars

#scraper Репозитории

Откройте для себя 128 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #scraper, с общим числом 792,441 звёзд (в среднем 6,190 на проект). Лидером этой темы является firecrawl/firecrawl, набравший 205,758 звёзд.

128
Всего репозиториев
792,441
Всего звезд
6,190
Среднее количество звезд на репозиторий
Языки программирования: Python TypeScript Go JavaScript PHP HTML Ruby C#

Всего репозиториев: 128

1
firecrawl/firecrawl

Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-04-15
2
unclecode/crawl4ai

Официальный Crawl4AI Cloud: размещённый в облаке API для веб-скрейпинга, извлечения данных и поиска для ИИ-агентов. Бесплатный API-ключ, 1 000 кредитов в месяц, банковская карта не нужна. Полностью открытый исходный код: в этом репозитории находится краулер под лицензией Apache-2.0, на котором работает сервис; его можно развернуть самостоятельно.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Обновлено 2026-11-20 📅 Создано 2024-05-09
3
huginn/huginn

Создайте агентов, которые мониторят и действуют от вашего имени. Ваши агенты наготове!

huginn
⭐ 50,601 Ruby 👤 huginn Organization 🕐 Обновлено 2026-11-21 📅 Создано 2013-03-10
4
NaiboWang/EasySpider

Визуальный no-code веб-краулер/паук: программное обеспечение для автоматизации браузера, сбора данных и веб-скрейпинга, позволяющее проектировать и выполнять задачи парсинга без написания кода. Псевдоним: ServiceWrapper, интеллектуальная система инкапсуляции сервисов для веб-приложений.

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 Обновлено 2026-11-16 📅 Создано 2020-07-18
5
iawia002/lux

👾 Быстрая и простая библиотека для загрузки видео и CLI-инструмент, написанный на Go

iawia002
⭐ 31,854 Go 👤 iawia002 User 🕐 Обновлено 2026-03-29 📅 Создано 2018-02-24
6
cheeriojs/cheerio

Быстрая, гибкая и элегантная библиотека для разбора и манипуляции HTML и XML.

cheeriojs
⭐ 30,552 TypeScript 👤 cheeriojs Organization 🕐 Обновлено 2026-11-20 📅 Создано 2011-10-09
7
apify/crawlee

Crawlee—Библиотека для веб-скрейпинга и автоматизации браузера для Node.js для создания надежных краулеров. На JavaScript и TypeScript. Извлечение данных для ИИ, LLM, RAG или GPT. Загрузка HTML, PDF, JPG, PNG и других файлов с сайтов. Работает с Puppeteer, Playwright, Cheerio, JSDOM и чистым HTTP. В режимах с видимой головой и headless. С ротацией прокси.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Обновлено 2026-11-21 📅 Создано 2016-08-26
8
gocolly/colly

Элегантный фреймворк для парсинга и краулинга на Golang

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 Обновлено 2026-10-16 📅 Создано 2017-09-29
9
Evil0ctal/Douyin_TikTok_Download_API

🚀 Самостоятельно размещаемый API для сбора данных с Douyin, TikTok и Bilibili и скачивания видео без водяных знаков. Поддерживает вызовы ИИ-агентов через MCP и офлайн-преобразование речи в текст. Развёртывание Docker в один клик. | Самостоятельно размещаемый парсер TikTok, Douyin и Bilibili и загрузчик видео без водяных знаков: асинхронный REST API, MCP-сервер для ИИ-агентов, CLI и веб-консоль, а также офлайн-преобразование речи в текст для скачанных видео. Самовосстанавливающийся пул идентификаторов, архив PostgreSQL и запуск одной командой `docker compose up`.

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 Обновлено 2026-11-20 📅 Создано 2021-11-07
10
getmaxun/maxun

Превратите любой веб-сайт в структурированный API. Извлекайте данные, автоматизируйте процессы, выполняйте поиск и отслеживайте веб-пространство.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 Обновлено 2026-11-20 📅 Создано 2023-10-23
11
codelucas/newspaper

newspaper3k — это инструмент для извлечения новостей, полного текста и метаданных статей на Python 3. Расширенная документация:

codelucas
⭐ 15,192 Python 👤 codelucas User 🕐 Обновлено 2026-10-26 📅 Создано 2013-11-25
12
NopeCHALLC/nopecha-extension

Автоматический решатель CAPTCHA для вашего браузера. Работает с Selenium, Puppeteer, Playwright и другими.

NopeCHALLC
⭐ 11,140 👤 NopeCHALLC User 🕐 Обновлено 2026-10-02 📅 Создано 2023-03-23
13
guyueyingmu/avbook

Система управления AV-фильмами, avmoo, javbus, javlibrary Crawler, Онлайн-библиотека AV-фильмов, База данных AV-магнитных ссылок, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database

guyueyingmu
⭐ 9,894 PHP 👤 guyueyingmu User 🕐 Обновлено 2024-06-01 📅 Создано 2017-02-19
14
apify/crawlee-python

Crawlee — библиотека для веб-скрейпинга и автоматизации браузера на Python, позволяющая создавать надёжные краулеры. Извлекайте структурированные данные с помощью LLM через Pydantic AI или управляйте браузером на естественном языке с помощью Stagehand. Совместима с BeautifulSoup, Parsel, Playwright и низкоуровневым HTTP. Скачивайте HTML, PDF, изображения и другие файлы. Ротация прокси включена.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Обновлено 2026-11-20 📅 Создано 2024-01-10
15
alirezamika/autoscraper

Умный, автоматический, быстрый и легкий веб-скрейпер для Python

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 Обновлено 2026-07-29 📅 Создано 2020-08-31
16
go-rod/rod

Драйвер протокола Chrome DevTools для автоматизации веб и скрапинга.

go-rod
⭐ 7,160 Go 👤 go-rod Organization 🕐 Обновлено 2026-08-11 📅 Создано 2020-01-21
17
BruceDone/awesome-crawler

Сборник крутых веб-краулеров и спайдеров на разных языках

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 Обновлено 2024-06-16 📅 Создано 2016-10-10
18
mishushakov/llm-scraper

Преобразуйте любую веб-страницу в структурированные данные с помощью LLM

mishushakov
⭐ 6,956 TypeScript 👤 mishushakov User 🕐 Обновлено 2026-10-26 📅 Создано 2024-04-20
19
AhmadIbrahiim/Website-downloader

💡 Скачайте полный исходный код любого веб-сайта (включая все ресурсы). [ Javascripts, Stylesheets, Images ] с помощью Node.js

AhmadIbrahiim
⭐ 6,206 HTML 👤 AhmadIbrahiim User 🕐 Обновлено 2026-08-12 📅 Создано 2019-10-26
20
niespodd/browser-fingerprinting

Анализ систем защиты от ботов с доступными контрмерами 🚿. Как победить систему защиты от ботов 👻 и обойти скрипты сбора отпечатков браузера 🕵️‍♂️ при веб-скрейпинге?

niespodd
⭐ 5,171 JavaScript 👤 niespodd User 🕐 Обновлено 2026-07-27 📅 Создано 2021-01-23
21
d60/twikit

Парсер API Twitter | Без ключа API | Внутренний API Twitter | Бесплатно | Парсер Twitter | Бот Twitter

d60
⭐ 4,785 Python 👤 d60 User 🕐 Обновлено 2026-03-10 📅 Создано 2024-01-20
22
fent/node-ytdl-core

Загрузчик видео YouTube на JavaScript.

fent
⭐ 4,732 JavaScript 👤 fent User 🕐 Обновлено 2026-11-10 📅 Создано 2014-06-29
23
joeyism/linkedin_scraper

Библиотека, которая скрапит LinkedIn для данных пользователей

joeyism
⭐ 4,699 Python 👤 joeyism User 🕐 Обновлено 2026-04-10 📅 Создано 2017-10-27
24
bjesus/pipet

Швейцарский армейский нож для скрапинга и извлечения данных из онлайн-ресурсов, сделанный для хакеров

bjesus
⭐ 4,610 Go 👤 bjesus User 🕐 Обновлено 2024-10-12 📅 Создано 2024-08-31
25
myreader-io/myGPTReader

Управляемый сообществом способ читать и общаться с ИИ-ботами, работающий на chatGPT.

myreader-io
⭐ 4,416 Python 👤 myreader-io Organization 🕐 Обновлено 2026-02-05 📅 Создано 2023-03-08
26
UltimaHoarder/UltimaScraper

Сборщик данных, ориентированный в настоящее время на контент для взрослых (OnlyFans и т. д.) — регулярно обновляется

UltimaHoarder
⭐ 4,302 TypeScript 👤 UltimaHoarder User 🕐 Обновлено 2026-11-21 📅 Создано 2019-06-24
27
IonicaBizau/scrape-it

🔮 Скрапер Node.js для людей.

IonicaBizau
⭐ 4,069 JavaScript 👤 IonicaBizau User 🕐 Обновлено 2026-11-20 📅 Создано 2016-04-28
28
edoardottt/cariddi

Возьмите список доменов, обходите URL и сканируйте на наличие конечных точек, секретов, ключей API, расширений файлов, токенов и многого другого.

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 Обновлено 2026-11-19 📅 Создано 2021-04-27
29
Anakin-Inc/anakin

API для веб-скрейпинга с открытым исходным кодом. Превращайте любой сайт в чистый Markdown или структурированный JSON. Антидетект-браузер, автоматический выбор прокси, возможность самохостинга. Одна команда: make up

Anakin-Inc
⭐ 3,764 Go 👤 Anakin-Inc Organization 🕐 Обновлено 2026-08-18 📅 Создано 2026-03-17
30
sqzw-x/mdcx

Скрейпер метаданных фильмов

sqzw-x
⭐ 3,727 Python 👤 sqzw-x User 🕐 Обновлено 2026-08-23 📅 Создано 2023-11-06
31
JavScraper/Emby.Plugins.JavScraper

Плагин-скраппер для японских фильмов для Emby/Jellyfin, который извлекает информацию о фильмах с определенных сайтов.

JavScraper
⭐ 3,709 C# 👤 JavScraper User 🕐 Обновлено 2024-07-08 📅 Создано 2020-01-20
32
itsOwen/CyberScraper-2077

Мощный веб-скрапер на базе LLM | OpenAI, Gemini и Ollama

itsOwen
⭐ 3,302 Python 👤 itsOwen User 🕐 Обновлено 2026-10-12 📅 Создано 2024-08-17
33
aapatre/Automatic-Udemy-Course-Enroller-GET-PAID-UDEMY-COURSES-for-FREE

Хотите БЕСПЛАТНО ИЗУЧАТЬ НОВОЕ? Не волнуйтесь, с помощью веб-скрейпинга и автоматизации этот скрипт найдет необходимые купоны Udemy и запишет вас на ПЛАТНЫЕ КУРСЫ UDEMY, АБСОЛЮТНО БЕСПЛАТНО!

aapatre
⭐ 3,289 Python 👤 aapatre User 🕐 Обновлено 2026-04-28 📅 Создано 2020-09-12
34
facundoolano/google-play-scraper

Скрапер на Node.js для получения данных из Google Play

facundoolano
⭐ 3,005 JavaScript 👤 facundoolano User 🕐 Обновлено 2026-10-17 📅 Создано 2015-04-07
35
vladkens/twscrape

Библиотека Python и CLI для скрапинга X/Twitter с ротацией нескольких аккаунтов и встроенной обработкой ограничений скорости.

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 Обновлено 2026-11-19 📅 Создано 2023-05-05
36
oxylabs/how-to-scrape-google-trends

Изучите пошаговое руководство по сбору данных Google Trends и сравнению результатов с использованием Python и Oxylabs SERP API. Извлекайте ключевые слова, их популярность, разбивку по регионам, связанные запросы и многое другое.

oxylabs
⭐ 2,907 Python 👤 oxylabs Organization 🕐 Обновлено 2026-11-18 📅 Создано 2024-08-06
37
geziyor/geziyor

Geziyor, сверхбыстрый фреймворк для веб-краулинга и скрапинга для Go. Поддерживает рендеринг JS.

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 Обновлено 2026-07-02 📅 Создано 2019-06-06
38
microlinkhq/metascraper

Извлекайте метаданные из любого URL-адреса с помощью Open Graph, JSON-LD, HTML-метатегов и интеллектуальных механизмов резервного копирования.

microlinkhq
⭐ 2,754 HTML 👤 microlinkhq Organization 🕐 Обновлено 2026-11-19 📅 Создано 2016-05-25
39
jae-jae/QueryList

:spider: Прогрессивный фреймворк для краулера PHP! Элегантный прогрессивный фреймворк для сбора PHP.

jae-jae
⭐ 2,689 PHP 👤 jae-jae User 🕐 Обновлено 2026-10-20 📅 Создано 2015-12-20
40
Serene-Arc/bulk-downloader-for-reddit

Загружает и архивирует контент из reddit

Serene-Arc
⭐ 2,631 Python 👤 Serene-Arc User 🕐 Обновлено 2026-04-12 📅 Создано 2018-06-14
41
zerodytrash/TikTok-Live-Connector

API TikTok LIVE для Node.js: неофициальная библиотека для получения событий прямых трансляций (комментариев, подарков и т. д.) из TikTok LIVE в реальном времени.

zerodytrash
⭐ 2,332 TypeScript 👤 zerodytrash User 🕐 Обновлено 2026-11-11 📅 Создано 2022-02-04
42
watercrawl/WaterCrawl

Преобразование веб-контента в данные, готовые для LLM

watercrawl
⭐ 2,244 TypeScript 👤 watercrawl Organization 🕐 Обновлено 2026-08-17 📅 Создано 2024-12-15
43
cyberagiinc/DevDocs

Полностью бесплатный, частный, UI-ориентированный сервер MCP технической документации. Разработан с учетом потребностей кодеров и разработчиков программного обеспечения. Легкая интеграция в Cursor, Windsurf, Cline, Roo Code, Claude Desktop App

cyberagiinc
⭐ 2,106 TypeScript 👤 cyberagiinc Organization 🕐 Обновлено 2026-02-04 📅 Создано 2025-01-15
44
PaulMcInnis/JobFunnel

Собирайте данные с сайтов вакансий в одну электронную таблицу без дубликатов.

PaulMcInnis
⭐ 2,103 Python 👤 PaulMcInnis User 🕐 Обновлено 2025-12-04 📅 Создано 2017-08-25
45
TeamNewPipe/NewPipeExtractor

Основная библиотека NewPipe для извлечения данных из сайтов потокового вещания

TeamNewPipe
⭐ 2,070 Java 👤 TeamNewPipe Organization 🕐 Обновлено 2026-11-19 📅 Создано 2017-03-01
46
KatrielMoses/MailAccess

Бесплатный OSINT-инструмент для электронной почты: более 5 000 платформ, кластеризация идентичностей и обнаружение утечек данных. API-ключи не требуются. pip install mailaccess

KatrielMoses
⭐ 1,824 Python 👤 KatrielMoses User 🕐 Обновлено 2026-11-17 📅 Создано 2026-05-18
47
eatmoreduck/boss-zhipin-scraper

Скрапер BOSS Zhipin / Инструмент для сбора данных о вакансиях BOSS Zhipin, основанный на протоколе Chrome CDP для повторного использования реальных сессий входа, обхода защиты от парсинга шрифтов и вывода данных о зарплате в формате JSON/CSV + анализ навыков и зарплат.

eatmoreduck
⭐ 1,781 Python 👤 eatmoreduck User 🕐 Обновлено 2026-11-03 📅 Создано 2026-06-11
48
website-scraper/node-website-scraper

Скачать веб-сайт в локальный каталог (включая все css, изображения, js и т. д.)

website-scraper
⭐ 1,773 JavaScript 👤 website-scraper Organization 🕐 Обновлено 2026-11-11 📅 Создано 2014-09-04
49
oxylabs/how-to-scrape-google-jobs

Узнайте, как создать собственный скрапер Google Jobs, который одновременно извлекает данные о вакансиях Google для нескольких поисковых запросов и географических местоположений с помощью Python и API Google Jobs Scraper от Oxylabs. https://oxylabs.io/blog/how-to-scrape-google-jobs

oxylabs
⭐ 1,761 Python 👤 oxylabs Organization 🕐 Обновлено 2026-11-18 📅 Создано 2024-02-08
50
oxylabs/google-play-scraper

Scraper Google Play для сбора общедоступных сведений о приложениях, играх, фильмах и телешоу, книгах и многом другом.

oxylabs
⭐ 1,746 Python 👤 oxylabs Organization 🕐 Обновлено 2026-11-18 📅 Создано 2023-09-01

Часто задаваемые вопросы

1

Какой репозиторий по теме #scraper наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #scraper на GitHub — firecrawl/firecrawl, набравший 205,758 звёзд. Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.

2

Какие языки программирования чаще всего используются в репозиториях по теме #scraper?

Среди наиболее высоко оценённых проектов по теме #scraper на GitHub чаще всего используются языки программирования Python, TypeScript, Go, JavaScript.

3

Как рассчитывается рейтинг репозиториев по теме #scraper?

Мы отслеживаем 128 активных репозиториев с открытым исходным кодом, отмеченных тегом #scraper (500 и более звёзд), с общим числом 792,441 звёзд и в среднем 6,190 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.