Git Stars Git Stars

#data-deduplication Репозитории

Откройте для себя 10 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #data-deduplication, с общим числом 20,707 звёзд (в среднем 2,070 на проект). Лидером этой темы является bup/bup, набравший 7,369 звёзд.

10
Всего репозиториев
20,707
Всего звезд
2,070
Среднее количество звезд на репозиторий
Языки программирования: Python C Go C#

Всего репозиториев: 10

1
bup/bup

Очень эффективная система резервного копирования на основе формата git packfile, обеспечивающая быстрые инкрементальные сохранения и глобальную дедупликацию (между файлами и внутри них, включая образы виртуальных машин). Пожалуйста, размещайте проблемы или патчи в mailing list для обсуждения (см. конец README ниже).

bup
⭐ 7,369 Python 👤 bup Organization 🕐 Обновлено 2026-11-19 📅 Создано 2012-09-03
2
huggingface/datatrove

Освобождение обработки данных от скриптового безумия путем предоставления набора универсальных настраиваемых блоков обработки конвейеров.

huggingface
⭐ 3,428 Python 👤 huggingface Organization 🕐 Обновлено 2026-11-18 📅 Создано 2023-06-14
3
adrianlopezroche/fdupes

FDUPES - это программа для идентификации или удаления дубликатов файлов, находящихся в указанных каталогах.

adrianlopezroche
⭐ 3,039 C 👤 adrianlopezroche User 🕐 Обновлено 2026-04-14 📅 Создано 2014-05-15
4
tomnomnom/anew

Инструмент для добавления новых строк в файлы, пропуская дубликаты

tomnomnom
⭐ 1,599 Go 👤 tomnomnom User 🕐 Обновлено 2024-01-12 📅 Создано 2019-04-02
5
s3ql/s3ql

Полнофункциональная файловая система для хранения данных в Интернете

s3ql
⭐ 1,282 Python 👤 s3ql Organization 🕐 Обновлено 2026-11-20 📅 Создано 2015-07-12
6
Tarsnap/tarsnap

Код клиента командной строки для Tarsnap.

Tarsnap
⭐ 961 C 👤 Tarsnap Organization 🕐 Обновлено 2026-11-12 📅 Создано 2015-05-18
7
OpenDataBox/awesome-data-llm

Официальный репозиторий обзорной статьи "LLM × DATA"

OpenDataBox
⭐ 836 👤 OpenDataBox Organization 🕐 Обновлено 2026-10-25 📅 Создано 2024-08-04
8
ssdeep-project/ssdeep

API нечеткого хэширования и инструмент нечеткого хэширования

ssdeep-project
⭐ 804 C 👤 ssdeep-project Organization 🕐 Обновлено 2026-08-13 📅 Создано 2017-06-05
9
JakeBayer/FuzzySharp

Реализация fuzzy string matching на C# .NET известного Python-алгоритма FuzzyWuzzy от Seat Geek.

JakeBayer
⭐ 776 C# 👤 JakeBayer User 🕐 Обновлено 2024-08-20 📅 Создано 2018-04-10
10
anhaidgroup/deepmatcher

Пакет Python для выполнения сопоставления сущностей и текста с использованием глубокого обучения.

anhaidgroup
⭐ 613 Python 👤 anhaidgroup User 🕐 Обновлено 2024-06-18 📅 Создано 2017-12-01

Часто задаваемые вопросы

1

Какой репозиторий по теме #data-deduplication наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #data-deduplication на GitHub — bup/bup, набравший 7,369 звёзд. Очень эффективная система резервного копирования на основе формата git packfile, обеспечивающая быстрые инкрементальные сохранения и глобальную дедупликацию (между файлами и внутри них, включая образы виртуальных машин). Пожалуйста, размещайте проблемы или патчи в mailing list для обсуждения (см. конец README ниже).

2

Какие языки программирования чаще всего используются в репозиториях по теме #data-deduplication?

Среди наиболее высоко оценённых проектов по теме #data-deduplication на GitHub чаще всего используются языки программирования Python, C, Go, C#.

3

Как рассчитывается рейтинг репозиториев по теме #data-deduplication?

Мы отслеживаем 10 активных репозиториев с открытым исходным кодом, отмеченных тегом #data-deduplication (500 и более звёзд), с общим числом 20,707 звёзд и в среднем 2,070 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.