Git Stars Git Stars

#data-deduplication 仓库

探索 10 个标记为 #data-deduplication 的活跃开源 GitHub 仓库,它们累计获得 20,707 个 Star(平均每个项目 2,070 个)。该主题的领先项目是 bup/bup,拥有 7,369 个 Star。

10
仓库总数
20,707
总星标数
2,070
平均每个仓库星标数
1
bup/bup

基于 git packfile 格式的非常高效的备份系统,提供快速增量保存和全局去重(文件之间和文件内部,包括虚拟机镜像)。请将问题或补丁发布到邮件列表进行讨论(请参阅下面的 README 结尾)。

bup
⭐ 7,369 Python 👤 bup Organization 🕐 已更新 2026-11-19 📅 创建时间 2012-09-03
2
huggingface/datatrove

通过提供一组平台无关的可定制管道处理块,将数据处理从脚本混乱中解放出来。

huggingface
⭐ 3,428 Python 👤 huggingface Organization 🕐 已更新 2026-11-18 📅 创建时间 2023-06-14
3
adrianlopezroche/fdupes

FDUPES 是一个用于识别或删除指定目录中存在的重复文件的程序。

adrianlopezroche
⭐ 3,039 C 👤 adrianlopezroche User 🕐 已更新 2026-04-14 📅 创建时间 2014-05-15
4
tomnomnom/anew

一个用于向文件添加新行并跳过重复项的工具

tomnomnom
⭐ 1,599 Go 👤 tomnomnom User 🕐 已更新 2024-01-12 📅 创建时间 2019-04-02
5
s3ql/s3ql

用于在线数据存储的完整功能文件系统

s3ql
⭐ 1,282 Python 👤 s3ql Organization 🕐 已更新 2026-11-20 📅 创建时间 2015-07-12
6
Tarsnap/tarsnap

Tarsnap 的命令行客户端代码。

Tarsnap
⭐ 961 C 👤 Tarsnap Organization 🕐 已更新 2026-11-12 📅 创建时间 2015-05-18
7
OpenDataBox/awesome-data-llm

官方“LLM × DATA”调查论文存储库

OpenDataBox
⭐ 836 👤 OpenDataBox Organization 🕐 已更新 2026-10-25 📅 创建时间 2024-08-04
8
ssdeep-project/ssdeep

模糊哈希 API 和模糊哈希工具

ssdeep-project
⭐ 804 C 👤 ssdeep-project Organization 🕐 已更新 2026-08-13 📅 创建时间 2017-06-05
9
JakeBayer/FuzzySharp

C# .NET 实现 Seat Geek 著名的 Python FuzzyWuzzy 算法的模糊字符串匹配。

JakeBayer
⭐ 776 C# 👤 JakeBayer User 🕐 已更新 2024-08-20 📅 创建时间 2018-04-10
10
anhaidgroup/deepmatcher

使用深度学习进行实体和文本匹配的 Python 包。

anhaidgroup
⭐ 613 Python 👤 anhaidgroup User 🕐 已更新 2024-06-18 📅 创建时间 2017-12-01

常见问题解答

1

GitHub 上最受欢迎的 #data-deduplication 仓库是什么?

GitHub 上排名第一的开源 #data-deduplication 项目是 bup/bup,拥有 7,369 个 Star。基于 git packfile 格式的非常高效的备份系统,提供快速增量保存和全局去重(文件之间和文件内部,包括虚拟机镜像)。请将问题或补丁发布到邮件列表进行讨论(请参阅下面的 README 结尾)。

2

#data-deduplication 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #data-deduplication 项目中,最常见的编程语言是 Python, C, Go, C#。

3

#data-deduplication 仓库的排名是如何计算的?

我们跟踪了 10 个标记为 #data-deduplication 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 20,707 个 Star,平均每个仓库拥有 2,070 个 Star。排名每日根据 GitHub API 更新。