挂载法
把磁盘挂载到 Windows 下面,然后随便找个去重软件跑一下,Duplicate File Finder ,Duplicate Cleaner Pro 5或者这个开源软件
https://github.com/ermig1979/AntiDupl
群晖nas自带工具
群晖 NAS ,自带的存储空间分析器
创建一个报告,潜在的重复文件打勾,指定检索的文件夹,忽略文件名,修改时间,会按照 md5 对比,然后执行报告,就在后台慢慢整理了,整理完就会有一个表格,自己按表格处理吧
威联通工具
威联通用的 Fdupes
https://www.qnapclub.eu/en/qpkg/418
通过Linux脚本
#!/bin/bash
# 指定需要检查的目录路径
dir_path="/path/to/directory"
# 切换到目录
cd $dir_path
# 循环遍历目录下的所有文件
for file1 in *; do
# 如果当前文件不是图片文件,则跳过检查
if ! [[ $(file "$file1") =~ "image" ]]; then
continue
fi
# 计算当前文件的哈希值
hash1=$(md5sum "$file1" | awk '{ print $1 }')
# 遍历当前文件之后的所有文件,寻找是否存在哈希值相同的图片
for file2 in $(ls $file1 ../*); do
# 如果当前文件不是图片文件或与自身重复,则跳过检查
if [ "$file1" = "$file2" ] || ! [[ $(file "$file2") =~ "image" ]]; then
continue
fi
# 计算当前文件的哈希值
hash2=$(md5sum "$file2" | awk '{ print $1 }')
# 如果哈希值相同,则判定为重复图片,删除其中一张图片
if [ "$hash1" = "$hash2" ]; then
echo "Duplicate image found: $file1 and $file2. Deleting $file2"
rm -f "$file2"
fi
done
done
echo "老子处理完了."
转载自: