资源共享,记录个人心得等

NAS照片/文件去重方案

挂载法

把磁盘挂载到 Windows 下面,然后随便找个去重软件跑一下,Duplicate File Finder ,Duplicate Cleaner Pro 5或者这个开源软件

https://github.com/ermig1979/AntiDupl

群晖nas自带工具

群晖 NAS ,自带的存储空间分析器
创建一个报告,潜在的重复文件打勾,指定检索的文件夹,忽略文件名,修改时间,会按照 md5 对比,然后执行报告,就在后台慢慢整理了,整理完就会有一个表格,自己按表格处理吧

威联通工具

威联通用的 Fdupes
https://www.qnapclub.eu/en/qpkg/418

通过Linux脚本

#!/bin/bash

# 指定需要检查的目录路径
dir_path="/path/to/directory"

# 切换到目录
cd $dir_path

# 循环遍历目录下的所有文件
for file1 in *; do

# 如果当前文件不是图片文件,则跳过检查
if ! [[ $(file "$file1") =~ "image" ]]; then
continue
fi

# 计算当前文件的哈希值
hash1=$(md5sum "$file1" | awk '{ print $1 }')

# 遍历当前文件之后的所有文件,寻找是否存在哈希值相同的图片
for file2 in $(ls $file1 ../*); do

# 如果当前文件不是图片文件或与自身重复,则跳过检查
if [ "$file1" = "$file2" ] || ! [[ $(file "$file2") =~ "image" ]]; then
continue
fi

# 计算当前文件的哈希值
hash2=$(md5sum "$file2" | awk '{ print $1 }')

# 如果哈希值相同,则判定为重复图片,删除其中一张图片
if [ "$hash1" = "$hash2" ]; then
echo "Duplicate image found: $file1 and $file2. Deleting $file2"
rm -f "$file2"
fi

done

done

echo "老子处理完了."

转载自:

https://www.v2ex.com/t/924193

赞(0)
转载需标明出处Lee's Blog » NAS照片/文件去重方案

评论 抢沙发

登录

找回密码

注册