自学教程：python实现MD5进行文件去重的示例代码

import osimport shutilimport hashlib# 对文件去重# 计算每个文件的md5值，据此进行去重def only_one(test_path):    md5_list = []    count = 0    for current_folder, list_folders, files in os.walk(test_path):        for file in files:            file_path = current_folder + '//' + file  # 获取每个文件的路径            f = open(file_path, 'rb')  # 开始计算每个文件的md5值            md5obj = hashlib.md5()            md5obj.update(f.read())            get_hash = md5obj.hexdigest()            f.close()            md5_value = str(get_hash).upper()            # 开始去重            if md5_value in md5_list:  # 如果这个文件的md5值曾经出现过，就不对它做任何处理                count += 1                print('/033[31m[-] 发现重复文件：/033[0m' + str(file))            else:                md5_list.append(md5_value)  # 如果这个文件的md5值不存在列表中，就添加进列表中                shutil.copy(file_path, path1)    print('/033[31m[-] 共发现重复文件：{}个/033[0m'.format(count))if __name__ == '__main__':    print('/033[4;33m[+] 此脚本会检查指定路径下的所有文件，通过计算文件的MD5值进行去重/033[0m')    print('/033[4;33m[+] 去重后的文件会复制到桌面新文件夹中，源文件不会丢失/033[0m')    path = input('/033[34m[+] 请输入文件夹地址：/033[0m')    os.chdir(path)    # path1 用来存放所有的去重结果    desktop_path = os.path.join(os.path.expanduser("~"), 'Desktop')  # 获取桌面路径    path1 = os.path.join(desktop_path, '去重结果')    os.makedirs(path1)    only_one(path)    print('/033[32m[-] 现有非重复文件共计：{}个/033[0m'.format(len(os.listdir(path1))))