Python hashlib 模块详细教程：安全哈希与数据完整性保护

更多Python学习内容：ipengtao.com

大家好，我是涛哥，今天为大家分享 Python hashlib 模块详细教程，文章6500字，阅读大约17分钟，大家enjoy~~

hashlib模块为Python提供了一种简便的方式来使用各种哈希算法，如MD5、SHA-1、SHA-256等。哈希函数广泛用于密码学、数据完整性验证和安全存储等领域。

哈希算法的基础

哈希算法，又称散列函数，是一种将任意大小的数据映射为固定大小散列值的函数。其核心特性是：

• 不可逆性（单向性）： 无法通过散列值反推出原始数据。

• 固定输出长度： 无论输入数据大小，哈希算法生成的散列值长度是固定的。

• 碰撞概率低： 不同的输入数据生成相同散列值的概率很小。

hashlib模块的基本用法

首先，使用hashlib模块计算字符串的MD5散列值：

import hashlib

data = "Hello, hashlib!"
md5_hash = hashlib.md5(data.encode()).hexdigest()

print(f"MD5 Hash: {md5_hash}")

这段代码将字符串"Hello, hashlib!"转换为MD5散列值并打印出来。可以替换字符串并尝试其他哈希算法，比如SHA-256。

文件哈希

hashlib模块不仅适用于字符串，还可以用于计算文件的哈希值。以下是一个读取文件并计算SHA-256哈希的示例：

import hashlib

def calculate_file_hash(file_path, algorithm='sha256'):
    hasher = hashlib.new(algorithm)
    with open(file_path, 'rb') as file:
        while chunk := file.read(8192):
            hasher.update(chunk)
    return hasher.hexdigest()

file_path = 'example.txt'
file_hash = calculate_file_hash(file_path)

print(f"{file_path} SHA-256 Hash: {file_hash}")

这个示例演示了如何逐块读取文件以避免一次性加载整个文件到内存中，这对于处理大文件非常有用。

消息摘要和加盐

在真实的应用中，为了增加安全性，通常会将哈希值与“盐”结合使用。盐是一个随机生成的字符串，与原始数据混合在一起进行哈希。这样做可以防止彩虹表攻击。

import hashlib
import secrets

def hash_with_salt(data, salt_length=16, algorithm='sha256'):
    salt = secrets.token_hex(salt_length)
    data_with_salt = f"{data}{salt}".encode()
    
    hasher = hashlib.new(algorithm)
    hasher.update(data_with_salt)
    
    return {
        'hash': hasher.hexdigest(),
        'salt': salt
    }

user_password = 'secure_password'
hashed_data = hash_with_salt(user_password)

print(f"Hashed Password: {hashed_data['hash']}")
print(f"Salt: {hashed_data['salt']}")

在这个例子中，secrets模块用于生成随机的盐，然后将密码和盐组合在一起进行哈希。

安全散列与密码存储

在真实的应用中，为了存储用户密码，通常会使用更安全的散列算法，例如bcrypt。以下是一个使用bcrypt库的示例：

import bcrypt

user_password = 'secure_password'
hashed_password = bcrypt.hashpw(user_password.encode(), bcrypt.gensalt())

# 在验证密码时使用 bcrypt.checkpw()
entered_password = 'secure_password'
if bcrypt.checkpw(entered_password.encode(), hashed_password):
    print("Password is correct!")
else:
    print("Incorrect password.")

bcrypt不仅使用哈希函数，还包括工作因子（work factor）等机制，以增加攻击的难度，提高安全性。

哈希算法的应用场景与示例代码

1. 数据完整性验证

哈希算法常被用于验证数据的完整性。通过对数据进行哈希运算，生成唯一的散列值（哈希值），在数据传输或存储后，可以再次计算哈希值并与原始哈希值比对，从而检测数据是否被篡改。

import hashlib

def generate_hash(data):
    return hashlib.sha256(data.encode()).hexdigest()

# 数据传输前
original_data = "Hello, Hashing!"
original_hash = generate_hash(original_data)

# 数据传输后
received_data = "Hello, Hashing!"
received_hash = generate_hash(received_data)

if original_hash == received_hash:
    print("数据完整性验证通过")
else:
    print("数据可能被篡改")

2. 密码存储

在安全领域中，哈希算法广泛应用于密码存储。而不是直接存储用户的明文密码，系统会将密码经过哈希运算后存储为哈希值。这样即使数据库泄露，攻击者也难以还原出原始密码。

import hashlib

def hash_password(password, salt):
    hashed_password = hashlib.pbkdf2_hmac("sha256", password.encode(), salt.encode(), 100000)
    return hashed_password

# 用户注册
user_password = "my_secure_password"
user_salt = "random_salt"
hashed_password = hash_password(user_password, user_salt)
print("哈希后的密码:", hashed_password)

# 用户登录验证
input_password = "user_input_password"
if hash_password(input_password, user_salt) == hashed_password:
    print("密码验证通过")
else:
    print("密码错误")

3. 防止文件篡改

哈希算法用于生成文件的校验值，确保文件在传输或存储中未被篡改。任何文件的改动都会导致其哈希值的变化，从而提供了一种简单而有效的文件完整性验证机制。

import hashlib

def generate_file_hash(file_path):
    hasher = hashlib.sha256()
    with open(file_path, "rb") as file:
        while chunk := file.read(8192):
            hasher.update(chunk)
    return hasher.hexdigest()

# 文件传输前
original_file_path = "example.txt"
original_file_hash = generate_file_hash(original_file_path)

# 文件传输后
received_file_path = "received_example.txt"
received_file_hash = generate_file_hash(received_file_path)

if original_file_hash == received_file_hash:
    print("文件完整性验证通过")
else:
    print("文件可能被篡改")

4. 数字签名

在数字签名领域，哈希算法被用于生成消息摘要。数字签名中，私钥用于对消息的哈希值进行签名，而公钥用于验证签名的合法性。这确保了消息的完整性和真实性。以下是简化的示例：

from Crypto.PublicKey import RSA
from Crypto.Signature import pkcs1_15
from Crypto.Hash import SHA256

# 生成密钥对
key = RSA.generate(2048)
private_key = key.export_key()
public_key = key.publickey().export_key()

# 签名
message = "Hello, Digital Signature!"
hash_value = SHA256.new(message.encode())
signer = pkcs1_15.new(RSA.import_key(private_key))
signature = signer.sign(hash_value)

# 验证签名
verifier = pkcs1_15.new(RSA.import_key(public_key))
try:
    verifier.verify(hash_value, signature)
    print("数字签名验证通过")
except (ValueError, TypeError):
    print("数字签名验证失败")

5. 数据唯一标识

哈希算法可以用于为数据生成唯一的标识符。在分布式系统中，通过对数据的内容进行哈希运算，可以将数据分散存储在不同节点，实现数据的均衡分布。

import hashlib

def generate_unique_identifier(data):
    return hashlib.sha256(data.encode()).hexdigest()

# 数据标识生成
data_identifier = generate_unique_identifier("Unique Data Identifier")
print("数据唯一标识:", data_identifier)

6. 散列表（Hash Table）

在计算机科学中，哈希算法被广泛应用于散列表中。通过将关键字映射到表中的位置，哈希表提供了一种高效的数据检索结构，使得在平均情况下能够以常数时间进行查找、插入和删除操作。以下是一个简单的示例：

# 创建一个散列表
hash_table = {}

# 添加元素
hash_table["key1"] = "value1"
hash_table["key2"] = "value2"
hash_table["key3"] = "value3"

# 查找元素
search_key = "key2"
if search_key in hash_table:
    print(f"{search_key} 对应的值是 {hash_table[search_key]}")
else:
    print(f"{search_key} 未找到")

# 删除元素
delete_key = "key1"
if delete_key in hash_table:
    del hash_table[delete_key]
    print(f"{delete_key} 已删除")
else:
    print(f"{delete_key} 未找到")

7. 哈希链表

在编程中，哈希算法经常与链表结合，用于处理哈希冲突。通过在哈希表的每个槽中使用链表存储多个元素，解决了不同关键字映射到相同位置的问题。

class HashLinkedListNode:
    def __init__(self, key, value):
        self.key = key
        self.value = value
        self.next = None

class HashMap:
    def __init__(self, size):
        self.size = size
        self.table = [None] * size

    def _hash_function(self, key):
        return hash(key) % self.size

    def add_element(self, key, value):
        index = self._hash_function(key)
        if not self.table[index]:
            self.table[index] = HashLinkedListNode(key, value)
        else:
            current_node = self.table[index]
            while current_node.next:
                current_node = current_node.next
            current_node.next = HashLinkedListNode(key, value)

    def find_element(self, key):
        index = self._hash_function(key)
        current_node = self.table[index]
        while current_node:
            if current_node.key == key:
                return current_node.value
            current_node = current_node.next
        return None

# 使用哈希链表
hash_map = HashMap(size=10)
hash_map.add_element("key1", "value1")
hash_map.add_element("key2", "value2")
hash_map.add_element("key3", "value3")

search_key = "key2"
result = hash_map.find_element(search_key)
if result:
    print(f"{search_key} 对应的值是 {result}")
else:
    print(f"{search_key} 未找到")

8.数据分片与分区

哈希算法也用于数据分片和分区。通过对数据进行哈希运算，可以将数据均匀分布到不同的分片或分区中，实现数据的分布式存储和处理。

def hash_based_sharding(data, num_shards):
    hash_value = hash(data)
    shard_index = hash_value % num_shards
    return shard_index

# 数据分片
data = "Shard me!"
num_shards = 5
shard_index = hash_based_sharding(data, num_shards)
print(f"数据 {data} 被分配到分片 {shard_index}")

总结

在本文中，深入探讨了哈希算法的基础概念、原理以及常见应用场景。哈希算法作为一种广泛应用的计算机科学技术，具有不可逆性、固定输出长度和碰撞概率低等特性，使其在数据完整性验证、密码存储和防止文件篡改等方面发挥着关键作用。介绍了常见的哈希算法，包括MD5和SHA-256，并提及了安全性考量，如对抗彩虹表攻击和哈希长度扩展攻击。

最后，强调了哈希算法的应用场景，包括数据完整性验证、密码存储和防止文件篡改等，以及在这些场景中的最佳实践。通过本文的学习，大家将更全面地了解哈希算法，为保障数据安全性提供更可靠的基础。

如果你觉得文章还不错，请大家 点赞、分享、留言 下，因为这将是我持续输出更多优质文章的最强动力！

更多Python学习内容：ipengtao.com

干货笔记整理

  100个爬虫常见问题.pdf ，太全了！

Python 自动化运维 100个常见问题.pdf

Python Web 开发常见的100个问题.pdf

124个Python案例，完整源代码！

PYTHON 3.10中文版官方文档

耗时三个月整理的《Python之路2.0.pdf》开放下载

最经典的编程教材《Think Python》开源中文版.PDF下载

点击“阅读原文”，获取更多学习内容