「MySQL 数据库优化」降低存储与查询成本的最佳实践

网罗开发 （小红书、快手、视频号同名）

  大家好，我是 展菲，目前在上市企业从事人工智能项目研发管理工作，平时热衷于分享各种编程领域的软硬技能知识以及前沿技术，包括iOS、前端、Harmony OS、Java、Python等方向。在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。

图书作者：《ESP32-C3 物联网工程开发实战》
图书作者：《SwiftUI 入门，进阶与实战》
超级个体：COC上海社区主理人
特约讲师：大学讲师，谷歌亚马逊分享嘉宾
科技博主：极星会首批签约作者

摘要

数据库存储和查询成本高，特别是数据量大的企业面临巨大的挑战。本篇文章将探讨 索引优化、减少冗余数据、冷热存储管理 以及 缓存（Redis、CDN） 在优化数据库访问中的作用。通过实际示例，帮助企业优化数据库性能，降低成本。

引言

现代应用程序依赖数据库来存储和查询海量数据。然而，数据库成本包括 存储成本、查询成本、索引维护成本等，随着数据增长，成本不断攀升。因此，优化数据库至关重要。

本文将介绍 MySQL、PostgreSQL、MongoDB、DynamoDB 的 索引优化策略，如何 减少冗余数据，如何 分层存储冷热数据 以及 利用 Redis 和 CDN 进行缓存优化。

索引优化

选择合适的索引

索引能大幅提高查询性能，但过多索引会影响写入性能。因此，需要合理选择索引类型。

MySQL 索引

CREATE INDEX idx_user_email ON users(email);

MongoDB 索引

db.users.createIndex({ email: 1 });

避免冗余索引

冗余索引会占用存储并降低更新速度，可使用 EXPLAIN 或 ANALYZE 进行分析。

EXPLAIN ANALYZE SELECT * FROM users WHERE email = '[email protected]';

数据冗余优化

规范化（Normalization）

数据库表设计应尽量避免冗余存储，提高数据一致性。

示例

CREATE TABLE orders (
    id SERIAL PRIMARY KEY,
    user_id INT REFERENCES users(id),
    product_id INT REFERENCES products(id)
);

去重与压缩

利用 UNIQUE 约束避免重复数据。

ALTER TABLE users ADD CONSTRAINT unique_email UNIQUE (email);

冷热数据管理

冷存储 vs. 热存储

• 热存储（Hot Storage）：适用于高频访问数据（如交易数据）。
• 冷存储（Cold Storage）：适用于历史归档数据（如日志数据）。

自动归档策略

PostgreSQL 归档

CREATE TABLE orders_archive (LIKE orders);

INSERT INTO orders_archive SELECT * FROM orders WHERE created_at < NOW() - INTERVAL '1 year';
DELETE FROM orders WHERE created_at < NOW() - INTERVAL '1 year';

缓存优化：降低数据库查询成本

Redis 缓存查询结果

import redis
import psycopg2

r = redis.Redis(host='localhost', port=6379, db=0)
conn = psycopg2.connect("dbname=test user=postgres")
cursor = conn.cursor()

def get_user(user_id):
    cached_user = r.get(f'user:{user_id}')
    if cached_user:
        return cached_user
    cursor.execute("SELECT * FROM users WHERE id = %s", (user_id,))
    user = cursor.fetchone()
    r.setex(f'user:{user_id}', 3600, str(user))  # 缓存 1 小时
    return user

使用 CDN 缓存静态资源

location /static/ {
    root /var/www/html;
    expires 30d;
    add_header Cache-Control "public, max-age=2592000";
}

QA 环节

Q1: 如何选择适合的索引类型？

• B-Tree 索引：适用于大多数查询。
• Hash 索引：适用于等值查询。
• 全文索引：适用于文本搜索。

Q2: 数据存储如何划分冷热数据？

• 访问频繁的数据保留在主数据库
• 历史数据迁移至冷存储（如 AWS S3、HDFS）

总结

• 索引优化 可提高查询速度，避免冗余索引。
• 减少冗余数据，采用数据规范化和去重策略。
• 冷热数据管理，优化存储成本。
• 缓存（Redis、CDN） 降低数据库查询压力。

✅ 自动化数据库优化策略（AI 驱动索引优化） ✅ 结合大数据技术（如 Apache Spark）进行冷热数据管理 ✅ 更多数据库引擎优化探索（如 NewSQL 方案）

参考资料

• MySQL 官方文档
• PostgreSQL 官方文档
• MongoDB 官方文档
• Redis 官方文档