如何选择硬件
互联网主流硬件构成:
cpu:32porcessor(8个物理核,每核2个处理器,开启超线程) 2.5GHZ
内存:32G>64G>96G>128G
硬件:SATA机械盘>SAS机械盘>SSD固态硬盘(300M--500M)
价格10倍,IO性能50倍,读写速度越来越快,硬件成本原来越高
网卡:100mbs 1000mbs
linux cat /proc/couinfo 查看cpu情况
free -g 查看内存情况 -g以g为单位
硬件的分类:
机型分类:
内存性(缓存集群)
CPU:8CoreX2 Mem:128G Disk:SAS 600G*6 RAID5
CPU:8CoreX2 Mem:192G Disk:SAS 600G*6 RAID5
I/O型(DB)
CPU:8CoreX2 Mem:128G Disk:SAS 600G*2 RAID1+Intel S3700 800GX6 RAID5
存储型-Sprk
CPU:8CoreX2 Mem:192G Disk:SAS 600G*2 RAID1+SATA 4TBX12 Non-RAID
存储型-Hadoop
CPU:8CoreX2 Mem:128G Disk:SAS 600G*2 RAID1+SATA 4TBX12 Non-RAID
存储型-公共的
CPU:8CoreX2 Mem:192G Disk:SAS 600G*2 RAID1+SAS 1TBX24 Non-RAID/RAID5
计算性(特殊机器)
CPU:10CoreX4 Mem:192G Disk:SAS 600G*6 RAID5
CPU:8CoreX2 Mem:192G Disk:SAS 600G*6 RAID5 GPU卡 图形对比
58服务器型号一览表
R410 主流服务器,目前应用最多
R420 主流服务器,目前应用最多
C6100 2U服务器相当于4台独立主机
R710 主流服务器,DB数据库服务器应用最多
R720 DB数据库服务器应用最多
R515 op的日志存储
R720xd DB数据库hadoop服务器
U的概念:服务器长宽高接口规范,服务器单位。
选择硬件-硬件选择取决于业务应用场景
Web业务场景----内存型/计算型
逻辑业务场景----计算型
Cache应用----内存型
测试应用----虚拟机
数据库场景----DB存储型,尽可能SSD
实时计算场景----存储型-Sparks/Storm
离线计算场景----存储型 Hadoop 磁盘容量要求高
海量数据存储----文件,图片等,存储型如果提供online服务要提供cpu能力。
图像识别计算场景----计算型GPU
线下,边缘业务场景----虚拟机,物理隔离
传统企业配置
IOE的企业软硬件配置--->IBM服务器 ORACLE软件 MEC的存储设备
互联网企业配置
pc级服务器(价格低),设备廉价,低价的pc服务器一年宕机一次是打概率事件。高强度频繁读写普通硬盘,损坏的概率跟高一些。硬件可用性进一步降低。
如果做到硬件层面的高可用?
尽量用高配置的服务器,如果不行,就重点关注磁盘高可用:硬盘规格SATAIII SCSI SAS SSD,按照这个顺序性能越来越好,价格越来越高,可用性越来越高。尽可能选用高可用磁盘,做冗余。RAID磁盘阵列。RAID0 RAID1 RAID5 RAID10。RAID优化:此条元素大小stripeElementSize,DB设置128K 一般应用设置64K。读写策略fore web with no battery 不适用电池强制回写。
多机冗余,模块应用 至少2个节点,需要多少,取决于整体系统吞吐量和单机吞吐量。
存储应用,Mysql通过Master-Salver。Mango Replic-Sets,主节点挂掉后可以自动选择主节点。
思考,假设场景:
1000w条记录,每条记录1K,MySql存储,使用SSD硬盘,读写吞吐量3KQPS/TPS,读写比例10:1。在此场景下数据库能抗住吗,有必要加缓存吗?
SSD的读写数据300M每秒,经过mysql软件可以达到200m每秒,3KQPS,每次请求1条数据的话是3m,每次请求10条数据的话是30m,每次请求100条数据时就是300m。此时系统就不满足要求,需要利用缓存。
淘宝的TPS和PV之间的关系通常为 最高TPS:PV大约为 1 : 11*3600 (相当于按最高TPS访问11个小时,这个是商品详情的场景,不同的应用场景会有一些不同)