浪潮存储:全闪化成为数据中心主流趋势,企业如何预测SSD寿命
2021-11-26 12:07:28爱云资讯阅读量:1,020
为什么关注SSD寿命预测?
企业关注SSD寿命预测技术,一是因为SSD的应用前景非常广阔,市场上使用率将越来越高。二是SSD损坏导致数据丢失带来的损失是巨大的。三是因为闪存具有擦写次数限制的特点。
与传统机械硬盘相比,SSD的优势非常明显,如SSD速度更快,数据访问比机械硬盘快100倍,吞吐量大100倍,单盘IOPS大1000倍以上,并且技术在快速发展,如NVMe、PCIe将进一步释放SSD的性能;在可靠性表现上,SSD因质量轻、体积小、防震抗摔性更好,更加可靠。再如SSD更节能,与机械硬盘相比,能耗降低70%。今年的政府工作报告中提出要在2030年之前实现“碳达峰”,在2060年之前实现“碳中和”,使用SSD能够大幅降低数据中心的能耗。过去SSD使用率不高的原因主要是其价格昂贵,现在据IDC统计:2015年到2020年,SSD平均每年的价格降幅达到25%,未来5年也将保持这一趋势;2020年,全球范围内企业级SSD上的支出已经超过传统硬盘。
全球企业级机械硬盘和SSD盘支出对比(单位:百万美元),2005-2020
正是由于SSD速度快但价格相对较高,SSD通常用来存放元数据或核心数据,这部分数据丢失将会给用户带来的损失更加严重。并且,SSD闪存介质具有擦写次数限制,因此SSD使用寿命更值得被关注和重视。
SSD寿命预测如何实现
SSD,是由控制芯片和存储芯片组成的。控制芯片是SSD的大脑,用于调配数据、数据中转等,存储芯片用于存储数据。当前主流的存储芯片为NAND Flash闪存芯片,NAND采用浮栅晶体管存储数据,写入数据时需要先擦除再写入,写操作本质是向浮栅注入电荷,擦除操作是从浮栅挪走电荷,充放电的过程会损耗二氧化硅绝缘层的绝缘能力,最终无法保证浮栅中存有足够多的电荷。因此NAND的擦写次数是有限的,闪存完全擦写一次叫做1次P/E,闪存的寿命就以P/E作单位,例如常用的MLC-SSD擦写次数为10000次。SSD寿命预测,本质上就是预测NAND芯片P/E次数还可用多长时间。
SSD结构
硬盘厂商一般都遵循S.M.A.R.T. 标准进行数据保护,S.M.A.R.T. 标准是一种自动的硬盘状态检测与预警系统和规范。SSD S.M.A.R.T.中包含了一些与寿命相关的指标,不同接口、不同厂商的指标略有不同。浪潮自研NVMe SSD遵循NVMe 1.3标准,提供标准的S.M.A.R.T.输出。部分厂商SATA接口和PCIe接口寿命相关指标如下表所示:
硬盘接口 |
硬盘厂商 |
指标名称 |
指标含义 |
SATA |
Intel |
Smart_233 Media Wearout Indicator |
介质磨损指示 |
Micron |
Smart_202 Percent lifetime remaining |
剩余寿命百分比 |
|
Samsung |
Smart_177 Wear Leveling Count |
擦写次数计数 |
|
Seagate |
Smart_231 SSD Life Left |
SSD剩余寿命 |
|
PCIe |
Inspur等 |
percentage_used |
已使用百分比 |
各个厂商通用的指标为百分比表示的闪存磨损度,SSD寿命预测基于闪存磨损度,预测SSD未来可使用的天数。同时,该寿命预测模型能友好的支持浪潮自研PCIe接口SSD。
SSD寿命预测使用时间序列预测技术,基于硬盘S.M.A.R.T.标准采集预测所需的历史时间序列数据集,再使用浪潮自研的AI预测算法,预测S.M.A.R.T.指标未来变化,得到SSD剩余寿命天数。
SSD寿命预测流程
SSD寿命预测流程如上图所示。整体的预测流程分为两个阶段,绿色为离线训练阶段,目的是为了确定模型选取规则;蓝色为在线预测阶段,用于在用户环境中预测SSD寿命。
离线训练阶段使用大量的SSD全生命周期的S.M.A.R.T.数据,人工将磨损度变化曲线形态标记为3类:平稳变化、减速变化和加速变化,再对三种类型的SSD数据分别进行测试。测试过程中实验了多种数据预处理方式和预测模型,比如Prophet、 ARIMA、移动平均法(Moving Average, MA)、指数平滑法(Exponential Smoothing,ES)、神经网络等。最终确定模型选取规则,实现全生命周期预测准确率达到75%的国际领先水平。
模型选取规则
在线预测阶段,定时采集硬盘磨损度指标,使用提前定义好的模型选取规则,根据磨损变化数据量的大小和变化趋势,选择最合适的时序预测模型,预测SSD寿命。
六重保护业务永远在线,可靠!
在管理软件层面上,InView平台每天定时采集数据、预测,通过浪潮自研SSD产品S.M.A.R.T.功能,可以客观呈现产品的Percentage used和Available spare信息,并展示所管理的SSD是使用寿命。当预测结果不足2周时,发出告警提示用户,制定备份数据和换盘计划,避免因突发换盘导致业务降级,甚至停机维护。
智能管理软件InView界面中对SSD寿命预测
除了管理软件,浪潮存储还通过核心软件、器件、部件、系统、解决方案层面等,对业务进行端到端的整合,致力于为客户提供一体化的方案服务,做到故障早知道、故障无影响、长期无故障。
未来随着数字经济发展,数据要素将在企业数字化转型中扮演越来越重要的角色。浪潮存储将持续加大企业级SSD研发投入,推动集中式全闪、分布式全闪持续技术创新,联合产学研用等生态伙伴,合力提供数据生命周期解决方案,助阵企业提速数字化转型,释放数据价值。
相关文章
- 开辟大模型更多应用场景 浪潮云洲“知业大模型“加速赋能千行百业
- 浪潮KaiwuDB亮相第二十四届中国国际工业博览会
- 浪潮云海再破SPEC Cloud IaaS基准测试记录,三项指标领跑
- 企业大模型应用开发提速 浪潮信息发布元脑企智EPAI一体机
- 浪潮信息Infinistor:高效运维引擎,驱动企业数据价值最大化
- 专业赋能中网赛场:FILA重磅功能科技发布,引领网球装备新浪潮
- 浪潮KaiwuDB 宣布将开源版 KWDB 数据库捐赠给开放原子开源基金会
- MR头显市场将迎来41.4%爆发增长,Snap/微美全息引领AR+AI全新体验浪潮
- AI浪潮下,中小企业的增长之路——2024云栖大会上或许有答案
- 企企通联合创始人杨华:AI的浪潮下,未来供应链发展将何去何从?
- 业务与AI迎来黄金交叉点 恒为科技全方位拥抱AI浪潮
- 液气换热型液冷数据中心首个技术标准发布,浪潮信息牵头编制
- 浪潮信息:元脑企智EPAI助力金融大模型快速落地
- AI驱动智慧办公革新浪潮,微软/阿里/微美全息加速数字办公垂直领域领航
- 华为坤灵京东自营官方旗舰店开业 双方携手助推企业数智化浪潮
- 阿里云、字节、浪潮信息、英特尔、电标院: OpenBMC是服务器固件大势所趋