- SK 海力士键值计算存储驱动器(KV-CSD)荣庸2023 R&D 100“IT/电气类”研发创新大奖
- 全球首次将 “索引技术”应用于数据键值,大幅加快数据分类及处理速度
- 有望以超高速性能在人工智能、大数据、高性能计算领域做出贡献
- “我们将努力促使SK海力士的技术成为国际标准,以提高公司的竞争力”
SK海力士于11月16日宣布,其技术团队凭借新一代存储设备——键值计算存储驱动器(KV-CSD,Key Value Computational Storage Drive),在美国加利福尼亚州圣迭戈市举办的 “2023 R&D 100”研发创新大奖中荣获 “IT/电气类奖项”。
“R&D 100”研发创新大奖是科技领域的表彰奖项,每年会评选出全球100项最具创新性的技术和产品,被业界和学术界誉为“创新界的奥斯卡”。
▲ SK海力士研发的KV-CSD是采用业界首创的索引技术和支持数据操作的控制器
KV-CSD是SK海力士与洛斯阿拉莫斯国家实验室(Los Alamos National Laboratory, LANL)1联合研发的产品。其中,SK海力士负责研发KV-CSD,洛斯阿拉莫斯国家实验室负责研发将KV-CSD应用于超级计算机的系统。
该产品具备快速的读写性能,能够在几分钟内处理以拍它字节(PB)2为单位的海量数据,并可利用自身的运算能力快速分析数据,因此在高性能计算(HPC)领域备受关注。
此外,SK海力士强调,全球首次在KV-CSD产品中应用了“索引技术”,此举极大程度上提高了该产品的数据检索速度。
通常在存储文件时,数据会被分解并存储在多个被称为块(Block)3的存储空间中。通过“索引技术”,可将专属密钥分配给被分解的多个数据,必要时可时根据索引快速收集和处理数据。公司表示,相比需要逐一查看数据块以收集、处理数据的固态硬盘(SSD, Solid State Drive),KV-CSD 的速度比前者提高了7.4倍。
1洛斯阿拉莫斯国家实验室(LANL):隶属于美国能源部,从事国家安全、核聚变以及太空探索领域研究的一个国家实验室。因其在二战期间参与曼哈顿计划,并研制出全球首批核武器而闻名于世。
2拍它字节(PB):一种数据计量单位,1PB约等于1024TB(太字节)。
3块(Block):指存储数据空间,SSD等存储设备内部由多个块组成。存储数据的最小单位是单元(Cell),单元的相比需要逐一查看数据块以收集集合是页(Page),页聚集成为块(Block)。
SK海力士计算存储团队郑宇席PL表示:“作为下一代存储设备,KV-CSD可根据键值和索引快速处理数据、分析数据,并向CPU提供有效结果。 它将适用于高性能计算领域,以及处理大量数据的人工智能及大数据行业“,他补充道:“我们将致力于推进该产品的商业化进程,使其应用于各个领域。”
新闻中心采访了来自SK海力士计算存储团队相关负责人郑宇席PL、梁顺烈TL、吴泰镇TL,和朴寅赫TL,听取了他们对KV-CSD产品研发背景及核心技术的看法。
“面向全球推广先进的存储技术具有重要意义”
▲ KV-CSD研发团队的主要成员,(左起)郑宇席PL、梁顺烈TL、朴寅赫TL、吴泰镇TL
目前,下一代存储设备正以多元化概念进行研发。它正在向不断接近CPU的数据处理方式,或直接取代CPU进行数据计算的多样化方向发展,其中,可实现直接运算数据的存储设备被称为“计算存储驱动器”(Computational Storage Drive, CSD),SK海力士的KV-CSD便属于此类。
作为该产品研发的主要参与者,计算存储团队感叹:“为了将新技术成功引用到现有的CSD产品上,我们经历了无数次试错。正因为该产品的研发过程非常艰难,所以此次获奖才更有意义。”
主导本次产品研发的郑宇席PL表示:“在全球众多研究所和企业共同角逐的奖项中获得此殊荣,我们感到非常自豪。更重要的是,这个奖项向全球展示了SK海力士出色的存储技术力,意义重大。”
“KV-CSD,为解决客户痛点而诞生的解决方案”
公司强调, KV-CSD的意义在于它可以解决客户的痛点。SK海力士还对此做了进一步补充,该产品大幅缩短了处理大数据的时间,这正是公司所倡导的“解决方案提供商”的最佳例证。
▲ 郑宇席PL展示KV-CSD产品,并介绍相关特性
郑宇席PL介绍了产品研发背景,“洛斯阿拉莫斯国家实验室的技术痛点是,在存储和分析大量数据时,读取非必要数据会降低速度。” 他补充道,“提高CSD的处理速度是关键所在。因此,我们提出了一种基于键值和索引的存储设备。”
▲ 梁顺烈TL介绍KV-CSD的产品优势
其中,“索引技术”尤为关键。实现键值存储已十分不易,在此基础上与“索引技术”相结合更是全球首创。
梁顺烈TL表示:“洛斯阿拉莫斯国家实验室自行研究模拟时,会生成拍它字节(PB)级数据。如使用传统固态硬盘从中提取所需数据需要几十个小时。而KV-CSD则可以从索引目录中直接查找并读取关键数据,将工作时间缩短至几分钟。”
他继续说道,“在扫描查找拍它字节(PB)级数据时,CPU处于密集工作状态,会给系统造成负担。”他补充道,“KV-CSD的索引功能提高了数据处理速度,同时可实现系统负荷最小化。”
▲ 朴寅赫TL介绍KV-CSD的核心技术——二级索引
在谈及索引技术时,朴寅赫TL着重介绍了 “二级索引”。“二级索引”是一种通过细化索引列表,扩大数据分类范围的技术。朴寅赫TL表示:“如果将各时间段产品销售数据整理成数据库,使用一般的‘索引技术’只能找到某个时间段销售了哪些产品;如果使用‘二级索引’,则可以进一步查询到购买者信息以及产品售价,从而可以更快地处理各种数据。”
▲ 吴泰镇TL分享开发KV-CSD测试应用程序过程中的挑战
研发团队认为,“不确定性”是取得此次成果的最大挑战。他们回忆道,“我们要研发的是世界上绝无仅有的产品,因此面临着了解新技术、关注发展趋势、设计架构,及研发产品等一系列挑战,尤其是要面临完成试制品开发后,进行性能验证这一难关。”
吴泰镇TL表示:“由于是新型存储设备,因此没有与之相匹配的测试应用程序。我们花了大量时间根据KV-CSD特性,逐一调整现有测试应用程序的每个元素,最终成功开发出专属的测试应用程序,并通过了性能验证。”
引领存储设备技术的未来
郑宇席PL表示:“如果SK海力士专有技术今后成为国际标准,公司竞争力将因此得到提升。”他补充道,“我们将继续开展后续研究和标准化工作,包括与与合作伙伴机构共同建立产品生态系统。”
同时,研发团队还表示:“此次获奖是我们团队取得阶段性胜利的第一步。以此经验为基础,未来我们将更加专注于研发,持续开发其它下一代存储设备。”