伴随着硬件性能的快速提高,信息业务的不断增长,企业用户对 IT基础设施的部署提出了更高的要求,传统的以硬件服务器主机为单元的架构已不能满足新的需求,越来越多的企业选择了应用共享存储虚拟化技术来整合存储资源,实现集中式管理。这一期,智汇华云,特别带来了 ArcherOSStackShareStack存储虚拟化技术解析,加速推动政企用户业务和应用上云。

1. ArcherOS Stack介绍

ArcherOS Stack是介于硬件和业务负载之间的云操作系统层,它使用X86和 ARM双栈支持的虚拟化技术,对通用服务器物理资源进行抽象,将 CPU、内存、 I/O等服务器物理资源转化为一组可以统一管理、调度和分配的逻辑资源,并基于这些逻辑资源在单个物理服务器上构建多个同时运行、彼此隔离的虚拟机执行环境,从而提高资源利用率,同时满足应用中更为灵活的资源动态分配要求,例如提供热迁移、热升级等高可用特性,从而降低操作成本,提高灵活性,提高业务响应速度。

ArcherOSStack专注于关键业务的虚拟化需求,满足 ERP、 CRM、核心数据库、 Web、电子商务、多应用集成等典型关键业务应用的业务需求,提供相应的虚拟化技术特性,加速业务和应用的云化。

2. ArcherOS备份系统架构

ArcherOS Stack是一个横向扩展的软件集成基础架构云操作系统,它具有以下功能:云管理平台(ArManager);软件定义计算(ArCom);软件定义网络(ArNet);共享存储虚拟化(ArSSV);软件定义安全性。最小的一组软件定义数据中心(SDDC)架构。

ArManager: ArcherOSStackManager管理平台,它提供创建、管理和监测资源的能力。

Deployment Tools (ArLCM):将 ArcherOS集群生命周期管理为导向的图形化部署工具。

ArCom:虚拟机管理程序,用于对虚拟机进行创建和管理。

ArNet:虚拟交换机管理;使用安全组,可以为虚拟机设置安全策略,各种协议,如 TCP/UDP/ICMP/EGP;支持IPV4/IPV6双栈;流量隔离。

ArSSV:通过软件层对 SAN设备划分映射到物理服务器的 LUN进行统一池化管理的共享存储虚拟化组件,从而将 SAN设备划分为一个小逻辑卷,供虚拟机识别为块设备使用。

3.介绍 ArSSV

在大规模虚拟机部署过程中,云计算面临的一个重大挑战是解决存储方面的问题,首先是存储 I/O性能瓶颈,因为与计算能力相比,存储性能增长较慢,因此 I/O瓶颈和存储性能增长缓慢成为虚拟化的主要瓶颈, ArcherOS Stack通过共享虚拟化组件(ArSSV)提供不同 I/O性能优化方法,有效缓解存储瓶颈。ArSSV为用户提供了存储精简置备技术,提高了存储利用率,降低了存储硬件的采购成本。再者,大规模部署虚拟机的效率问题, ArSSV提供了可缩短大规模部署、分发虚拟机时间的虚拟机克隆技术。

另外,尽管近年来超融合和软件定义存储市场发展迅速,但在传统的企业客户 IT体系结构中,仍然经常存在一些 SAN设备,它们的价格昂贵,因此客户不愿意浪费已有投资。据 IDC市场报告显示,截至2020Q3,传统企业级存储仍然占据着59.2%的国内存储市场,但 HCI和 SDS正逐渐蚕食传统存储市场,并在未来几年中稳步增长。由于利旧等因素,在 IT架构上云转变过程中存在着从传统 SAN设备到软件定义存储(SDS)的过渡阶段。

ArcherOSStack支持对接 SAN设备,保护客户的现有投资。不需要用户单独管理和设置 LUN、 RAID等存储概念对象,只需设置虚拟机/虚拟磁盘即可使用各种存储功能,降低了用户的使用门槛。通过共享存储虚拟化组件, ArcherOS Stack具有以下特性:

无论硬件如何,只要 Linux支持的 SAN存储器可以适配

完全集成到可自我研究的计算虚拟化组件(ArCOM)

将所有设备统一到同一个软件栈

允许简化置备,按有效数据容量分配实际空间

3.1 ArSSV总体架构

其实现思想是:在FC-SAN设备上划分配置好的 LUN,通过多路径软件映射到物理服务器,在服务器端将映射到的 LUN通过软件层虚拟化为一个大的存储资源池,该资源池中有一块块小的逻辑卷(LV),虚拟机可以将这些逻辑卷识别为一块块设备(虚拟磁盘)。

3.2 ArSSV关键技术分析

ArSSV对接各种类型的存储后端

它最大的优点在于:在对接不同厂商的 SAN存储设备时,无需花费大量的时间来开发相应的存储驱动。另外,由于各存储系统的功能集不同, A、 B存储系统开发的功能集也不一致,造成了平台级功能的差异。为存储系统开发相应的驱动只适用于自定义项目,并且每一次开发、测试周期都是漫长的。另一种方法是 ArSSV:屏蔽后端存储系统的详细信息,将存储池中的部分存储空间,通过 LUN直接作为主机节点的存储空间,然后将主机节点再细粒度地划分出来,分配给虚拟机使用。

ArSSV实现简化备份

因为 LVM本身的精简置备是通过thin-provisiontarget实现的,而当 LV创建快照后,这种实现方式会导致性能严重下降,因此 ArSSV所采取的精简置备方法是通过 qemu将qcow2文件的数据分布直接写入 LV。

当有真实数据写入的时候,qcow2实际上占用的空间非常小(现在是1 G,这个值可以调整),并且随着 IO速度的改变,qcow2开始增长。尽管qcow2可以自动增长,但是 LV的大小是固定的,所以 LV需要在适当的时候动态扩展。可以通过两种方式触发 LV的动态扩展:

一种方法是 ArSSV主动检查: ArSSV主动监测 LV的空间增长,在实际的写操作占创建的 LV的50%时, LV会主动增加1 GB的存储空间,直到 LV的实际数据符合 LV大小为止。

第二:通过事件实现 LV真实空间的扩展,即:当虚拟机内部的读写速度大于磁盘的自动扩展速度时,当虚拟机会出现磁盘读写错误时,系统服务将发送读写错误事件,当 ArSSV监听到这样的事件时,将立即启动 LV扩展操作,当扩展成功时,虚拟机读写将自动恢复正常。

ArSSV元数据管理

ArSSV通过分布式锁服务来实现元数据的统一,在对元数据进行修改操作时,保证在同一时刻只在一个节点上进行操作。群集中的每个节点各自运行分布式锁服务,将锁的状态写入共享存储,并使用 DiskPaxos算法读取和写入共享存储,以获得、释放和超时分布式锁。因为分布的锁服务的所有数据都保存在 SAN存储中,所以即使集群主机进程崩溃也不会影响可靠性。

快速复制和克隆 ArSSV

ArSSV通过标签唯一标识快照,而在线快照则通过调用 libvirt实现。通过 cinderdriver, ArSSV实现虚拟机的完全克隆,克隆完成后,新虚拟机与源虚拟机没有任何数据引用关系,源虚拟机的部分数据损坏不会影响新虚拟机的数据,保持数据独立性和可靠性高于链接克隆。

3.3 ArSSV摘要

ArSSV能够帮助用户管理FC-SAN不同品牌型号的FC-SAN存储,避免了与不同FC-SAN存储厂商进行设备驱动对接的繁琐过程,也避免了FC-SAN厂商在没有硬件驱动的情况下需要自行开发驱动的尴尬,统一了不同厂商FC-SAN设备在X86和 ARM上的使用体验,甚至提供了一套简化的置备、快照、克隆等功能,让用户直接使用高端 SAN存储才具有的功能,让用户不必担心硬件驱动的对接,也无需具备专业的 SAN存储管理知识,更加注重在虚拟化平台上的业务建设,有利于中小厂商 IT建设能力薄弱、 IT人才梯队不健全。