1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27
| FusionStorage架构 1.管理组件 FSM:FusionStorage管理模块,提供告警、监控、日志、配置等操作维护功能。一般情况下FSM主备部署。提供web UI界面。为了可靠性考虑,通常是主备部署,部署两台虚拟机上。 FSA:代理进程,部署在各个节点上,实现各节点与FSM通信。FSA包含MDC、VBS和OSD三种不同的进程。根据系统不同配置要求,分别在不同的节点上启用不同的进程组合来完成特定的功能。
2.存储组件 MDC(MetaData Controller):元数据控制,实现对分布式集群的状态控制,以及控制数据分布式规则 、数据重建规则等。MDC默认部署在3个节点的系统盘上,形成MDC集群。 这里的元数据是什么? #数据分布式规则 、数据重建规则 为什么默认是3个MDC节点? #MDC元数据存储于ZK(Zookeeper)中,开源集群协调软件。控制集群主备关系。MDC控制的元数据存放于ZK中,一个MDC对应一个ZK。 不可以是一个,因为存在单点故障。多个:谁主谁备 三个:因为ZK的投票机制(超过半数) 实际:MDC的数量可以是3-96个,分为管理节点MDC(元数据控制,3),存储节点MDC(管理存储池,0-93个) 存储池数量,0-128个。与MDC并不是一一对应,一般情况下,每增加一个存储池,就会创建一个存储节点MDC,一个存储MDC节点最多可以管理两个存储池。
VBS(Virtual Block System):虚拟块存储管理组件,负责卷元数据管理,提供分布式集群接入点服务,是计算资源能够通过VBS访问分布式存储资源。每个节点上默认部署一个VBS进程,形成VBS集群。节点上也可以通过部署多个VBS来提升IO性能。 分布式集群接入点服务:外部主机需要访问FS时,实际先要访问VBS。SCSI、ISCSI 卷元数据的管理:VBS所管理的元数据,就是传统意义上的元数据 VBS的数量是1-4096个。(leader机制,存在瓶颈)
OSD(Object Storage Device):对象存储设备服务,执行具体的I/O操作(一般情况下,一个磁盘对应一个OSD)。在每个服务器上可部署多个OSD进程,一块磁盘对应部署一个OSD进程。在SSD卡作主存时,为了充分发挥SSD卡的性能,可以在一张SSD卡上部署多个OSD进程进行管理。
一般情况下,有OSD是存储节点,有VBS是计算节点,有MDC可能是管理节点
IO:OS->VBS->OSD->disk
|