不知不觉我们开始谈到了企业级存储器这个级别的产品，这是传统的存储行业最高端的产品，能够在这个行业里面出现的产品一般都和高性能、高可靠以及高价格联系起来， : W; p; L: X' b6 z

Gartner定义的这个富人俱乐部里的企业级存储器产品包括如下：

我们再来回顾一下Gartner是如何定义high-end enterprise disk arrays的呢？7 / m7 J7 k  q$ P1 M1 U2 T$ J

其定义标准为：  Use a multiple controller architecture 使用多控制器体系架构；  Support mainframe and open-system environments 支持mainframe和开放系统；  Support FICON, Enterprise Systems Connection (ESCON) or Fibre Channel host connectivity 同时支持FICON/ESCON和FC光纤通道接口；  Support the z/OS operating system and/or other mainframe operating systems 支持z/OS和其他mainframe操作系统；  以���者的观点，以上的标准有一点出身血统论，众多条件中把该存储器对于IBM Mainframe的支持作为很重要的因素。个人认为意义不大，应该从计算机的体系架构设计思想来定义怎样才是一个真正的企业级高端存储器。  

下面我们来聊聊统一大缓存多处理器Scale-up架构存储器的设计思路。
 在这个思路上坚持的有两个派系，E派系和H派系。第一E系列，即由存储巨头EMC公司为代表销售；另外一个派系即H系列，由日立公司制造，现在由两个公司负责全球销售，一个是日立的全资销售子公司HDS负责在日本以外的地区销售（但日本国内是由日立公司直销），而另外一个是业界的IT具体HP，HP OEM其产品称为XP系列，由于两个公司（HDS和HP）公司名字前面都有个H字母，因此笔者称之为H系。

统一大缓存多处理器Scale-up架构存储器的设计思路    大家还记得赵本山春节文艺晚会上的经典小品三部曲么，《卖车》、《卖拐》、《功夫》，以前两部都是赵本山扮演的大忽悠去忽悠范伟，而到了第三部，赵本山是带着几个徒弟一起上门的，难怪当时范伟说了那句经典的话：“都组团忽悠我来了”。  存储器进一步发展也是这样，为了进一步提升性能，最开始的方法是想方设法提高单个控制器的处理能力（就像赵本山大忽悠不断提高忽悠水准一样），我们说过存储器也是计算机（当然主要是指存储器的控制器部分是计算机），存储器这台计算机如果是采用通用芯片的话其提高性能的方式第一是用更快主频的CPU（这个去找Intel，AMD和IBM powerPC芯片部门），而第二种方法就是在一个控制器上又多核CPU，通过多核（通常是2－4个）来提升单个控制器的处理性能，然后再把两个控制器做成集群提供更高的可靠性（参考第五章基于集群技术的模块存储器设计思路），EMC CX的设计思路就是一个典型的例子，CX200控制器里是单路CPU，CX600控制器里是双路高主频CPU。  而到了高端阵列，后来就要发展到要用到多个（超过2个）控制器才能满足性能需求（即所谓组团忽悠），我们需要想别的办法把数量超过两个以上的控制器组合起来协同工作。这种把多路CPU组合在一起工作的设计方式在计算机体系结构里称为共享存储对称多处理机系统(SMP)架构。   那么我们来看看SMP体系架构这个东东具有哪些特征：  对称共享存储：系统中任何处理器均可直接访问任何存储模块中的存储单元和I/O模块联接的I/O设备，且访问的延迟、带宽和访问成功的概率是一致的所有内存地址单元统一编址。各个处理器之间的地位等价，不存��任何特权处理器。操作系统可在任意处理器上运行。  单一的操作系统映像：全系统只有一个操作系统驻留在共享存储器中，它根据各个处理器的负载情况，动态地分配各个进程到各个处理器，并保持各处理器间的负载平衡。  局部高速缓存Cache及其数据一致性：每个处理器均配备局部Cache，它们可以拥有独立的局部数据，但是这些数据必须保持与存储器中数据是一致的。  低通信延迟：各个进程通过读/写操作系统提供的共享数据缓存区来完成处理器间的通信，其延迟通常小于网络通信的延迟。  共享总线带宽：所有处理器共享总线的带宽，完成对内存模块和I/O模块的访问。  支持消息传递、共享存储并行程序设计。  下图是传统的SMP架构的示意图：   

    MSMP架构的示意图

我们总结一下SMP架构的关键点：对称式共享存储：任意处理器可直接访问任意内存地址，且访问延迟、带宽、几率都是相同的; 系统是对称的；而从上图中我们可以很清楚地发现蓝色部分的总线和交叉开关是整个系统的关键；通过这个总线和交叉开关协调各个部件的交互沟通运行。   这个在服务器、存储器（本质上也是计算机）上运用得非常多，比如例子: IBM p系列服务器、Sun SPARC Enterprise/Fire系列服务器和HP Integrity系列服务器、HDS 7700E系列存储，EMC Symmetrix 4000/5000/8000系列存储器，而此后的HDS 9900系列、USP系列和EMC Symmetrix DMX系列算是此种架构的一种变通改进（采用交叉开关或者点到点直通式设计）。   

    公司一款经典的UNIX服务器RP7400的体系架构图 上图是HP公司一款经典的UNIX服务器RP7400的体系架构图，这事一款经典的基于SMP架构设计的服务器，从大家可以看到8个PA 8700 CPU、Memory Carriers和IO模块都是通过system BUS连接起来的，这个system BUS就是我们说的系统总线。   我们本节谈的都是所谓大存储器设计思路，这个“大”就是意味着处理能力要很强。怎么个强法呢，还记得我们在第五章模块化阵列中谈到的一个叫Symmetric对称式架构的关键点么，即把存储控制器进一步细分成几个部件。通过增强每个部件的处理能力来提高存储器整体的IO处理能力。   那么具体来讲是怎么个细分法呢，存储器从整体上来说是接收来自主机端的IO信息然后传递到磁盘上，在主机和磁盘间起了个加速作用，那我们就这个思路进一步细分，可以把存储器拆分成五个部分，即 1. 前端主机接口卡部分：负责接收来自主机端的IO需求，或者从缓存中把信息传递给主机； 2. 存储器核心控制部分：整个存储器的大脑，负责运行和协调存储控制器中各个部件的运行； 3. 交换总线或背板：通路部分，存储器各个部件间协调运行的通道； 4. 缓存部分：缓冲将要写到磁盘或者从磁盘中读出来的数据信息； 5. 后端磁盘接口卡部分：负责把修改后的信息写回物理磁盘，或者从物理磁盘中读出信息给到缓存中去；   需要指出的是：高端阵列的设计思想中，上述部分中的1（前端主机接口卡）、2（存储器核心控制部分）、5（后端磁盘接口卡部分）都有独立的高性能CPU运行，这样保证每一步处理都很高效，你也可以先只配少量的前端主机接口卡、后端磁盘接口卡或者核心控制卡，日后升级扩容时在通过灵活���加相关接口卡来提升各个部分的性能从而达到存储器整体性能的提升，这种设计思路我们称为scale up大存储器的设计思路。   另外一点需要指出的是，这么多部件通过总线串接在一起共享整个缓存部分的，而且需要较大容量的共享缓存支持，各个处理器到缓存的访问延迟都是一样的，这也SMP的一个重要特点。 基于以上两个重要特征，因此笔者把这种存储器归类为“统一大缓存多处理器 scale up存储器”，有些拗口，但是重要特点都在这个归纳的名字中点了出来，呵呵。