[转帖]【存储入门必备】六企业级大存储器综述_Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 4426 | 回复: 0   主题: [转帖]【存储入门必备】六企业级大存储器综述        下一篇 
大红薯
注册用户
等级:少校
经验:1440
发帖:159
精华:0
注册:2011-7-21
状态:离线
发送短消息息给大红薯 加好友    发送短消息息给大红薯 发消息
发表于: IP:您无权察看 2011-8-20 13:39:46 | [全部帖] [楼主帖] 楼主

不知不觉我们开始谈到了企业级存储器这个级别的产品,这是传统的存储行业最高端的产品,能够在这个行业里面出现的产品一般都和高性能、高可靠以及高价格联系起来,

* n0 J+ g- M: N' i7 o2 I' r! L$ N
' e. y4 y0 9 F# v! Y- l' C


Gartner定义的这个富人俱乐部里的企业级存储器产品包括如下:

5 t& W- G$ E4 a; p
$ h9 Y* `5 z2 M9 d# N. O. y( F1 s
  EMC — Symmetrix V-Max and DMX-4 Fujitsu — ETERNUS8000 Hitachi/Hitachi Data Systems — Universal Storage Platform V and VM HP — StorageWorks XP24000, XP20000 IBM — System Storage DS8000 and DS6800 Sun — Sun StorageTek 9990V and 9985V  
% T" C0 K3 X/ r; Q
/ x& [% }/ T" ?6 z: J
针对以上产品,我们需要与时俱进地补充几点的是:
) I$ u4 e! m+ P" p2 r5 z
8 x; e) i, {+ h) C8 J" J


  首先IBM已经停止了DS6800的新货供应;  其次,随着SUN被Oracle收购,到2010年3月份我们可以很容易看到以下消息:作为SUN被Oracle收购的后续影响事件,Oracle-SUN将中止存储方面长期以来与HDS公司的OEM合作关系。 HDS方面也同时表示,该公司与SUN签订的长达9年的OEM合作协议将在3月31日正式结束,并且HDS认为随着Oracle收购SUN,目前正是解除双方合作关系的时机。其实这件事情发生并不奇怪,仅仅在2009年12月份Oracle和SUN合并后发布了专用数据库机Exadata-2以后的公司发布的宣传资料上可以看到有其Exadata-2运行数据仓库的性能数据和其他竞争对手的性能对比��� 除了业界常见的竞争对手公司产品如EMC/TERADATA/NETEZZA等外(这也是Larry Ellison的常见激进推荐自己旗下产品的做法),我们可以惊奇地HITACHI USP V(sun当时转销HDS阵列取名叫9900V系列)也列在上面,要知道那时候还是HDS和SUN还继续着OEM关系啊。  据网上消息,业界评论说SUN在内部评测过HDS的下一代高端存储器技术后,还是觉得真正的顶级高性能的数据库系统应该是把主机、存储器、数据库和文件系统卷管理结合起来整体设计(也就是现在的Exadata的设计思路)。  当然这个事情对于HDS有点不划算,因为早年SUN在中高端除了转销HDS还有另外一个选择即6920,6920是基于Sun在2002年以大约1.65亿美元收购Pirus获得的技术,在存储虚拟化方面99系列和69系列两个产品线有些重叠。  为了鼓励SUN全心全意转卖99系列,在 2007年3月双方达成协议,Sun终将6920转让给HDS,HDS当然不可能继续投资研发在连SUN都不想要了的6920存储平台上,这也就当是日立花钱断了SUN继续卖6920的后路。世事难料,看来在oracle收购以后,SUN-HDS连续9年在高端存储器的合作关系现在看来也要结束了。  5 t0 l0 n9 \4 ?+ Z# N

而Oracle在宣扬Exadata-2高性能时用的slides,可以看到直接把日立的存储器也放在竞争对手里面(尽管当时还有OEM关系)。

我们再来回顾一下Gartner是如何定义high-end enterprise disk arrays的呢?: u/ e) y+ M/ X$ C& l! k

9 ! b9 ! m/ O* Q" t$ _: v* g


其定义标准为:  Use a multiple controller architecture 使用多控制器体系架构;  Support mainframe and open-system environments 支持mainframe和开放系统;  Support FICON, Enterprise Systems Connection (ESCON) or Fibre Channel host connectivity 同时支持FICON/ESCON和FC光纤通道接口;  Support the z/OS operating system and/or other mainframe operating systems 支持z/OS和其他mainframe操作系统;  以笔者的观点,以上的标准有一点出身血统论,众多条件中把该存储器对于IBM Mainframe的支持作为很重要的因素。个人认为意义不大,应该从计算机的体系架构设计思想来定义怎样才是一个真正的企业级高端存储器。  * _5 T% }5 B" D* }/ w

. F! b$ @. v/ ], j, q" a


下面我们来聊聊统一大缓存多处理器Scale-up架构存储器的设计思路。

! V8 H4 R4 n" n" ^


在这个思路上坚持的有两个派系,E派系和H派系。第一E系列,即由存储巨头EMC公司为代表销售;另外一个派系即H系列,由日立公司制造,现在由两个公司负责全球销售,一个是日立的全资销售子公司HDS负责在日本以外的地区销售(但日本国内是由日立公司直销),而另外一个是业界的IT具体HP,HP OEM其产品称为XP系列,由于两个公司(HDS和HP)公司名字前面都有个H字母,因此笔者称之为H系。

统一大缓存多处理器Scale-up架构存储器的设计思路    大家还记得赵本山春节文艺晚会上的经典小品三部曲么,《卖车》、《卖拐》、《功夫》,以前两部都是赵本山扮演的大忽悠去忽悠范伟,而到了第三部,赵本山是带着几个徒弟一起上门的,难怪当时范伟说了那句经典的话:“都组团忽悠我来了”。  存储器进一步发展也是这样,为了进一步提升性能,最开始的方法是想方设法提高单个控制器的处理能力(就像赵本山大忽悠不断提高忽悠水准一样),我们说过存储器也是计算机(当然主要是指存储器的控制器部分是计算机),存储器这台计算机如果是采用通用芯片的话其提高性能的方式第一是用更快主频的CPU(这个去找Intel,AMD和IBM powerPC芯片部门),而第二种方法就是在一个控制器上又多核CPU,通过多核(通常是2-4个)来提升单个控制器的处理性能,然后再把两个控制器做成集群提供更高的可靠性(参考第五章基于集群技术的模块存储器设计思路),EMC CX的设计思路就是一个典型的例子,CX200控制器里是单路CPU,CX600控制器里是双路高主频CPU。  而到了高端阵列,后来就要发展到要用到多个(超过2个)控制器才能满足性能需求(即所谓组团忽悠),我们需要想别的办法把数量超过两个以上的控制器组合起来协同工作。这种把多路CPU组合在一起工作的设计方式在计算机体系结构里称为共享存储对称多处理机系统(SMP)架构。   那么我们来看看SMP体系架构这个东东具有哪些特征:  对称共享存储:系统中任何处理器均可直接访问任何存储模块中的存储单元和I/O模块联接的I/O设备,且访问的延迟、带宽和访问成功的概率是一致的所有内存地址单元统一编址。各个处理器之间的地位等价,不存��任何特权处理器。操作系统可在任意处理器上运行。  单一的操作系统映像:全系统只有一个操作系统驻留在共享存储器中,它根据各个处理器的负载情况,动态地分配各个进程到各个处理器,并保持各处理器间的负载平衡。  局部高速缓存Cache及其数据一致性:每个处理器均配备局部Cache,它们可以拥有独立的局部数据,但是这些数据必须保持与存储器中数据是一致的。  低通信延迟:各个进程通过读/写操作系统提供的共享数据缓存区来完成处理器间的通信,其延迟通常小于网络通信的延迟。  共享总线带宽:所有处理器共享总线的带宽,完成对内存模块和I/O 模块的访问。  支持消息传递、共享存储并行程序设计。  下图是传统的SMP架构的示意图:   

北京联动北方科技有限公司

SMP架构的示意图

- Y2 ?, W- y9 c! s5 V7 H3 S


我们总结一下SMP架构的关键点:对称式共享存储:任意处理器可直接访问任意内存地址,且访问延迟、带宽、几率都是相同的; 系统是对称的;而从上图中我们可以很清楚地发现蓝色部分的总线和交叉开关是整个系统的关键;通过这个总线和交叉开关协调各个部件的交互沟通运行。   这个在服务器、存储器(本质上也是计算机)上运用得非常多,比如例子: IBM p系列服务器、Sun SPARC Enterprise/Fire系列服务器和HP Integrity系列服务器、HDS 7700E系列存储,EMC Symmetrix 4000/5000/8000系列存储器,而此后的HDS 9900系列、USP系列和EMC Symmetrix DMX系列算是此种架构的一种变通改进(采用交叉开关或者点到点直通式设计)。   

北京联动北方科技有限公司

9 u& ]* e$ S8 h2 o


HP公司一款经典的UNIX服务器RP7400的体系架构图

0 s8 s% q: ^5 N


) {3 w- A( ]' f5 N
上图是HP公司一款经典的UNIX服务器RP7400的体系架构图,这事一款经典的基于SMP架构设计的服务器,从大家可以看到8个PA 8700 CPU、Memory Carriers和IO模块都是通过system BUS连接起来的,这个system BUS就是我们说的系统总线。   我们本节谈的都是所谓大存储器设计思路,这个“大”就是意味着处理能力要很强。怎么个强法呢,还记得我们在第五章模块化阵列中谈到的一个叫Symmetric对称式架构的关键点么,即把存储控制器进一步细分成几个部件。通过增强每个部件的处理能力来提高存储器整体的 IO处理能力。   那么具体来讲是怎么个细分法呢,存储器从整体上来说是接收来自主机端的IO信息然后传递到磁盘上,在主机和磁盘间起了个加速作用,那我们就这个思路进一步细分,可以把存储器拆分成五个部分,即 1. 前端主机接口卡部分:负责接收来自主机端的IO需求,或者从缓存中把信息传递给主机; 2. 存储器核心控制部分:整个存储器的大脑,负责运行和协调存储控制器中各个部件的运行; 3. 交换总线或背板:通路部分,存储器各个部件间协调运行的通道; 4. 缓存部分:缓冲将要写到磁盘或者从磁盘中读出来的数据信息; 5. 后端磁盘接口卡部分:负责把修改后的信息写回物理磁盘,或者从物理磁盘中读出信息给到缓存中去;   需要指出的是:高端阵列的设计思想中,上述部分中的1(前端主机接口卡)、2(存储器核心控制部分)、5(后端磁盘接口卡部分)都有独立的高性能CPU 运行,这样保证每一步处理都很高效,你也可以先只配少量的前端主机接口卡、后端磁盘接口卡或者核心控制卡,日后升级扩容时在通��灵活添加相关接口卡来提升各个部分的性能从而达到存储器整体性能的提升,这种设计思路我们称为scale up大存储器的设计思路。   另外一点需要指出的是,这么多部件通过总线串接在一起共享整个缓存部分的,而且需要较大容量的共享缓存支持,各个处理器到缓存的访问延迟都是一样的,这也SMP的一个重要特点。 基于以上两个重要特征,因此笔者把这种存储器归类为“统一大缓存多处理器 scale up存储器”,有些拗口,但是重要特点都在这个归纳的名字中点了出来,呵呵。
下面我们结合几款经典的存储器产品来介绍SMP架构的设计思路。

统一大缓存多处理器存储Scale-up架构产品的发展历史   设计这种体系架构的存储厂商的鼻祖当推EMC公司,可以说是EMC这家公司创造了存储器这一个独立的行业(在此之前存储器都是服务器的附属产品)。 EMC把所有的高端存储器都称为Symmetrix系列存储阵列(和前文中提到的对称式体系架构“Symmetric”拼写很相似,各位看官不要弄混哦)   我们先来回顾一下EMC Symmetrix系列存储器的发展历史   1990 – Symmetrix 4200 – ICDA (Integrated Cached Disk Array) Technology, Total Capacity 24GB 1991 – Symmetrix 4200 – 4Mb DRAM, 5.25 HDAs, Mirroring RAID 1 1992 – Symmetrix 4400 - - Dynamic Sparing, RMP Call Home 1993 – Symmetrix 4800 – 16MB DRAM, 1 GB Global Memory,Non-disruptive microcode, Hypervolume Extension. 1994 – Symmetrix 5500-3 – SRDF 1995 – Symmetrix 3.0 Open Symmetrix- FWD SCSI- attach, 3.5’’ HDAs, RAID Protection, SRDF Host Component, Symmetrix Manager 1996 – Symmetrix ESP – Mix CKD/FBA 1997 – Symmetrix 4.0 – TimeFinder, DataReach, InfoMover, Celerra, FDRSOS, Fibre Channel, PowerPath, UltraSCSI, DMSP 1998 – Symmetrix 4.8 – FC-AL/FC-SW, Symmetrix Optimizer 1999 – Symmetrix 5.0 – 333 MHz PPC, 181 GB disks, QoS Controls 2000- Symmetrix 5.5 – 2 GB fibre Channel, 400 MHz PPC 2000-2001 – Symmetrix DMX – Direct Matrix, 500 MHz PPC, 2 GB FC, Back-End Parity RAID 2001 – 2002 – Symmetrix DMX – 2G FICON, Giga Ethernet SRDF, iSCSI, SRDF/A, TimeFinder/Snap 2003- Symmetrix DMX-2 – 1 Ghz PPC, RAID 5 Data Protection, 32 GB Memory Directors 2003-2004- Symmetrix DMX-2- SRDF Mode Change, Concurrent SRDF, SRDF/Star, TimeFinder/Clone, Open Replicator 2005 – Symmetrix DMX-3 – 8 Processors/Directors, 1.3 GHz PPC, Low Cost FC Disks, Incremental Scalable, Upto 2400 disks, Open Migrator/LM 2005-2006 – Symmetrix DMX-3 – Dynamic Cache Partitioning, Symmetrix Priority Controls, Virtual LUN Technology, Symmetrix Service Credential, Tamper Proof Audit Logs, Secure Data Eraser, RAID 6 Protections. 2007-2008 Symmetrix DMX-4 – 4GB/s Point to point Backend, FC & SATA Intermix, RSA enVision Intergration, Flash Drives, Virtual Provisioning Cascaded SRDF   可以看到在EMC发布直连式矩阵DMX系列阵列之前,其Symmetrix系列都是基于总线互连的SMP架构设计的,我们看看其早期几款经典产品的结构图和相关数据 1999年:Symmetrix 4.8架构Symmetrix 3630, 3830, 3930,配备两条系统高速总线,系统总线带宽:2×360=720MB/sec。   

北京联动北方科技有限公司

+ G  I$ N' e9 c3 k


Symmetrix 4.8架构Symmetrix 3630, 3830, 3930

2001-2年:Symmetrix 5.0 5.5架构,具体产品对应的存储器产品是Symmetrix 8430/8730 和8230/8530/8830系统总线带宽:4×400=1600MB/sec 可以看到每一代产品的升级都包含几个部分,更多的前端主机通道卡和后端卡、更新的协议支持(前端主机接口从SCSI发展到FC,从ESCON到FICON mainframe接口,后端磁盘从SCSI到ultra SCSI)、更宽的接口卡带宽、更快的处理芯片、更多的缓存容量支持、更多的磁盘数量支持,还有关键的一点是更宽和更多条的互连总线带宽的支持更多连接在上面的部件的协同工作,这是技术突破的关键难点,不管是基于SMP架构的存储器还是服务器,都是沿着同样的发展思路来提升整体性能的。。   这个体系架构是当时EMC的一个灵魂设计师Moshe Yanai同学设计的,此种架构叫MOSAIC 2000体系架构。这样设计的存储器在EMC公司坚持了很多年,据说是因为EMC每生产一台Symmetrix存储器,都需要付给这个Moshe Yanai同学一笔不菲的专利费,而Moshe Yanai同学在EMC也很有影响力,因此这笔费用一直付到EMC 2003年推出下一代的DMX阵列才结束。后来Moshe Yanai离开了EMC,创立了一家以色列小存储公司做下一代存储器,直到前几年这家小公司被IBM收购,这也就是IBM XIV存储器的起源。有此可见,这位Moshe Yanai大哥确实算是存储行业的超级传奇人物了。   

北京联动北方科技有限公司

* N# O' I  H. p) f
8 h  N0 `" o: P9 T* `4


Symmetrix 5.0 5.5架构

EMC公司Symmetrix存储器这种基于多处理器,SCALE UP扩展思路的大存储器的设计思路一时间风靡全球,EMC公司也成为了当时Nasdaq的四骑士之一(另外三个骑士是CISCO,ORACLE和SUN,当然去年Oracle把SUN收购了,只剩下3个骑士了),其市值曾经超过过IBM,真是厉害啊。HP公司早期也曾经OEM EMC的Symmetrix系列磁盘阵列作为整体解决方案提供给用户。   应当说Symmetrix的成功也就奠定了EMC在企业级存储器行业老大的地位,可是EMC因此也不满足于只做一个存储器设备的制造商,而是希望直接面对客户(此前EMC很多高端设备都是通过OEM给HP卖出去的),当然从HP的角度想,肯定不乐意EMC直接冲到客户那边卖设备而更希望把EMC当作一个设备制造商,一家拼命想出头,另外一家死命压着不让对方出头,矛盾不可避免地产生了,而且越来越激化。 终于在1999年前后IT界也发生了一个爆炸性的新闻,惠普中断和EMC的协议,改从日立公司OEM企业级存储器7700E(日立在电器也很有名,但是在IT也只算是个新手,估计当时也很想进入企业存储器市场,估计HP说什么苛刻条件也就都答应了,起码态度上比EMC要好很多,这样两家一拍即合)。   因为当时日立的企业级存储器7700E系列最大支持256块磁盘,因此当时命名SurestoreE XP256(这个命名很有意思,以至于在很长一段时间要知道XP最大支持多少块磁盘,只要记住XP后面的数字就可以了,比如XP 512代表该存储器最大支持512块磁盘,而XP1024代表该存储器最大支持1024块磁盘)。   这样我们就谈到了企业级存储市场的另外一个玩家,日立公司。我们知道美国公司擅长创造,日本公司擅长模仿(日本当年就有很多做IBM兼容机的公司,如日立、富士通等)。可以说,日立公司起家时是借鉴了EMC MOSAIC2000的设计思路���推出了lightning 7700E闪电系列存储器。下图是其体系架构,我们可以看到该存储器的设计思路和EMC早期的Symmetrix系列如出一辙。   

北京联动北方科技有限公司

1 x, F1 d8 J4 J$ W
% " y3 l0 {2 n3 h6 ~' y! g3 v: m/ K


lightning 7700E闪电系列存储器体系架构

4 o( o. {% I7 `& F

从上述的技术发展路线,我们可以看到,总线的条数和每条的数目成为了存储器发展的关键因素(磁盘和内存模块都是通用的,前端主机接口卡和后端磁盘接口卡也是大家定好的标准)。然而总线的设计也有自身的瓶颈:总线其本质是多条并行刻蚀在电路版上的铜电路,一般64位系统总线约有200-300条铜电路,如下图所示:   

北京联动北方科技有限公司

64位系统总线约有200-300条铜电路

3 O: I' y5 3 f3 ^
可以说存储器内部各个部件通过总线技术互连发展到一定的时间和规模,碰到了以下具体矛盾:  1. 所有设备都接到一条共享的数据/控制总线, 2. 只有一对设备能够同时使用一条总线 3. 提高总线的带宽只能够减少使用总线的时间, 但: a) 每一设备的性能都要提高 b) 线与线间更容易互相干扰 c) 传送延误会做成数据不同步 d) 系统需要严格环境才能够稳定运行 4. 增加总线数目极困难: a) 电路的数目 b) 总线的管理  & T  n* w, c' m3 T2 O
总线性能提升这个问题当然不是说只有存储器才碰到,高端的网络设备、服务器设备都碰到了类似的问题(本质上它们都是台计算机,都有互连互通的瓶颈问题)。我们都知道,日本公司不仅仅擅长模仿,也擅长在模仿的基础上创新(参考日本公司在汽车行业对美国公司的竞争;日本公司在造纸行业对中国公司的竞争的历史)。在企业级存储行业的体系架构发展过程中,日立公司和HP公司携手,首先在scale up存储器的体系架构方面迈出了变化第一步。

基于Crossbar架构的存储器体系架构   上节我们说过,在技术工艺方面力拼总线条数和每条总线速度的战役在H系和E系间激烈地进行了一段时间,可是大家都碰到了总线速度难以继续提升的问题。服务器经历过这个演进过程,存储也经历过。 HP的superdome服务器的crossbar背板给日立公司以启迪,XP系列的存储器当然也可以借鉴服务器的设计思路,由总线背板架构转变成 crossbar架构。于是H系于2000年11月28日发布了继7700和7700E以后新一代的存储器Freedom Storage Lightning 9900系列(包括9910和9960两个型号)。 H系的这款产品对于以前基于总线架构设计的存储器来讲应当说有突破性的变化,主要表现于以下几点   1. 核心交换部分以crossbar缓存交换机为中心连接主机前端接口、后端磁盘接口和缓存等各个部件,这里的缓存交换机即前文中说指的交叉开关;在9900系列中缺省配置两个,最大配置四个缓存交换机;   2. 率先提出了控制缓存的概念,把存储器的缓存区分成数据缓存(负责缓存常用数据IO)和控制缓存(负责装载存储器操作系统,又称系统微码)两个部分,做到控制信息和数据信息分开存放,有专门的控制缓存交换机;   3. 针对数据缓存和控制缓存设计配置专门的信号通道,即数据缓存通道和控制缓存通道(下图中红色部分表示控制缓存通道,蓝色表示数据缓存通道);   4. 9900系列抛弃了以前的SCSI接口磁盘,而是采用了光纤通道接口的磁盘(1Gb的FC-AL环路),这样每条链路通信速度更快,同时每条后端链路也可以支持更多的磁盘;   5. 尽管整个9900由多个部件组成,但是从整体上面分成两个区域(图中用蓝色虚线表示)左边区域和右边区域构成一个cluster提供高可靠性; HDS 9900系列存储器体系架构见下图   

北京联动北方科技有限公司

9 x( N6 m& ^0 _, }  k; d

HDS 9900系列存储器体系架构

4 w5 d: _% X* d5 u
" V8 X0 _( I# ~% k% L* ^' N
我们把上述体系架构成为Hi-Star架构,多年来,H系一直坚持了这种体系架构不变,从9900系列(包括9960、9910),9900V系列(包括 9970V、9980V),USP系列(包括USP、NSC55)和USP V系列(包括USP VM和USP V)从体系架构上来讲皆变化不大。每一代的升级从本质上来讲是进一步提升了控制缓存和数据缓存交换机的带宽,提升前端主机通道接口的速度和数量,提升后端磁盘通道接口的数量和速度,以及提高数据缓存和控制缓存的容量。   0 S3 k1 I9 s/ ]5 a
第一代基于Histar交换架构H系存储器9900系列存储器,包括9960和9910两个型号。其中9960最大支持512块磁盘,HP管叫XP512;而9910最大支持48块磁盘,HP那边叫XP48;" e" [4 T6 A) z1 H$ g# p* v
7 A/ q6 G" ?$ y$ : I* r& O: A5 d


北京联动北方科技有限公司

1 J! N/ v% z' ~4 x% X* c


第一代基于Histar交换架构H系存储器9900系列存储器

北京联动北方科技有限公司

( Z2 B# j1 I' Q, b" h# E
% B/ M; W- K- f$ Y

9 f5 M! b& A+ Z- V
第三代基于Histar交换架构H系企业级存储器

4 ]; k- s  r% g" V

上图是第二代基于Histar交换架构H系存储器9900V系列存储器,可以看到缓存交换机系统带宽从6.4GB/sec升级到了15.9GB/sec,包括9970V和9980V两个型号。其中9970最大支持128块磁盘,HP管叫XP128;而9980V最大支持1024块磁盘,HP那边叫 XP1024;   而下图介绍了第三代基于Histar交换架构H系企业级存储器,这次不叫闪电系列了,改名叫USP(Universal Storage Platform)系列了。可以看到存储器缓存交换机系统带宽从15.9GB/sec升级到了81GB/sec,包括USP和NSC55两个型号。其中NSC55最大支持240块磁盘,HP管叫XP10000;而USP最大支持1152块磁盘,HP那边叫XP12000。可能有看官会问,怎么一下子从512、1024跳到12000 去了,难不成这个东东能够支持12000块磁盘?   这其实是一共HP公司一个相当高明的比喻手法,因为从这一代开始这个存储器可以支持通过虚拟化存储的技术外接第三方存储器,所以总体支持的磁盘数量跨越了单台存储机箱的限制而大大增加了(就像飞流直下三千尺难不成李白同学还亲自量过那个瀑布有三千尺的落差?)   

北京联动北方科技有限公司

第四代基于Hi-star交换架构的企业级存储器

6 H- t, ~3 Y; i. H6 }+ ?$ j1 N6 q

到了2007年,H系又再次更新到第四代基于Hi-star交换架构的企业级存储器,这次仍然是两款存储器产品USP V和USP VM系列(这一代的主要特点是增加了对于精细化预分配的支持,因此名字里面加了一个V)。可以看到存储器缓存交换机系统带宽从81GB/sec升级到了106GB/sec,HP这边管它们叫XP24000和XP20000。   下图是H系公司企业级存储更新发布的总览。   

北京联动北方科技有限公司

7 b1 g/ x/ ^2 E+ S3 n* x- m

H系公司企业级存储更新发布的总览

+ C' f, g0 [7 N6 e4 k

% M$ A% j$ [, O- P$ ]
补充说明:前阵子笔者主持一个云存储用户大会,据中国惠普一个存储高层领导透露,HP公司将要将存储器整合重新命名。比如所有存储阵列都叫HP Storageworks P系列,那么原来的HP XP系列将属于P9000系列,HP EVA好像是属于P6000系列,HP MSA2000将属于P2000系列,而前几年收购的Lefthand公司的产品是属于P4000系列,不知道有没有给新收购的H3C的IX3000和 IX1000系列留下位置?莫非就叫P1000和P3000系列?而所有的磁带库都叫A系列,所有的NAS叫X系列,因此大家在采购各家存储厂商的产品的时候请注意一下其最新的命名规则。

基于DMX直连矩阵的EMC DMX存储器体系架构   可以说企业级存储市场,2000年以前EMC公司是处于绝对垄断地位,后面几年慢慢地被两家后起之秀(IBM公司和日立公司)抢了不少份额,可以说当时 EMC在存储器体系架构方面拘泥于MOSAIC 2000架构一直无法实现突破。厚积薄发,在2003年2月EMC终于推出了一种划时代的创新产品Symmetrix DMX系列,开始了在企业级存储市场的有力反击。 下图是EMC Symmetrix DMX的体系架构图:   

北京联动北方科技有限公司

EMC Symmetrix DMX的体系架构

我们来分析一下EMC DMX的设计思路,企业级存储器的设计说到底还是要解决多个部件高速互连的问题,总线设计已经证明行不通了,交叉开关crossbar的思路被H系抢了先,有没有更加先进的思路呢,俗话说:如果你不能拥有它(实话说这crossbar技术蛮有技术壁垒的),那么最好的方法这就抛弃它换个思路突破,这就是EMC DMX系列推出来后的突出亮点。   DMX存储器的核心交换部分干脆就抛弃了原来的缓存高速交换机和缓存总线的设计思想,干脆采用了一种各部件直连的体系结构,把主机前端接口和后端磁盘接口直接接到缓存上以避免了总线和交换机的延迟(当然其实在缓存上还是有其他转接部件存在以连接前端存储卡和后端存储卡的,但不管怎么样直连DMX听起来也不输给所谓crossbar无阻塞交换架构,总算打平了)。   根据EMC公司官法资料介绍,Symmetrix DMX系列存储器的直连矩阵架构采用了其专利、有革命性意义的全新Direct Matrix Architecture(直连矩阵架构),为可扩展性、灵活性、可用性设置了新轨道。从体系架构设计思路来讲还是有一定道理的。   从2003年第一代Symmetrix DMX存储器推出后,EMC的高端存储器一直坚持此种体系架构,包括DMX/DMX2系列(包括DMX 800、DMX1000、DMX1000P、DMX2000、DMX2000P和DMX3000),DMX3系列(包括DMX-3 950和DMX3),和DMX4系列(包括DMX-4 950和DMX4),直到2009年EMC又与时俱进地推出了基于Scale out设计思想的Symmetix V-MAX系列存储器。 下图是DMX/DMX-2发布的产品分类   

北京联动北方科技有限公司

7 v! s; }- R0 {+ T8 X. X
DMX/DMX-2发布的产品分类

紧接着在上一代的基础上EMC发布了DMX3系列,分为DMX3-950和DMX 3两个型号,仍然采用缓存部分DMX直连通道架构   

北京联动北方科技有限公司

EMC发布DMX3系列

* b2 f+ J8 m1 L/ h- S6 H
! J: b5 e$ z8 W& U
而EMC也马不停蹄在2007年发布了Symmetirx DMX4系列,分为DMX4 950和DMX4两个型号,磁盘后端接口采用了4Gb/sec的后端光纤通道,其中DMX4最大可以支持到512GB缓存,其缓存直连带宽高达 128GB。另外DMX4有一个很大的亮点是2008年初EMC宣布成为业界第一个将在高级储存产品上提供固态硬盘(solid-state drives, SSD)的存储器厂商,客户可选择以73GB和146GB二种容量的固态硬盘(当然现在有了更多SDD磁盘类型的选择),取代部分磁盘阵列中的传统硬盘,以加快反应速度,EMC把基于SDD的磁盘称作tier 0,SDD改变了传统存储器的很多游戏规则(当然紧接着其他公司也立马推出了SDD产品),SDD在随机cache不命中的IO环境中(多用于OLTP数据库交易系统)的表现是非常突出的。   

北京联动北方科技有限公司

! x- K* K" C0 o$ s+ S

+ [! B- F5 G# g4 }& n
Symmetirx DMX4系列

: e+ N; [) M9 A6 ]$ m$ i) T
1 g5 W# T- Q2 b% \7 N


当然在2009年EMC又突破性地推出了Symmetrix v-max企业级存储器,它将突破现有的scale-up架构,而转向了scale out架构,此方面会在其他章节中描述,在本节中就不多叙述了。

逐鹿中原,百花齐放   到底是H系公司的crossbar架构好,还是EMC公司的直连式架构好,有人说交换机灵活扩展,也有人说直连式架构高效快速,还有人说其实IBM基于 Seascape架构的企业级存储器拥有Power芯片的核动力才是真正的最高性能存储器…其实这是在企业级存储市场在产品选型时经常被提到的问题,也需要广大系统管理员和用户自己好好考虑。但有一点是肯定的,高速低延迟的背板或直连技术是做企业级大存储器的关键之一。   我一直强调,其实存储器本质上也是一种计算机,所以其他高级服务器器也会碰到同样的问题,比如HP新一代的Superdome刀片开始用上了 Infiniband交换机连接多个刀片处理器,而最近很火的一个机器就是Oracle新发布的Exadata Ver 2.0,据说是速度惊人,说白了其关键核心是独家采用了最先进的Infiniband交换设备——40 Gb/sec fault-tolerant unified server and storage network,整个数据库机内部配置了3个36-port QDR Sun Datacenter InfiniBand Switches,也就是通过他把很多个小服务器串接起来高效工作。具体配置见下图。   

北京联动北方科技有限公司

, }' t; Q8 Z8 n) [2 q% f# E+ H& C+ z


Oracle Exadata Ver 2.0具体配置

" F: ^' M9 m& Q- l
+ o2 X' K. [- M7 p5 p9 H


统一大缓存存储器的其他产品   除了EMC/HDS以外(HP属于OEM日立的存储设备),还有一家就是富士通的高端存储器了。   

北京联动北方科技有限公司

富士通Eternus 6000的体系架构图

富士通的存储器也分为两个档次,基于模块化集群架构的Eternus 4000系列(上一代是Eternus3000系列),还有就是企业级的Eternus 8000系列(上一代是Etnernus 6000系列)。上图是富士通Eternus 6000的体系架构图,其基本思想是以高速RT(Router)做为核心交换部件,把控制器CM(即control module,控制器。所有的前端端口均配置在各个CM上,CM本身可以扩展)、前端主机接口卡(CA)和后端磁盘接口卡(DA)连接起来。其整体设计思想与H系公司和EMC公司存储器基本上类似,无非是用高速Router代替了crossbar交换机和DMX直连矩阵。   值得一提的是富士通在控制器上率先使用了高速Intel通用处理器用来提高处理速度,这一点走在H系和EMC公司前面(H系公司的存储器一直采用 MIPS芯片,而EMC直到2009年最新的V-MAX发布前一直是采用的powerpc芯片)。   一个完整的富士通6000、8000的连接示意图如下所示:   

北京联动北方科技有限公司

) v. G" \, S) O( p" L5 F
/ N, `$ K7 f! q. p


富士通6000、8000的连接示意图

还有一家NEC公司生产的高端存储器也是采用类似体系架构设计,但在国内成功案例较少,笔者在本文中也就不多做介绍了。   " \& Z0 a0 l$ S$ I
大家也许会奇怪,为什么没有提到IBM,其实在我看来在行业里赫赫有名的IBM Shark系列(现在又叫DS8000系列)虽然也是性能强大,但其核心设计思路是基于Seascape体系架构不断完善和发展,IBM DS8000整个存储器的动力引擎是来自于IBM引以为豪的Power芯片(最新的8700采用了PCI-E快速交换技术),其实IBM公司这种把存储和主机优势结合在一起设计思想也是业界一个发展趋势,也是笔者一直强调的“存储器也是计算机”理论的最佳实践之一,但是由于其体系架构不属于此章节分类(统一大缓存多处理器架构,scale up的存储器),因此就不在此章节介绍了。




赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论