IBM System Storage DS8000 IBM DS8000产品特性介绍 国际商业机器中国有限公司 系统技术部 2007年7月 1IBM System Storage DS8000 目 录 1. 2. IBM DS8000的重点提示 ................................................................... 3 IBM DS8000的强劲性能 ................................................................... 5 2.1 SPC性能评测结果 ............................................................................................................................... 5 2.2 IBM 官方公布的DS8000性能指标 ................................................................................................. 5 2.3 DS8000创造高性能的原因——独有技术 ....................................................................................... 6 3. IBM DS8000的可靠性 .................................................................... 10 3.1 DS8000的RAS原则 ......................................................................................................................... 10 3.2 DS8000的冗余保护机制 ................................................................................................................... 11 3.3 DS8000内部监控和预警系统 ........................................................................................................... 16 3.4 DS8000的自我愈合 ........................................................................................................................... 18 4. IBM DS8000的可管理性 ................................................................. 19 4.1 DS8000的虚拟引擎技术 ................................................................................................................... 20 4.2 DS8000的LPAR功能 ....................................................................................................................... 20 4.3 DS8300随需容量解决方案 ............................................................................................................... 21 4.4 IBM TPC管理工具 ............................................................................................................................ 21 5. IBM DS8000的高级拷贝功能.......................................................... 22 5.1本地快照软件――FLASHCOPY（PTC） ........................................................................................... 22 5.2远程复制软件－PPRC（RMC） ...................................................................................................... 27 6. 7. IBM DS8000的升级扩展能力.......................................................... 30 IBM DS8000一览表 ........................................................................ 31 附录 ............................................................................ 错误！未定义书签。 2IBM System Storage DS8000 IBM TotalStorage DS8000系列提供了高性能、高容量的存储系统，这些存储系统专为提供下一代的性能、可扩展性、弹性和总体价值而设计。专为大中型企业中的关键业务负载而创建的DS8000系列可以帮助客户整合系统存储，简化系统管理和支持系统可用性，满足随需应变世界中企业运行的各种需求。 IBM DS8000是IBM高端磁盘阵列的划时代产品，采用了大量IBM最新的存储科研技术，这使得IBM DS8000在性能、可靠性、可管理性以及升级扩展能力方面均达到了一个新的高度，从而得到广大用户的认可。 1. IBM DS8000的重点提示 IBM TotalStorage DS8000是IBM的“旗舰”随需应变存储解决方案，专为满足当今的随需应变业务对高性能、高容量存储的需求而设计。 IBM TotalStorage DS8000系列可以提供： - 线性可扩展性，物理存储容量可从1.1TB扩展到最高192TB - 多种DS8000系列机型——DS8100（双2-路POWER5+处理器）和DS8300（双4-路POWER5+处理器，提供存储系统LPAR选项），能够实现机型之间的升级，提供业界领先的长期价值。 - 硬件和高级功能4年保修，这也是同类产品中的“第一” - 优异的连接能力和性能，最多可支持32个新的4端口2GB光纤通道/FICON适配器，提供最多128个主机适配器端口。 - 支持最多32个新的2端口ESCON（18MB）适配器，为传统运行环境提供丰富的IBM eServer z系列支持。 - 支持1或2 GB光纤通道/FICON及ESCON混合连接 - “混合和搭配”使用73GB（15K rpm）、146（10K rpm）和300GB（10K rpm）光纤通道连接磁盘，提供了根据不同的负载需求确定磁盘性价比和存储容 3IBM System Storage DS8000 量的灵活性和机会。 - 全新的容错服务器“互连”，通过带宽的增加帮助确保POWER5+双集群服务器的性能平衡。 - 最高256GB高性能高速缓存，支持各种高容量/高性能负载，这些负载只有在DS8000提供的可扩展性和性能的支持下才成为可能。 - 自适应替换高速缓存（ARC），这是一种新的自主高速缓存负载优先级确定和性能优化功能。 - DS8000 4K高速缓存块设计提供的优异高速缓存效率和性价比 - 可变的写高速缓存大小，可帮助提高性能 - NVS（非易失存储）增加到最多8GB - 增强LUN（逻辑单元号）和卷管理 DS8000可支持LUN和卷的无中断创建和删除。当删除一个LUN或卷时，它们的存储容量可以被重新格式化和使用。LUN和卷可以跨多个阵列配置。因此，卷/LUN的大小不会受到阵列大小的限制。LUN的最大存储容量可以达到2TB。此外，现在还可以支持最多拥有65520个柱面的CKD卷。 - 另外，DS8000还大大增强了寻址能力： o 最多可支持256个逻辑子系统（LSS） o 最多可支持65280个逻辑驱动器 o 最多可支持130560个FICON逻辑路径（每控制单元512个逻辑路径） o 最多可支持8000个进程登录（每SCSI-FCP端口509个） - 需要指出的是，寻址边界可以延伸到DS8300上运行的每一存储系统LPAR - 支持流行的IBM TotalStorage FlashCopy（以前的FlashCopy V2）功能 - 标准价格中包括了为DS8000、DS6000和ESS 750、800和800增强型混合环境提供的城域/全局镜像支持，为客户提供了灵活性和投资保护。 - 标准价格中包括了为DS8000和ESS 750、800和800增强型混合环境提供的IBM TotalStorage zOS 全局镜像和z/OS城域/全局镜像功能支持，为客户提供了灵活性和投资保护。 - 并发支持所有的主要服务器平台，包括z/OS、z/VM、OS/400、i5/OS、AIX、 4IBM System Storage DS8000 Linux、HP UX、SOLARIS、NetWare、Windows等 - 标准功能中包括了基于全新IBM TotalStorage DS存储管理器GUI的管理功能。 - 标准功能中包括了对多路径子系统设备驱动器和命令标签队列进行优化的开放系统性能 - 标准功能中包括了多应用和I/O优先级队列等z系列性能优化功能 - 随需备用容量，允许安装可在业务需要时轻松激活的非活动磁盘驱动器 - 安装服务为标准配置，不要求附加收费 2. IBM DS8000的强劲性能 2.1 SPC性能评测结果 业界目前最为知名的存储性能第三方评测机构是SPC（Storage Performance Council）。其依据标准程序对存储产品的IOPS以及吞吐量进行评测。IBM DS8000在最新的SPC测试中公布了SPC-1（IOPS）以及SPC-2（吞吐量）的测试结果。 IBM DS8000测试得到的123,033.40 IOPS（SPC-1）以及3.7GB/S（SPC-2）这两项指标均是目前业界最高的。 SPC组织的会员包含了除EMC之外的业界所有知名存储厂商。EMC原来是这个组织的倡导者之一，但是其于2000年退出了SPC组织。 2.2 IBM 官方公布的DS8000性能指标 IBM官方公布的DS8000性能指标包括了两项： A. 最大IOPS――4,900,000 B. 最大吞吐量――39.34GB/S 5IBM System Storage DS8000 2.3 DS8000创造高性能的原因——独有技术 下图是DS8000的系统架构图，数据从对外接口卡进入；到达核心控制器缓存，如果是写入数据，还会在另一个另一个控制器的Persistent Memory 中保留一份，服务器受到回应些操作结束；数据继续通过控制磁盘设备的控制卡到达后台交换式磁盘网络中。以下就各部分做逐一介绍： 2.3.1 基于POWER5+的核心控制器 DS8000核心控制器在硬件上相当于两台 POWER5+的P570。DS8300的每台控制器上有4个1.9GHz的POWER5+ CPU，16GB－128GB缓存。核心控制器与其他部件通过POWER5+的高速通道RIO－2互联。单个核心控制器的带宽超过60GB/s，两个核心控制器带宽超跃120GB/s. 6IBM System Storage DS8000 DS8300 ( 4-way ) For 2-way chip 4-way 24.9GB/sec x 2 = 49.8GB/sec for 4-way (using 533 MHz DDR2 memory) M Shared L2 Shared L2 CDistributed switch CDistributed switch L3 E M O R Y GX Bus on second processor card GX Bus 5.1GB/sec I/O Drawers 5.1GB/sec (4-way only) I/O Hub 2nd I/O Hub Bandwidth>=(49.8GB+5.1GB+5.1GB)*2=120GB 2.3.2 新型的缓存算法 缓存调度算法是IBM 新一代智能算法 Sequential Prefetching in Adaptive Replacement Cache (SARC) 该算法是一种自我调整和自我优化的缓存调度算法，主要解决哪些数据应该留在缓存，缓存将满时如何排除数据和如何自动化调整缓存算法。其理论详细在 IEEE 的论文中：N. Megiddo and D. S. Modha, “Outperforming LRU with anadaptive replacement cache algorithm,” IEEE Computer, vol. 37, no. 4, pp. 58–65, 2004. 对用户而言，这种算法提高了缓存利用效率，因此加快了数据响应时间。以下是SARC算法在响应时间上相比传统算法的优势。测试环境是在谋联机商业应用。 7IBM System Storage DS8000 2.3.3 设计独特的对外通道 DS8000可以配置2－32块通道卡，每块上提供4个2Gb/s光纤接口。因此最大通道数为128个。每块通道卡也是一个小的控制器，有CPU和专用RAID芯片。每个通道的端口都可以达到38,000IOPS ，并且支持509个对外连接。 8IBM System Storage DS8000 DS8000 FICON/FCP 主机接口卡QDRFibre Channel Protocol EnginePPC750GXProcessor1 GHzFibre Channel Protocol EngineData ProtectionData MoverASICFlashBufferProtocolChipsetQDRData MoverPCI-X 64 Bit 133 MHz•四口的2Gbps 光纤通道•新的高效/高性能的ASIC芯片•元数据创建/检查The POWER to Breakthrough to Information On Demand | IBM©2005IBM Corporation 2.3.4 最优化的内部磁盘系统 DS8000最大有16个磁盘控制器，每个控制器上有4个全交换光纤口。每个控制上有CPU和专属的RAID芯片。因此类似RAID重建和出错控制等，都可由磁盘控制器来完成，不需要占用系统的缓存和核心控制器的资源。 DS8000 RAID 设备适配卡PPC750FXProcessor500 MHzSDRAMFibre Channel Protocol EngineBridgeFibre Channel Protocol EngineRAID -Data Protection -Data MoverASICBufferProtocolChipsetPCI-X 64 Bit 133 MHzData Mover•四口的2Gbps 光纤通道•新的高效/高性能的ASIC芯片•元数据创建/检查The POWER to Breakthrough to Information On Demand | IBM©2005IBM Corporation 内部磁盘网络是一个全交换的光纤系统，每个磁盘都有4个通道连接到磁盘控制卡上，突破了传统磁盘光纤环路的仲裁方式。 9IBM System Storage DS8000 交换式的光纤通道磁盘系统交换式的光纤通道•每个磁盘与接口卡通过点到点的连接互连•预测错误状态•在Fabric间没有统一的硬件•减少仲裁造成的延迟•每个域内可以有两个同时的操作. 比传统的FC-AL仲裁环提供更高的传送效率Dual-ported Fibre ChannelDisk DrivesThe POWER to Breakthrough to Information On Demand | IBM©2005IBM Corporation DS8000支持73GB和146GB 10000转及15000转磁盘；支持300GB 15000转磁盘。最大磁盘数量640个。分三个柜子摆放，第一个柜子可放128个磁盘（控制器也在这个机柜中，第二、三个机柜可以摆放256个磁盘。 DS8000支持不同磁盘得混用和不同RAID得混用。RAID以8个磁盘为一组。下面图是配置RAID5 TBDS8300磁盘的分布情况。共两个柜子。绿色磁盘代表数据空间，红色P代表校验磁盘，蓝色S代表了hotspare磁盘。图示是假设第一个柜子128个磁盘是RAID10，第二个柜子是RAID5。 3. IBM DS8000的可靠性 磁盘阵列的可靠性也是重要的考量指标，数据安全性是客户最关注的问题。 3.1 DS8000的RAS原则 IBM DS8000的RAS理念是以自我配置、自我愈合、自我优化、自我保护为原则。体现在4个方面： 前瞻功能 ☞ 监控系统可能发生的错误，采取适当措施避免错误的发生； 冗余部件 ☞ 冗余的部件和数据通路，防止单点故障； 10IBM System Storage DS8000 自我愈合 ☞ 提供自动愈合机制，无需系统中断运行； 维护简捷 ☞ 具备自我报警功能，配备快速定位错误的工具。 DS8000 RAS体系目的是以最优秀的产品设计，尽可能避免发生问题；一旦发生问题，可自我修复或重现错误；可以快速诊断发生问题的原因，需要的话可重配系统；做到自动报警，修正错误，争取在最短的时间内恢复正常运转。 3.2 DS8000的冗余保护机制 DS8000的冗余机制是建立在透明接管、自动恢复和自动隔离基础上的。例如某个控制CPU发生，其他CPU会立刻承担其工作；DS8000内部处理程序会检查并重启这个部件，如果能修复则该部件回到正常状态，如果不能就隔离出该部件。 从DS8000的通道卡到磁盘、电源和冷却系统都体现这种RAS。 3.2.1 对外通道的冗余和流量均衡 任何一台服务器与DS8000之间的多条光纤路径之间通过SDD软件实现流量均衡。SDD负责将服务器的数据一直送入DS8000通道卡为止。在这个过程中无论是服务器通道卡故障、光纤故障、SAN交换机故障都不会中断服务器和存储之间的数据传输 11IBM System Storage DS8000 HostSDDSANSAN4-way P5 1.9GHz Server4-way P5 1.9GHz ServerMemory DIMMsMemory DIMMsP5P5Memory DIMMsMemory DIMMsMemory DIMMsMemory DIMMsMemory DIMMsP5P5Memory DIMMs……12Presentation Title| Presentation Subtitle | Confidential©2004 IBM Corporation 3.2.2 核心控制器层/缓存的冗余保护 DS8000是以2台P5 的SMP服务器作为核心控制器，其他资源都连接到这两个核心控制器上，形成一个类似左右对称的结构。如果左面部件有故障，那么右面的部件会自动承当工作。两个P5的SMP之间也是相互备份的，同时工作的。这两个P5服务器之间的紧耦合方式不同于普通P5的HACMP集群软件，内部的切换对外部应用没有停顿。 对数据存储的安全性而言，缓存的设计是非常重要的。IBM DS8000的缓存比原来ESS800磁盘更近一步。首先，利用以下手段客服单片缓存发生的问题： 缓存发生单位错误，可通过ECC纠正之并发现双位错误； 当缓存操作空闲时，对于缓存中出现的软性的单位错误，可以利用缓存檫洗给予校正，避免连带产生的多字节错误； 12IBM System Storage DS8000 缓存位迁移（bit-steering），当缓存芯片中单位错误次数累计达到极限时，会将此失效缓存偏离线，动态移到备用的缓存模块上，保证正常的缓存操作，避免整片缓存的切换； 缓存位分散（bit-scattering），采用类似磁盘的RAID技术，允许当一缓存芯片整个出现问题时，使多数位字节分别打散到4个受ECC保护的缓存芯片上进行Chipkill数据恢复，保证系统继续运行； 其次，写数据在两个内部SMP server间是相互镜像的，如下示意图。这样避免整块缓存损坏或不可用造成数据丢失的状况。 上图中的Cache Memory和NVS（非易失性存储）其实是一体化的，电池保护的是整个缓存。NVS的大小也是动态改变的，主要是根据写缓存的需要而调整大小，另外也受到电池组电量的影响。在发生外部电源故障时，如果缓存内数 13IBM System Storage DS8000 据还来不及写入磁盘，DS8000的缓存电池组会支持将写缓存中的数据高速写入P5 SMP服务器内置的镜像磁盘上。这样避免了NVS存在时间期限的情况（如ESS800的NVS支持7天的时间，超过7天仍然没有恢复，NVS数据将无法继续保存）。 3.2.3 内部磁盘的保护 P5控制器上通过RIO连接了控制磁盘和RAID的device Adatper （DA卡）。DA卡连接的是磁盘的光纤交换网络，每个DA卡都有4个端口。 其中每2个端口连接到一组交换机上，2个DA卡组成1个DA pair，磁盘存在于DA pair中，DA pair 与磁盘通过4个光纤交换网络连接。每个单体磁盘有4个光纤通道，每2个光纤通道去到一个交换机。如下图： 14IBM System Storage DS8000 因此在从P5控制器到磁盘之间经过DA卡，交换机和磁盘通道，这些部分都是有冗余设计的。任何单点损坏都不会影响磁盘的正常工作。 而且，由于有专用的DA卡及其上的ASIC芯片处理RAID，所以RAID组的重建等工作不需要递交到总控制器，也不会占用整个系统的缓存。 DS8000当前RAID方式是5和10，DS8000中的hotspare磁盘是标准配置。随着磁盘数量的增加而成比例增加。其原则是在每个DA pair中至少保持4个hotspare。这些hotspare不是指定到RAID 组的（这与ESS800不同）。因此如果有磁盘损坏，一般有4个（至少有2个）hotspare盘可以立刻顶替上。 3.2.4 电源、电池和冷却系统的冗余 DS8000的进电是两路三相电，任何一路进电都可支撑整台DS8000的正常运 15IBM System Storage DS8000 行。DS8000的电池是N＋1冗余设计，即使有部分组电池损坏，仍然拥有足够电力处理类似NVS保护等工作。 如果不连接UPS，客户可能会面临外部电源不稳定的情况。DS8000可以容忍的外部电源突然中端时间达50秒，只要50秒内恢复电源，DS8000不会紧急关机。 DS8000中的风扇冷却系统将空气从下部吸入，均匀穿过整个磁盘阵列后，从上部排除。风扇有冗余控制，如果每个风扇停止运行，其他风扇会加快出风量，保持整体的冷却效果不受影响。 3.3 DS8000内部监控和预警系统 FFDC做到全方位错误诊断 实时捕获软硬件错误信息(Frist Failue Data Capture)，是确定和诊断错误的关键，也是目前IBM独有的技术。P5中最多80,000个错误检查点（error cherker），它们负责实时对资源进行监控，超过29,000个错误寄存器（FIR）能够准确反映出当时的机器状态。当错误发生时，可以准确定位出初始的错误根源，定位需要更换的部件（FRU），巨大地减少了服务时间，提高了系统的可利用率。这一切对操作系统是完全透明的。 16IBM System Storage DS8000 一般而言，部件的损坏是个渐进过程，是有迹可循的。因此，p5对重要部件进行不间断的监控，包括处理器、内存、缓存、I/O系统、PCI-X槽位、适配卡以及内置硬盘等， 当某个部件出错次数达到一个阀值时，便将此部件隔离并重新分配系统此类部件资源，避免系统因此部件出错而导致中断运行。 除上述的防患于未然的措施外，p5还能从断断续续的错误中识别，哪些可以自动纠正，哪些需要进一步的隔离和维修。系统总线的奇偶校验、 RIO-2的循环冗余校验、用于内存和处理器的错误纠正代码等，无一例外地提高了整台DS8000的RAS特性。 DS8000对外报警和预警 当DS8000内部故障处理系统需要向外传递信息时，会通过以下三种主要方式报警： 1， DS8000本体报警。面板灯变黄，同时控制界面报警 2， 远程报警。通过Modem报警到IBM服务中心，或特定电话号码上。 17IBM System Storage DS8000 3， 基于SNMP的报警，可被系统管理软件接受。 DS8000的预警设定和报警主要通过IBM TPC for disk软件实现（见TPC介绍）。 3.4 DS8000的自我愈合 DS8000在P5的控制下，可在线治愈本身出现的多种错误。出现硬件或软件故障被隔离后，当新的部件被更替到DS8000中，自我愈合的能力使得DS8000可以在线将新的部件加入系统，更替旧部件，从而回复到整台设备的完全健康状态。 由于DS8000的完全冗余设计，因此所有部件都可在线更换、升级。例如： 1， 较常见的如磁盘RAID重建、电源、风扇的故障恢复 2， 微码在线升级 DS8000的各部件都有自己的微码，各部件都可在线升级微码，包括控制器、通道卡、电源、风扇。 3， P5 系统的自我愈合能力 单个P5系统的CPU和内存故障被隔离后，DS8000在重新修复的过程中，会透明地将这台P5工作先转给另一台P5。等故障部件被修复后，再重新分担。 单个P5系统的PCI总线的错误可自我愈合。 P5能够处理PCI brige和GX+ bus卡潜在的错误，这使添减整个的I/O抽屉成为可能；使在不影响系统运行的情况下，提供快速的联机维修服务。 18IBM System Storage DS8000 所有磁盘交换机、主机通道卡与控制器之间都是通过I/O抽屉连接的，因此所有磁盘、通道、电源风扇相关的愈合不需要P5控制器之间的切换过程。 4. IBM DS8000的可管理性 IBM DS8000在可管理性方面进行了大量的投入，引用了虚拟引擎的技术和LPAR技术，并可以采用目前业界最新的TPC管理软件，对系统进行全面、细致、直观而可学的管理和监控。 19IBM System Storage DS8000 4.1 DS8000的虚拟引擎技术 IBM DS8000内置了IBM领先的虚拟存储引擎，通过这个内置的虚拟存储引擎，IBM DS8000可以向前端连接的不同操作系统服务器提供同一卷管理界面，这大大简化了存储设备的管理工作。同时由于所有的数据卷均是在存储资源池的基础上构建的，用户就可以根据自己的实际需求进行资源的调配，包括卷大小的调整，数据目标地的调整等等。 4.2 DS8000的LPAR功能 类似于服务器上的LPAR技术，IBM DS8000也可以将一套磁盘阵列根据不同的业务需求划分为几个逻辑上独立的磁盘阵列。不同的逻辑磁盘阵列使用不同的资源并实现相互之间的资源动态调整。这给DS8000的用户带来以下好处： 20IBM System Storage DS8000 1、不同业务系统之间由于使用独立资源，可以避免业务高峰期时候可能产生的IO性能冲突问题； 2、可以协调不同的业务系统在不同时间点需要的资源，从而保障各个业务系统的资源优化使用。 4.3 DS8300随需容量解决方案 IBM提供的随需容量解决方案专为满足快速增长电子商务的不断变化的存储需求而设计。备用CoD功能使您能够获得更多的存储，当您面临快速或无法预测的增长，或者您只需知道当自己需要时可以获得更多存储的情况下，这一功能特别有吸引力。通过这一功能，您可以在自己的系统中现场安装(或在出厂时安装)最多4组备用CoD磁盘驱动器(64个磁盘驱动器)。当需要激活时，您只需对这些磁盘驱动器进行逻辑配置即可——这一不需要中断系统运行的活动不要求IBM的干预。在激活备用CoD磁盘驱动器组的任何部分以后，您必须向IBM进行订购才能完成激活磁盘组的结算。那时，您还可以订购更换备用CoD磁盘驱动器组。 另外，DS8000产品提供的IBM随需备用容量功能还允许您根据系统的物理容量(不包括尚未配置的备用CoD容量)来购买各种需要许可证才能使用功能，这将可以帮助降低您的拥有成本，因为您可以只在需要增加自己的磁盘容量时才扩展IBM授权许可功能的适用范围。为进一步降低拥有成本，客户在购买这一功能时不要求支付溢价。备用CoD磁盘驱动器组必须在安装后12个月内激活；所有这类激活都是永久性的。 4.4 IBM TPC管理工具 IBM TPC管理工具能够对IBM DS8000磁盘阵列的性能进行全面综合的监控管理，还能够对磁盘阵列的设备信息，拓扑信息和资产信息进行统一综合管理，并能够配置磁盘阵列相关的异常告警管理。有关TPC的详细介绍另卷提供。 21IBM System Storage DS8000 5. IBM DS8000的高级拷贝功能 IBM DS8000上目前使用了最新版本的本地快闪拷贝技术（Flash Copy）和远程数据复制技术（PPRC）。这两个技术其它厂商均有类似技术。特别值得一提的是，IBM DS8000上采用的异步容灾技术（Global Mirror）在业界同类技术中有特别的优势，其丢失的数据量仅为系统3-5秒钟产生的数据量，远远领先于其它厂商。 有关IBM PPRC与其它厂商类似技术的比较另卷提供。 5.1本地快照软件――flashcopy（PTC） 5.1.1 多种功能的FlashCopy FlashCopy（IBM TotalStorage弹性系列中的关键成员）为DS8000用户提供了业界领先的时间点拷贝和灵活性。通过提供高性能和NOCOPY（首次写拷贝）选项，Flashcopy可支持多种高级功能，包括 （1） 多目标的 Flashcopy。 多目标的快照即适用于卷集备份，又适用与数据集级备份。如下图所示： LUN or VolumeData SetOne-to-many (multi-target)Data SetData Set 一个源集可以有多达12个目标集。 优势： 提高了操作的灵活性和管理效率。 增加了容量的管理和利用率。 为数据挖掘，测试应用提供了附加的备份数。 22IBM System Storage DS8000 注：如果要将瞬间复制的目标卷，作为另一个FlashCopy的源（级连式复制），需要等前一个FlashCopy完成内部实际复制后，才可实行。 （2 ） 增量快照功能。 在初始化快照完成后，可以实施增量快照以提高速度。如图所示： Initial FlashCopy(Background Copy withChange Recording enabled)Incremental FlashCopy(Copies only changed data)AInitial Copy0000000000BAA Changed DataBB ORChanged Data -- 增量备份要选择“Backgroud copy\"功能。 -- 只备份改变的数据。 -- 源卷和目标卷备份方向可以改变，即从目标卷作为源卷向源卷（现在的目标 卷）增量备份。如上图。 优势：提高了物理快照的实际完成时间。 提高了Flashcopy的使用灵活性，性能和可扩展性。 （3） Flashcopy一致性组的建立。 为了保证相互关联的几个卷快照数据的一致性，我们可以建立一致性Flashcopy组，在T0时间内实现多个卷的快照。 （4） Inband FlashCopy. 可以通过PPRC的连接实现FlashCopy远程控制。提高了可管理性和可实用性。 （5） Flashcopy的源和目标可以位于同一台DS8000磁盘阵列的任何位置，无需事先划分指定. 23IBM System Storage DS8000 5.1.2 FlashCopy 内部机制 FlashCopy可以在后台实际数据并没有完成的情况下，对外参现完全独立的两份数据卷（源和目标），应用不用关心其后台复制是否完成，这些卷就像正常卷一样使用。FlashCopy还有NoCopy选现，即数据并不真正复制，只是磁道指针表复制。这种机制使得无论是第一次做FlashCopy还是第n次，目标卷都可以在几秒到几分钟内复制完毕，达到T0级复制。 实现这种方式的原理是，内部使用了位图方式。 例如采用NoCopy的复制原理如下，下面描述都是内部过程，与外部服务器使用是无关的。 当快照刚完成时，源和目标卷是完全一致的。目标卷上没有任何数据。有一个bitmap的位图表，每个标志位（0或1）代表每个磁道数据是否与源一致。刚做完复制时，所有位都是1。如果此时有外部对目标的读操作那么全部会被指针引用源卷上的磁道数据。 随着时间，源卷数据被改变，在tx时间、ty、 tz时间某些磁道有写操作。此时，DS8000会将数据（t0时间）复制到目标卷的对应磁道上。然后在该磁道标示位标0。如果目标卷上有对相应磁道的访问，看到标示位为0，那么不会再到源卷去寻址，直接在目标卷寻址。如下图 如果有对目标卷的更改，那么目标卷对应磁带会记录新数据，并将该磁道标示位置0，今后 24IBM System Storage DS8000 目标卷上有对相应磁道的访问，看到标示位为0，那么不会再到源卷去寻址，直接在目标卷寻址。如下图所示： FlashCopy软件就是通过位图的方式，实现各种复制功能的控制和调度。例如，增量复制，也是根据位图上标志位的情况，将不一致的磁道重新复制，而不需要复制所有磁道。 DS8000的快照软件还可以和TSM,NETBACKUP等备份软件接合，实现Server free的备份方式。例如与TDP For Hard Ware的集成使用，用户可以完成数据库的在线的DB Server Free的数据备份 快照软件主要用在需要高速复制数据的情况，例如批处理的备份，原来可能需要2小时，用快照，5分钟就完成了。当然，快照做的时候，需要静止应用5分钟，所以要与应用接合考虑使用的场合。 以下是UNIX(AIX)平台执行FlashCopy流程的介绍。 25IBM System Storage DS8000 FlashCopy流程预先准备过程(不影响应用)：指定FC的对应关系4,源卷mount3,磁盘卷FlashCopy指定副本卷的映射给哪台serverServer看到副本卷5,源卷上的应用恢复6,副本卷使用1,源卷上应用停止或暂时挂起7,结束2,(建议)unmount源卷挂起FC，下次重复使用回到1开始 该流程的每一步骤的命令可以写在一个Script里面。 准备过程：在阵列上设定FlashCopy 的源和目标卷；将目标卷分配给AIX服务器（与源卷所属的服务器不是同一台）；然后在AIX服务器上检查外设，看到这个卷 步骤1，应为在做瞬间复制的刹那，不能有I/O，所以需要停止或冻结源卷上的应用。 步骤2，为了彻底保证没有对源卷的I/O，建议unmount 源卷 步骤3，执行FlashCopy （约几秒到几分钟时间，视卷的数量） 步骤4和5,是恢复源卷上的应用 步骤6，副本的使用，例如对副本卷上数据的备份。其中要做的是： recreatevg -> mount file system-> 用备份软件或工具备份数据 步骤7，结束 如果需要再次使用这个FlashCopy，可以重新执行一遍。 由于上述有些步骤是发生在两台服务器上的操作，可以用rshell来执行shell。 例如以下命令建立了一个FlashCopy，可以看到指令的设定是相当简单的。 #============================================================ #=== establish FlashCopy relationship #============================================================ #--- remove existing FlashCopy relationships for volume 6100 #------------------------------------------------------------ rmflash -dev IBM.2107-7506551 -quiet 6100:6300 #------------------------------------------------------------ #--- establish FlashCopy relationships for source volume 6100 #------------------------------------------------------------ mkflash -dev IBM.2107-7506551 -nocp -seqnum 01 6100:6300 26IBM System Storage DS8000 #------------------------------------------------------------ #--- list FlashCopy relationships for volume 6100 #------------------------------------------------------------ lsflash -dev IBM.2107-7506551 -l 6100 5.2远程复制软件－PPRC（RMC） 5.2.1 同步方式和异步方式 DS8000的远程复制功能有PPRC和XRC。XRC是IBM主机zSeries平台使用的，在本次项目中主要是PPRC。 基于磁盘的镜像方式是由存储设备控制通过数据通道，以逻辑卷为基本单位，将本地磁盘阵列上的数据镜像到远端的同构磁盘阵列上――比如IBM的PPRC和EMC的SRDF。 基于磁盘的镜像功能传统上提供2种工作方式，同步（左图）和异步方式（右图）： 在同步方式下，磁盘镜像功能只有在本地和远程磁盘都完成写操作后才会向主机发回“IO完成”消息，以确保源卷和目的卷的数据彻底一致。 好处是： 可以保证数据不会丢失 可以保证数据的一致性 缺点是： 对网络和距离要求很高：需要高带宽和距离一般不能超越城域 对生产系统的性能影响也比较大 27IBM System Storage DS8000 在异步工作方式下，磁盘镜像功能能够在远端更新未完成的情况下，只要本地更新成功就可以向主机返回“写成功”信号。 好处是： 对网络和距离的要求非常低 对性能的影响非常小 坏处是： 数据一般情况下会丢失 普通异步方式无法保证IO的次序，所以在进行异步操作时，远程镜像卷始终处于异步造成的“不一致”状态，直到所有数据“全部传递完毕”。如果应用是7*24小时不间断的，就无法达到数据“全部传递完毕”状态。所以，异步备份一般只用于数据移植，或者和磁盘本地镜像结合，用于传递相对静止的数据 5.2.2 保证数据一致性的异步远程镜像 为了同时利用同步的数据一致性优势和异步的性能/距离优势，各个存储厂商都推出了一些能够保证数据一致性的异步远程镜像方式，主要是IBM 的PPRC GM 和EMC的SRDF/A。 为了100%的保证数据一致性和可用性，所有类似的技术都必须采用3份数据的方式进行操作（本地1份，远程2份）。 IBM PPRC GM的工作方式如下： 工作方式如下（其中绿色为生产站点磁盘
，橙色和蓝色< FlashCopy目标盘>为容灾站点磁盘）： 28IBM System Storage DS8000 1. 绿色和橙色磁盘之间进行PPRC-XD异步操作 2. 绿色磁盘组根据预先设置的时间，生成“一致性组”（Consistency Group），并记录状态 3. 采用PPRC-XD异步操作方式，将且只将“一致性组”记录下来的数据传递从绿色磁盘组传递到橙色磁盘组 4. 3完成后，立刻将橙色磁盘组数据FlashCopy到蓝色磁盘组，进行一致性数据保留 5. 4完成后，回到步骤1 由于有“一致性组”的保护，虽然采用异步方式，一旦每一个“一致性组”数据包传递成功的那一时刻，橙色磁盘组的数据是一致的；由于步骤4，蓝色磁盘组将能够保留最近一次“一致性完全”的数据。一旦出现灾难，客户丢失的是两次生成“一致性组”间隔之间的数据。 如果网络发生故障，PPRC GM会等待网络恢复，重新生成“一致性组”（对于经历的较长时间网络故障的系统而言，只是新的“一致性组”中的数据会比较大而已），继续进行PPRC GM的正常操作。 PPRC GM能够每3～5秒生成一次“一致性组”，意味着客户即使采用异步方式，也有可能只丢失3～5秒的数据。 5.2.3 PPRC复制技术的优势 IBM PPRC在同步协议上单次握手协议是目前最高效率的同步协议，与其他协议相比，对带宽的要求更低，性能和效率也更高。例如同样传输100MB数据，其他协议需要传送的控制信息和来回确认信息是PPRC的3－5倍。因此，PPRC 2个链路的效果往往与其他协议4个链路相当。 IBM PPRC GM异步协议的优势在于数据丢失少，而且对生产系统存储的压力最小。无需生产磁盘消耗资源去为每个IO排序，也无需在内存中囤积“增量组“。 IBM PPRC同步和异步是一个软件许可证，而且在使用中可以切换这两种模式。 5.2.4 PPRC的设置和恢复步骤 PPRC的初始化设置由IBM专业服务负责完成，包括两个中心的DS与服务器连接，PPRC链路的建立和测试。用户可能涉及到的操作，是1，建立或恢复某些磁盘卷的PPRC连接；2，删除或暂停某些磁盘卷的PPRC连接；3，在备份中心启动应用(即灾难接管)；4，将应用从备份中心再切换回生产中心。 初始化步骤： 1， 确定需要做PPRC的Source卷和Target卷，其中源(Source)是有数据需要复制到目标 29IBM System Storage DS8000 卷(Target)中去 2，确定Target卷对服务器而言处于卸载状态 3， 在DS 管理软件中设置PPRC的源和目标(也可通过命令行来设置) 4， 设置路径 5，设置任务，如建立连接，恢复被暂停的连接，暂停，删除连接等。 在初始化阶段可以利用PPRC用于数据迁移的异步方式Globe Copy，Globe Copy与GlobeMirror不同之处在于它并不保证数据一致性，但对磁盘系统压力最小，不影响生产。当大部分数据迁移顺利完成后，将Globe Copy转成同步，这样所有数据就一致了，初始化完成。今后如果是用Globe Mirror，则再从同步模式转入Globe Mirror 的异步。 灾难切换步骤 应用从生产中心切换到备份中心可以是有计划切换(如计划停电，或计划整修等)，也可是无计划(主要是由于意外的灾害引起的)。 在正常运行情况下，PPRC始终在工作，数据保持同步。备份中心的服务器处于开机状态，但应用不启，也不Mount(装载)那些同步的磁盘卷。这是为了发生防止访问冲突。 整个切换步骤如下， 1，确定需要切换。即确定灾难发生，或是确定需要做有计划的切换。 2，如果PPRC还未断开，断开PPRC。 3，完成网络物理切换。 4，备份中心装载磁盘卷和相应文件系统。 5，备份中心加载应用 6，恢复业务的正常运行 整个过程一般在15－60分钟内可完成，IBM的PPRC专业服务将帮助用户做模拟演习，确保切换的成功，并估算恢复所需要的时间。 6. IBM DS8000的升级扩展能力 IBM DS8000是一个具备型号间升级能力的产品系列。目前IBM 发布的DS8100可以在线升级为DS8300，而DS8300今后也可以在线升级为DS8500和DS8700，这种能力是目前业界其它厂商均不具备的。这种在线的升级扩展能力给用户带来的好处有两个： 1、节约投资 30IBM System Storage DS8000 DS8000的在线升级避免了因为容量、性能等方面不足而进行重新采购的困难，节约客户投资。 2、方便管理 在线的升级大大降低扩容工程实施的难度，同时由于是在一个磁盘阵列内部，我们可以依托虚拟存储引擎技术和LPAR进行很方便的进行资源的重组，避免由于增加新的磁盘阵列而带来的数据迁移、容灾系统重新实施等高风险工作。 7. IBM DS8000一览表 IBM SystemStorage DS8000一览 机型 处理器 处理器配置 虚拟引擎（LPAR）功能 高速缓存（最小/最大） 主机适配器接口 DS8100（931） POWER5+ 双2-路 无 16GB/128GB 4-端口4/2Gb光纤通道/FICON，2-端口ESCON DS8300（932，9B2） POWER5+ 双4-路 可选 32GB/256GB 4-端口4/2Gb光纤通道/FICON，2-端口ESCON 2/32 4/128 FC 16/1024 最多16个4-端口2Gb/秒FC设备适配器 512TB 73GB (15000 rpm) 146GB (10000 rpm) 300GB (10000 rpm) 500GB（7200 rmp） 5，10 193×84.7×118.3厘米 包括1个扩展机架时： 193×169.4×118.3厘米 包括2个扩展机架时： 193×254.1×118.3厘米 1307千克（2880磅） 添加的每一扩展机架： 主机适配器数量（最小/最大） 2/16 主机端口数量（最小/最大） 4/64 驱动器接口 设备适配器 最大物理存储容量 磁盘大小 FC 最多8个4-端口2Gb/秒FC设备适配器 115TB 73GB (15000 rpm) 146GB (10000 rpm) 300GB (10000 rpm) 500GB（7200 rmp） 5，10 193×84.7×18.3厘米 包括1个扩展机架时： 193×169.4×118.3厘米 磁盘驱动器数量（最小/最大） 16/384 RAID级别 外形（高×长×宽） 最大重量 1189千克（2620磅） 添加的每一扩展机架： 31IBM System Storage DS8000 1089千克（2400磅） 工作环境 最高湿球温度 相对湿度 卡路里值BTU/小时 电源 电气要求kVA 23oC(73oF) 20-80% 30000 三相50/60Hz 8.7 1089千克（2400磅） 23oC(73oF) 20-80% 30000 三相50/60Hz 8.7 32