UFS测试报告

UFS产品

监控应用测试方案

文档类型 保密级别：高 中 低 00/00/2010 1/7

www.coolcloudz.com

第1章 UFS产品介绍- ........................................................................................................................................................ 2

1.1 系统架构 ............................................................................................................................................................... 2 1.2技术优势和分析 .................................................................................................................................................... 3 第2章 测试规范 ................................................................................................................................................................. 4

2.1 测试目的 ................................................................................................................................................................ 4 2.3 测试环境需求 ........................................................................................................................................................ 4

2.3.1 硬件需求 .................................................................................................................................................... 4 2.3.2 软件需求 .................................................................................................................................................... 5 网络IP分配 ......................................................................................................................................................... 5 2.4 测试网络拓扑 .......................................................................................................................错误！未定义书签。 2.5 测试方法 ................................................................................................................................................................ 6 第3章 测试结果 ............................................................................................................................................................... 7

第1章 UFS产品介绍-

UFS是UIT File System的缩写，是UIT自主开发的大规模分布式并行文件系统。UFS采用元数据和存储数据分离的非对称式架构，通过负载均衡和数据并发访问策略，在普通硬件条件下获得高达数十Gbps的传输速率。UFS提供PB级的存储容量，并根据用户应用发展的趋势，适时按需进行在线动态扩展。UFS的设计内置了基于对象的数据管理策略，能够保证系统局部发生故障时数据的安全性和可靠性，彻底消除存储系统中的单点故障，结合自动故障探测和快速故障恢复技术，确保用户的应用持续稳定地运行；同时减少部署和管理的难度。

1.1 系统架构

UFS能够以大量的通用服务器和存储设备为基础，构建一个大规模存储集群，提供PB级的存储容量，并能够在线进行容量的扩充，所以以UFS为基础搭建的大容量存储系统整体成本远低于传统存储架构，并且具有良好的可扩充性和灵活性。

UFS存储系统主要由元数据服务器集群、存储服务器集群和存储网关集群三大部分组成。

文档类型 保密级别：高 中 低 00/00/2010 2/7

www.coolcloudz.com

 元数据服务器集群：管理文件系统的元数据（包括文件目录树组织、属性维护、文件操作日志记录、授

权访问等），管理整个存储系统的命名空间，对外提供单一的系统映像。

 存储服务器集群：管理磁盘和卷，存储用户的文件数据，是整个UFS存储系统的存储资源提供者。  存储网关集群：UIT UFS Storage Gateway，简称UCSG，以Active-Active方式提供其他非客户端的标

准文件协议访问方式，支持NFS、CIFS、FTP等协议。

下图是UFS的系统架构：

图1 UFS系统架构

1.2技术优势和分析

UFS具有以下优势及特点：

 海量存储：UFS可支持数十PB 级的存储容量，高效的管理上百亿个文件。

 数据共享：采用全局命名空间，所有应用服务器看到一致视图，方便用户数据的统一管理，并简化应用

系统的开发。

 高性能：UFS凭借高效数据读写技术和文件查询技术，能够提供高达几十个GB 的稳定聚合带宽以及每

秒数十万个的IOPS。

 高可用：自动故障探测和高效的自动故障处理和相应容错，系统全冗余技术（包括元数据服务器集群、

存储服务器集群、网关集群），不存在单点故障，保证了系统的高可用特性。

 易扩展：UFS 提供了在线扩容功能，无需中断业务运行，同时系统的总体IO 带宽随着规模的扩大成线

性增长。

 多数据通路：UFS 可以同时使用多条高速数据通道，可消除网络层的单点故障，进一步提高系统的高可

文档类型 保密级别：高 中 低 00/00/2010 3/7

www.coolcloudz.com

用性。

 易管理：UFS 配有简单易用的图形化管理和监控界面，支持通过专用的安全通道进行远程配置和全系统

监控。

 低成本：无需专用存储硬件，利用各种通用硬件构建，大大的降低了存储系统的拥有成本。

 易使用：提供支持NFS/CIFS/FTP标准协议的UCSG网关系统，并提供遵循POSIX 标准的文件级接口，完

全标准的文件系统锁。

 在线升级：提供简单灵活的在线升级功能，极大提高了系统的稳定性。

第2章 测试规范

2.1 测试目的

UFS产品从设计和系统架构来说，对于大规模并发的数据读写有先天的优势，理论上适用于某些需要大并发读写数据的行业和应用。为了更好的了解UFS的适用范围和具体表现，计划模拟一些应用场景，在相应环境下对UFS的兼容性，可靠性，扩展性和性能进行测试验证，以找到最优应用场景以及后期做针对性调整的依据。

2.2 测试环境需求

2.2.1 硬件需求

部件 UFS客户端 数量 描述 16*2 2套16client环境，一套为16台centos，一套为16台windows xp。服务器物理机4台（装有xenserver），每台上4虚拟机（CentOS5.4 / Windows2003，每台虚拟机2G内存，并均配有一个千兆网卡） 物理机采用Dell R610， CPU:Intel Xeon E5620 @2.40GHz 48G内存 控制节点 2 服务器 Dell R610， CPU:Intel Xeon E5620 @2.40GHz 48G内存 CentOS5.4（bit） 存储节点 8 UIT BX1200-HE, BX1200-LE SATA 2TB* 6 (4GB内存,1GbE *2)

文档类型 保密级别：高 中 低 00/00/2010 4/7

www.coolcloudz.com 以太网交换机 以太网线 1 提供48口千兆以太网交换机 若干 5类，千兆，长度确保可以同交换机连接 表1 硬件需求列表

2.2.2 软件需求

部件 操作系统 数量 若干 描述 CentOS5.4，安装在UFS分布式文件系统的控制节点，数据节点和计算节点上。 UFS分布式文件系统 模拟测试软件 1套 UFS分布式文件系统，安装在UFS分布式文件系统的控制节点和数据节点和计算节点（客户端）上 UServerHawk Iometer -2006.07.27. dd 上海思华公司测试软件 测试UFS环境下 windows客户端 的读写性能 用于测试linux客户端下的读写性能 表2 软件需求列表

网络IP分配

UFS客户端 16 Centos 虚拟机 172.20.10. (21~36) 172.20.10. (61~76) 172.20.10.（1/2） 172.20.10. (101~108） 16 虚拟机 Windows xp 控制节点 存储节点

2 8 服务器 UIT BX1200 2.3 测试方法，

下图是本次UFS测试拓扑图

文档类型 保密级别：高 中 低 00/00/2010 5/7

www.coolcloudz.com

图2 UFS测试拓扑图

基本测试方法如下：

在多个服务器（虚拟机）上安装UFS客户端（windows xp和centos），使得该服务器可以访问UFS； 在windows环境下，在16台客户端上安装Iometer -2006.07.27。并分别测试了了如下参数： （1）、256 Block size，100%Read，100Sequence （2）、256 Block size，100%write，100Sequenc

在centos5.4环境下

(1)、 dd if=/dev/zero of=file1 bs=256k count=100----写

dd if=file1 of=/dev/zero bs=256k-----读 （2）、公司提供的视频流服务器软件测试

第3章 测试结果

1、无锡测试结果 Windows环境 Linux环境 16台客户端 16台客户端 8台存储 8台存储 读 572.74 MB/s 505.6 MB/s 写 320.1 MB/s 659MB/s 2、思华测试结果

文档类型 保密级别：高 中 低 00/00/2010 6/7

www.coolcloudz.com

测试环境：

1台高配服务器-- 16G 内存，四核 硬盘 87T

IP：172.20.10.40 主要作为流服务服务器

测试文件 2.1码流 82M ts格式 测试结果： 并发数 200 500 700 1000 CPU 17% 50% 70% 80% 负载 1.3 8 9 9 磁盘io 15 18 26 28 内存 500M 0M 0M 560M 说明：

82M ts格式 --是指单个视频流为82M

2.1码流--单线程2.1Mbps

负载--top命令中4个cpu总的load average，一般不超过10（4cpu），则算正常 磁盘IO--vmstat 中cpu一栏，\"wa\"信息，“较高” 内存--172.20.10.40服务器上开启的视频流进程所占用内存

当并发数加到1000时，由于此时的cpu利用率已达80%，并且此时通过客户端观看ts格式视频时会断断续续，所以不再继续加线程。

注： 此测试只说明单台流媒体服务器已经达到极限，而后端存储压力仍较小，UFS仍可以支持更多的流媒体服务器。

文档类型 保密级别：高 中 低 00/00/2010 7/7