#文中提到Data Ontap为Netapp存储的操作系统，基于*Nix定制

几个注意点：

1.需要域控制器上面同时有DNS server。对域控制器不熟的兄弟，可以利用“Windows2003 EE – 管理工具 – 管理您的服务器 – 添加删除角色 -第一台服务器”模式安装。这会把常用的Service都装上，然后移除不需要的服务即可。

2.需要保持Data Ontap和DC服务器时间误差在5分钟以内。否则，客户机登陆CIFS共享时，将会有“权限不足”等的错误提示。同时，NetApp的console界面返回如下信息

NTN3600A> Sat Mar 13 11:30:18 GMT [cifs.trace.GSS:error]: AUTH: Unable to acquire filer credentials: (0×96c73a25) Filer and domain time differ by more than 5 minutes.

在Netapp WebUI中调整时间，注意，时区必须选择“PRC”。Data Ontap的内核有点诡异，时区选择GMT+8也是不行的。

3.Netapp首次安装，除了3张系统盘，额外的虚拟磁盘，均是不可用。具体表现如下

a.启动时，显示如下信息：

“Disk v4.40 Shelf ? Bay ? [NETAPP VD-1000MB-FZ-520 0042] S/N [18084922] has no valid labels. It will be taken out of service to prevent possible data loss.”

b.在“Data Ontap – Storage – Disk”里显示这几张盘为Broken

c.做Aggregates时，会提示“at least 2 spare disks”

可以做如下操作来解决这个问题

>priv set diag
*>disk unfail -s v4.19 (where v4.19 is your disk,maybe 4.20,4.21…)
*>disk zero spares

相关工具和文档

1.IBM RedBook:Setting up CIFS shares and joining the Active Dictory

2.模拟器：Netapp Simulator v7.1

3.模拟器使用文档：Netapp Simulator User Guide v7.1

a.single-mode  端口工作在active和standby状态，只有一个端口处于actvie状况。当active端口失效,系统自动从standby中选择一个端口成为active口。不需要交换机支持aggre，也不需要在交换机上做任何相关配置。所有端口具有相同的ＭＡＣ地址，实现最基本的链路冗余。

b.multi-mode(static)  与IEEE 802.3ad(static)兼容，所有端口处于active状态，具有相同的mac地址；能够检测端口的链路状态，但不能数据的丢失；交换机需要支持 LAC；;在multimode(包括static和dynamic)下，存储系统对outbound traffic支持三种load-balance算法:IP-based/MAC-based/Round robin;。

c.multi-mode(dynamic)  与IEEE 802.3ad(dynamic)兼容，即lLACP协议(cisco叫做PAgP)，所有端口均处于active状态，具有相同的mac地址。交换机需要支持LACP。在lacp下,vif接口必须配置为 first-level，并且LB应该配置为IP-based(这也是默认方式)；在lacp下，存储系统不仅能检测链路的丢失,还能检测数据流的丢失，因此该模式与HA环境相兼容。此种模式有其局限性，只能使用IP Balance算法。

三种load-balance算法的比较：

a. ip balance  根据来源IP动态负载均衡，得出的结果不会太平均。故障切换，会有一个丢包。在故障恢复后，会将流量重定向回该端口。

b. mac balance  多个不同mac地址的端口，平均分配负载。比较有意思的是，长期测试之后，会发现，其中接收包都集中在一个端口，发送包集中在另一个端口。在拔掉一个接口的情况下，另一个接口会接管所有流量。在网络断掉的一瞬间，会有一个丢包。

c. rr balance （Round-Robin Scheduling） 轮询调度算法的原理是每一次把来自用户的请求轮流分配给内部中的服务器，从1开始，直到N(内部服务器个数)，然后重新开始循环。适用于请求方软硬件条件和请求数差不多的情况。

d. port balance方式下，所有流量由两个端口均衡，得出的结果平均。在网络断掉的一瞬间，会有一个丢包。从端口和带宽利用率来考虑，这是最佳方式。

以上所说丢包，都是基于连续ping测试。

以下是IBM NS3600做VIF的一个实例

NTN3600B> ifconfig e0a down
NTN3600B> ifconfig e0b down
NTN3600B> ifconfig vif1 down
ifconfig: vif1: no such interface
NTN3600B> vif destroy vif1
vif1 is not a valid vifname
NTN3600B> vif create multi vif1 -b port e0a e0b
NTN3600B> ifconfig vif1 192.168.125.2
NTN3600B> ifconfig vif1 up
NTN3600B> ping 192.168.125.2
192.168.125.2 is alive

NTN3600B> vif stat vif1
Virtual interface (trunk) vif1
        e0b                 e0a        
  Pkts In   Pkts Out  Pkts In   Pkts Out
  1         83        66        23     
  0         3         3         0      
  1         5         4         0      
  0         4         4         0      
  0         4         4         0      
  0         4         4         0      
  0         4         4         0      
  0         4         4         0      
  0         4         4         0      
  0         4         4         0      

NTN3600B> vif status  
default: transmit ‘IP Load balancing’, VIF Type ‘multi_mode’, fail ‘log’
vif1: 2 links, transmit ‘IP+port Load balancing’, VIF Type ‘multi_mode’ fail ‘default’
         VIF Status     Up      Addr_set
        up:
        e0b: state up, since 10Mar2010 14:02:01 (00:02:45)
                mediatype: auto-1000t-fd-up
                flags: enabled
                input packets 2, input bytes 128
                output packets 131, output bytes 9414
                up indications 1, broken indications 0
                drops (if) 0, drops (link) 0
                indication: up at 10Mar2010 14:02:01
                        consecutive 164, transitions 1
        e0a: state up, since 10Mar2010 14:02:01 (00:02:45)
                mediatype: auto-1000t-fd-up
                flags: enabled
                input packets 113, input bytes 9006
                output packets 23, output bytes 1576
                up indications 1, broken indications 0
                drops (if) 0, drops (link) 0
                indication: up at 10Mar2010 14:02:01
                        consecutive 164, transitions 1

参考配置
CPU            双核酷睿处理器E7400,2.8GHz及以上
内存            2GB 内存, 1×1GB, 667MHz, DDR-2
硬盘            1000GB 3.5英寸, 7200RPM SATA 硬盘*3
网络适配器   Broadcom 5722 千兆以太网集成控制卡*2（或者同级别Intel系列）
Raid级别     Raid 5
管理系统      FreeNAS 0.69及以上

二、相关说明

■文件服务是关键服务，宕机一小时，都会有很大的压力，建议选择品牌服务器。

■Raid5不建议使用板载Raid，俗称BIOS Raid，功能不够完善。一个功能完善的Raid控制器，应该包括创建/删除，状态监控，故障恢复(Rebuild)功能，板载Raid一般缺乏后二者功能，采用此方案是相当冒险的。(注：Linux主要是使用dmraid 套件搭配 device-mapper 功能，来存取BIOS RAID硬盘。对Raid0和1支持较好)

因此，推荐外置SATA/SCSI Raid扩展卡。

■一定要多网卡冗余，单块G网卡有时候会在吞吐量大的时候假死。
多网卡捆绑一个IP，Intel已有软件可以实现，或者是交换机上面做端口捆绑。

■存储管理系统的话，如果有较好的*Nix基础，可以采用Linux或者FreeBSD做SoftRaid(mdadm套件)+LVM。 1U的机器的话，LVM就不用做了。1U机器最大只能塞下4张盘，1张放存储管理系统，只有3张可以用于Raid5，相当于实际上只有一个PV，实施LVM是没有什么意义的。

没有较好的*nix基础的话，推荐使用FreeNAS系统。这是一个定制过的FreeBSD系统，有友好的WEB管理界面，功能丰富。事实上，笔者也是用这个系统来管理存储的。

三、FreeNAS安装和配置
■配置手册
■过程截图

四、挂载和测试

■如果是使用iSCSI协议(支持*nix及Win系统)
■如果是使用NFS协议(只支持*nix系统)

五、其他参考

■Linux中建立和模拟raid故障  http://bbs.zdnet.com.cn/archiver/tid-199958.html
■FreeNAS中设置默认路由

配置文件方式
/etc/rc.conf
defaultrouter="10.20.30.1"
CLI方式
# route add default 10.20.30.1

df   -    文件系统的使用情况
dd     -     转换和输出数据
hdparm -    显示和设置硬盘参数
bonnie++ – 系统IO性能测试
iozone   -  系统IO性能测试