本章介绍在ONTAP下配置SMB/CIFS

ONTAP的 SMB/CIFS的使用成本门槛比较高，因为涉及到权限管控，所以必须要域控。不像我们平时使用Windows SMB一样，右键文件夹，点几下鼠标就可以访问了。

要求：

1，配置好的域控制器
2，运行正常的DNS服务器，并配置正向和反向查找区域

进入正题

一，配置CIFS_SVM

1，新建cifs 管理员

这一步可以省略，直接用域控的超级管理员即可。但是为了演示，我这里单独新建一个，只给必要的权限，超管权限太大了。
在域控下新建CIFS 的域管理员，然后添加到Domain Admins、Domain Computers、Domain Users 这三个组。
在这里，我新建了一个svmadmin 的用户

2，新建CIFS_SVM

点击 存储--SVM，单击创建，填写如下信息，SVM名称，数据协议选择CIFS，安全模式默认为NTFS，根聚合自行选择，在DNS 配置里，一定要确保填写的搜索域和名称服务器正确，我有主、辅两个域控，所以这里填写了两个地址

在数据LIF 配置中，分配IP地址 选择使用子网并自动分配，端口选择B控e0a。生产环境自行更改。
在CIFS服务器配置中，填写CIFS服务器名称（要记住，后面要用到）、域控，织单位为 CN=Computers，管理员和密码填写第1步创建的cifs管理员及密码，其它默认不填。

SVM管理，跳过即可

3，查看CIFS_SVM 加域信息

导航到如下图界面，可以看到ad1和ad2，这是两个192.168.80.100和192.168.80.200 的主、辅域控的主机名称

在域控制器中，打开用户管理界面，选中 Computers 可以看到名称为CIFS的CIFS_SVM，ONTAP的系统版本是 NetApp Release 9.5P2

4，配置DNS解析

这一步可以省略，如果不配置只能用ip地址访问，配置以后可以用主机名访问，方便，快捷。

打开DNS管理器，点击正向查找区域，选中域名，在右侧空白区域，单击右键，选择新建主机，填写名称为cifs，这里的名称是CIFS_SVM加域时填写的服务器名称，IP地址 为CIFS_SVM的IP 192.168.80.131，并勾选 创建相关的指针记录

5，验证DNS解析

在命令提示符下输入 nslookup cifs

C:\Users\Administrator\Desktop>nslookup cifs
服务器:  ad1.lzuvdi.com
Address:  192.168.80.100
名称:    cifs.lzuvdi.com
Address:  192.168.80.131
C:\Users\Administrator\Desktop>

    C:\Users\Administrator\Desktop>ping cifs
    
    正在 Ping cifs.lzuvdi.com [192.168.80.131] 具有 32 字节的数据:
    来自 192.168.80.131 的回复: 字节=32 时间<1ms TTL=64
    来自 192.168.80.131 的回复: 字节=32 时间<1ms TTL=64
    来自 192.168.80.131 的回复: 字节=32 时间<1ms TTL=64
    来自 192.168.80.131 的回复: 字节=32 时间<1ms TTL=64
    
    192.168.80.131 的 Ping 统计信息:
        数据包: 已发送 = 4，已接收 = 4，丢失 = 0 (0% 丢失)，
    往返行程的估计时间(以毫秒为单位):
        最短 = 0ms，最长 = 0ms，平均 = 0ms
    
    C:\Users\Administrator\Desktop>

二，配置CIFS_DATA

1，点击 存储--卷，SVM下拉列表选择CIFS_SVM，单击创建，选择创建FlexVol，填写卷名称，选择根聚合，填写卷容量

2，点击 存储--共享，SVM下拉列表选择CIFS_SVM，单击创建共享，点击浏览，选择上一步创建的cifs_data 这个卷，填写共享名称，单击创建。

3，选中已经共享的cifs_data，单击编辑，点击权限，确保everyone 的完全控制和更改打勾

单击选项，确保配置选项如下图所示

三，使用CIFS_DATA

分两种情况：

a，客户端是域成员

1，在域成员服务器中，打开添加网络位置向导，输入\\cifs\cifs_data 创建位置。

2，测试cifs_data

b，客户端未加域

1，在服务器的资源管理器中输入 \\192.168.80.131\cifs_data 然后回车
此时提示输入用户名、密码
这里输入之前在域控新建的cifs管理员、密码，格式为：域\用户名 如 lzuvdi\svmadmin

新建文件测试

四，测试集群HA

1，CIFS_SVM的当前路径是在B控，所以我把B控直接断电，此时集群管理系统大概有30秒时间无法连接，待管理系统恢复，进入集群HA，查看状态，提示B控脱机

2，打开 网络--网络接口，B控所有网络接口未知状态，CIFS的LIF IP 已经漂移到了A控的e0a端口

3，cifs_data 目录正常使用

4，打开B控电源，等待三分钟左右，集群恢复正常。

至此，IP-SAN,NFS,CIFS 配置完结，后面章节介绍快照、克隆以及异步镜像等功能。

本章内容以配置NFS为主
如果你还不了解什么是ontap select ，可以在本博客存储标签下查看关于ontap select 的介绍和配置
netapp的 ontap 是一款非常优秀的存储系统，NAS是它的灵魂所在。本系列所有章节配置都是在web下配置，没有什么难度。如果你想玩高阶的，可以学学命令。

进入正题

一、配置NFS--SVM

1，打开 存储--SVM，点击创建，在新建SVM的窗口中，输入如下信息，SVM名称，数据协议选择NFS，安全模式选择UNIX，根聚合根据自己环境选择，单击提交并继续

2，在配置NFS协议对话框中，配置NFS的LIF IP信息，因为我配置了子网，并且规划了子网的数量，这里选择从子网自动选择ip，单击确定

3，在端口选择项中，单击浏览，选中配置好的数据端口，我这里是A控的e0a，其它默认不用填，单击提交并继续

4，在SVM管理界面，跳过即可

5，点击 网络--网络接口，可以看到在A控有一个NFS的LIF IP，地址是192.168.80.130，我建的子网范围是128-140，128和129已经用了，在第2步的时候，选择自动分配ip，所以，按顺序分配到了130。

二、配置NFS--权限

1，打开 存储--SVM，选中NFS_SVM，单击SVM设置

2，点击导出策略，在策略栏目中，单击创建

3，填写策略名称

4，在导出规则栏目，单击添加，填写如下信息，

客户端范围：0.0.0.0/0 代表所有的客户端都可以访问nfs存储，我这里填写100和115，那么只有这两个客户端才可以访问。
访问协议选择NFS，权限默认即可。
单击确定，然后单击创建

三，配置NFS--卷

1，单击 存储--卷，在SVM下拉列表选择之前创建的NFS_SVM，单击创建，选择创建FlexVol，填写名称，选择聚合，存储类型默认为NAS，填写卷的容量，单击创建

2，单击 存储--接合路径，在SVM下拉列表选择NFS_SVM，列出了nfs 的根分区和第1步创建的NFS_DATA分区，选中NFS根分区，然后单击更改导出策略，选中之前创建的NFS_Policy，选中NFS_DATA，更改导出策略为NFS_Policy。

四，挂载NFS

1，先安装NFS客户端，开启服务，并加入开机自启

[root@web ~]# yum install -y nfs-utils
[root@web ~]# systemctl start nfs
[root@web ~]# systemctl enable nfs

2，查看NFS目录，此时可以看到我们的NFS_DATA已共享

[root@web ~]# showmount -e 192.168.80.130
Export list for 192.168.80.130:
/NFS_DATA (everyone)
/         (everyone)
[root@web ~]#

3，挂载NFS目录

[root@web ~]# mkdir /NFS
[root@web ~]#
[root@web ~]# mount -t nfs 192.168.80.130:/NFS_DATA /NFS
[root@web ~]#

输入 df -h

4，测试目录

[root@web ~]# cd /NFS
[root@web NFS]# touch blog
[root@web NFS]# vi blog
[root@web NFS]# cat blog
https://image.mr-mao.cn

[root@web NFS]#

五，测试集群HA

1，因为我配置的NFS的最优路径是A控，我直接关闭A控的电源，此时集群管理系统大概有30秒时间无法连接，待管理系统恢复，进入集群HA，查看状态，提示A控脱机

2，点击 网络--网络接口，此时看到A控的所有端口都是未知，而NFS的LIF IP 已经漂移到了B控的0ea端口

3，测试NFS卷

[root@web ~]# cd /NFS
[root@web NFS]# ls
blog
[root@web NFS]# touch website
[root@web NFS]# vi website
[root@web NFS]# cat website
https://image.mr-mao.cn
[root@web NFS]#
[root@web NFS]#

4，恢复集群
打开A控电源，等待三分钟左右，集群恢复正常。

在配置之前，先详细了解一下ONTAP 的一些概念，如果概念了解不清楚，看着教程一路下一步，到最后，还是云里雾里的。通了就跑，不会长久。ONTAP Select 功能和DM非常相似，学会了Select 的配置，联想的DM存储一般配置使用就没问题。
本章节总共有两部分内容：概念、配置

一，概念

聚合

聚合是节点管理的磁盘的容器。可使用聚合隔离性能需求不同的工作负载，为存取模式不同的数据分层，或出于法规原因隔离数据。
• 对于要求延迟尽量低，性能尽量高的业务关键型应用程序，可以创建完全由固态硬盘构成的聚合。
• 要为存取模式不同的数据分层，可创建混合聚合，从而将闪存部署为工作数据集的高性能高速缓存，同时使用成本较低的硬盘或对象存储来存储访问频率较低的数据。FlashPool由固态硬盘和硬盘构成。FabricPool有全固态硬盘聚合和连接的对象存储构成。
• 如果因为法规原因需要将归档数据与活动数据隔离，可使用由容量硬盘构成的聚合，或性能硬盘和容量硬盘的组合。

聚合和 RAID 组

现代 RAID 技术通过在备用磁盘上重建故障磁盘的数据来抵御磁盘故障。系统将“奇偶校验磁盘”上的索引信息与其余正常磁盘上的数据进行比较，以便重建缺少的数据，而整个过程中都不会停机或造成大量性能成本。

聚合由一个或多个RAID 组构成。聚合的RAID 类型决定 RAID 组中的奇偶校验磁盘数量和 RAID配置可同时抵御的磁盘故障数量。

缺省 RAID 类型 RAID-DP（RAID 双重奇偶校验）要求每个 RAID 组中包含两个奇偶校验磁盘，并且可以在两个磁盘同时发生故障时防止数据丢失。对于 RAID-DP，建议 RAID 组大小为 12 到20 个硬盘和 20 到 28 个固态硬盘。可通过以更高端的大小建议创建 RAID 组来分摊奇偶校验磁盘的间接成本。这尤其适合固态硬盘，因为固态硬盘的可靠性比容量驱动器的高得多。对于硬盘聚合，应平衡最大化磁盘存储需求与抵消因素（如更大 RAID 组需要的重建时间更多）

根/数据分区

每个节点都必须有一个根聚合来存储存储系统配置文件。根聚合具有 RAID 类型的数据聚合。

类型为 RAID-DP 的根聚合通常由一个数据磁盘和两个奇偶校验磁盘构成。这是当系统已经为聚合中的每个 RAID 组保留了两个磁盘来充当时，存储系统文件需要支付的重要“奇偶校验代价”。
根数据分区通过让磁盘分区分摊根聚合，在每个磁盘上保留一个较小分区充当根分配，并为数据保留一个较大分区，降低奇偶校验代价。

如图所示，用于存储根聚合的磁盘越多，根分区越小。这一条对称为根-数据-数据-分区的根数据分区格式也成立，这会创建一个较小分区充当根分区，两个大小相同的较大分区用于存储数据。

这两种根-数据分区属于 ONTAP高级驱动器分区（ADP）功能的一部分。两者均在出厂时配置：根-数据分区适用于入门级 DM7000H 和全闪存阵列相同，而根-数据-数据分区则仅适用于全闪存阵列系统。

卷、Qtree、文件和 LUN

ONTAP 从称为FlexVol 卷的逻辑容器向客户端和主机提供数据。由于这些卷仅与其所属聚合松散耦合，所以在管理数据时比传统卷的灵活性更高。
可为一个聚合分配多个 FlexVol 卷，每个卷专用于一个不同的应用程序或服务。可扩展和缩小FlexVol 卷，移动 FlexVol 卷或创建 FlexVol 卷的占用空间较小的拷贝。可使用Qtree将一个FlexVol 卷拆分为多个可管理单元，可使用配额限制卷的资源使用量。

在 NAS 环境中，卷中包含文件系统，而在 SAN 环境中则包含 LUN。LUN（逻辑单元号）是按SAN 协议寻址的一种称为逻辑单元的设备的标识。

LUN 是 SAN 配置中的基本存储单元。Windows 主机将存储系统上的 LUN 视为虚拟磁盘。可根据需要将 LUN 无中断地移到其他卷。除了数据卷，还需要了解几种特殊卷：
• A节点根卷（通常为 “vol0 ”）中包含节点配置信息和日志。
• 将SVM 根卷充当 SVM 提供的命名空间的入口点，其中包含命名空间目录信息。
• 系统卷中包含特殊元数据，如服务审核日志。

SVM

存储虚拟机（SVM）为客户端和主机提供数据。与虚拟机监控程序上运行的虚拟机一样，SVM 是抽取物理资源的逻辑实体。通过 SVM 访问的数据不绑定到存储中的位置。SVM 的网络访问不绑定到物理端口。

注： SVM 以前称为 “vserver”。您将在 ONTAP 命令行界面（CLI）中看到此术语。

SVM 通过一个或多个网络逻辑接口（LIF）从一个或多个卷向客户端和主机提供数据。可将卷分配给集群中的任何数据聚合。可通过任何物理端口或逻辑端口托管 LIF。无论在执行硬件升级,t添加节点、均衡性能还是优化聚合之间的容量，都可以在不中断数据服务的情况下移动卷和 LIF。同一个 SVM 可以有用于 NAS 流量的 LIF 和用于 SAN 流量的 LIF。客户端和主机只需要 LIF 的地址（NFS、SMB 或 iSCSI 需要 IP 地址，FC 需要 WWPN）即可访问 SVM。LIF 在移动时保持其地址。端口可托管多个 LIF。每个 SVM 都有自己的安全设置、管理方法和命名空间。

除了数据 SVM，ONTAP 还部署特殊 SVM 来进行管理：

• 将 设置集群时将创建管理SVM。
• A 节点加入新集群或现有集群时创建节点SVM。
• A 系统会在 IPspace 中自动创建系统 SVM以实现集群级通信。

不能使用这些 SVM 提供数据。还有一些特殊 LIF 用于集群内部和之间的流量，以及用于集群和节点管理。

高可用HA

高可用性（HA）对中配置的集群节点针对容错和无中断操作。如果一个节点发生故障，或者您需要关闭节点以进行例行维护，则可由其伙伴接管其存储并继续从中提供数据。节点恢复联机之后，伙伴交还存储。

HA 对始终由相似控制器型号构成。这些控制器通常位于配有冗余电源模块的同一个机箱中。内部 HA 互连让每个节点可以持续检查其伙伴是否正在运行，以及镜像对方的非易失性内存的日志数据。创建针对节点的写请求时，将响应发送回客户端或主机之前，该请求将同时记录到两个节点的 NVRAM 中。故障转移时，幸存伙伴将故障节点的未提交写请求提交给磁盘，以确保数据一致性。

与另一个控制器的存储介质之间的连接让每个节点可以在接管时访问对方的存储。网络路径故障转移机制确保客户端和主机可以与幸存节点通信。要确保可用性，每个节点上的性能容量利用率应保持在 50%，以在故障转移时处理额外的工作负载。同样的原因，可能需要为节点配置不超过 50% 的最大 NAS 虚拟网络接口数量。

在 ONTAP Cloud 或 ONTAP Select 这样的虚拟化“无共享” ONTAP,实施中，节点之间不共享存储。在节点发生故障时，其伙伴将继续从该节点的同步镜像数据拷贝提供数据。不会接管节点的存储，仅接管其数据提供功能。

网络

ONTAP 数据中心实施方案的网络架构通常包括集群互连、用于集群管理的管理网络以及数据网络。NIC（网络接口卡）为以太网连接提供物理端口。HBA（主机总线适配器）为 FC 连接提供物理端口

路径故障转移

ONTAP 管理 NAS 和 SAN 拓扑中的路径故障转移的方式存在重大差别。NAS LIF 在链路故障转移后自动迁移到另一个物理端口。SAN LIF 不迁移（除非您在发生故障后手动移动）。实际上，主机采用的多路径技术将流量转移到同一个 SVM 上的另一个 LIF，但是访问其他网络端口。

NAS路径故障转移

NAS LIF 在其当前端口发生链路故障后自动迁移到幸存的物理端口。LIF 要迁移到的端口必须是LIF 的故障转移组的成员。故障转移组策略将数据 LIF 的故障转移目标缩小到拥有数据及其 HA伙伴的节点上的端口。

为了管理方便起见，ONTAP 为网络体系结构中的每个广播域创建一个故障转移组。广播域为属于同一个第二层网络的端口分组。例如，如果在使用 VLAN 按部门（Engineering、Marketing、Finance 等）隔离流量，每个 VLAN 定义一个单独的广播域。只要添加或删除广播域端口，都将自动更新与广播域关联的故障转移组。

最好始终使用广播域来定义故障转移组，以确保故障转移组保持最新。但是，有时您可能希望定义不与广播域关联的故障转移组。例如，您可能希望 LIF 仅故障转移到广播域中定义的一小端口中的端口。

子网保留广播域中的一段 IP 地址。这些地址属于同一个第三层网络，并在创建 LIF 时分配给广播域中的端口。相比指定 IP地址和网络掩码，在定义 LIF 时指定子网名称通常更轻松，更不容易出错。

SAN 路径故障转移

发生链路故障时，SAN 主机使用 ALUA（非对称逻辑单元访问）和 MPIO（多路径 I/O）将流量重新路由到幸存 LIF。预定义的路径确定 SVM 提供的 LUN 的可行路由。
在 SAN 环境中，主机被视为针对 LUN目标的请求的发起方。

MPIO 可以实现多条从发起方到目标的路径。ALUA 可以确定最短路径，称为最佳路径。

通常可以在 LUN 所属节点上为 LIF 配置多个最佳路径，在其 HA 伙伴上为 LIF 配置多个非最佳路径。如果所属节点上的一个端口发生故障，主机将把流量路由到幸存端口。如果所有端口都发生故障，主机将通过非最佳路径路由流量。

可使用 ONTAP DSM 技术定义负载均衡策略，以便确定如何在 LUN 的最佳路径之间分配流量。

缺省情况下，ONTAP 选择性 LUN 映射（SLM）限制从主机到 LUN 的路径数量。新建的 LUN 只能通过该 LUN 或其 HA 伙伴所属节点的路径访问。还可以通过在发起方的端口集中配置 LIF 来限制对 LUN 的访问。

在 SAN 环境中移动卷

缺省情况下，ONTAP选择性 LUN 映射（SLM）限制从 SAN 主机到 LUN 的路径数量。新建的LUN 只能通过该 LUN 或其 HA伙伴所属节点（即 LUN 的报告节点）的路径访问。
这意味着将卷移到另一个 HA 对中的节点时，需要将目标 HA 对的报告节点添加到 LUN映射。然后可以在 MPIO 设置中指定新路径。卷移动完毕后，可从映射中删除源 HA 对的报告节点。

以上就是本章节所做操作中需要了解的一些概念

二，配置

1，创建聚合

点击 存储--聚合和磁盘--聚合，然后单击创建

输入聚合名称，我这里输入的是Aggr1_Cluster1_01_Site1 和Aggr2_Cluster1_02_Site1

创建聚合的过程中，有一项"对此聚合执行镜像"默认勾选，关于这个功能的详细介绍，大家在创建过程中可以查看

Aggr1_Cluster1_01_Site1 代表：在站点1的第一个控制器的聚合
Aggr2_Cluster1_02_Site1 代表：在站点1的第二个控制器的聚合

2，创建子网

点击 网络--子网，单击创建，根据自己的环境填写信息，因为我的域控在管理网络，所以我选择了mgmt 的广播域，生产环境自行更改

3，创建SVM

点击 存储--SVM，单击创建，数据协议勾选ISCSI，其它默认即可，单击提交并继续

每个节点的逻辑接口数选择一个即可，这样，创建完SVM以后，会自动创建两个LIF 分布在两个控制器上，每个控制器一个，这样就实现了IP-SAN 的链路冗余，你也可以根据环境填多个接口数量。分配IP地址这里可以使用已经建立好的子网，也可以自己填。我这里填写192.168.80.128

设置SVM管理,单击跳过即可

查看ISCSI服务状态，已经建立好了两个LIF接口，分布在两个控制器，一旦某个控制器发生故障，路径会自动转移到状态正常的控制器

4，创建ISCSI服务的端口集

单击 存储--LUN，在SVM下拉列表选择我们创建好的ISCSI_SVM，然后点击端口集，单击创建，填写名称，类型选择ISCSI，在选择 要与此端口集关联的接口 一栏里勾选两个ISCSI LIF 接口所在的端口，如下图所示，然后点击创建

5，在主机端连接ISCSI目标设备，此处我以Windows演示，

打开Windows的ISCSI发起程序，点击标签页的发现，单击发现门户，填写之前创建的第一个LIF IP 地址192.168.80.128

然后单击标签页的目标，选中名称为netapp 的目标，点击连接，状态为已连接则正常

6，创建ISCSI服务的启动程序组

在 存储--LUN界面，单击启动程序组，单击创建，填写名称，操作系统为Windows，协议选择iscsi，端口集选择之前创建好的ISCSI_Port

然后单击启动程序，在选择启动程序列表选择我们第5步已连接的Windows启动程序，单击添加启动程序，如下图所示，单击创建

7，为ISCSI服务创建卷

点击 存储--卷，在SVM下拉列表选择之前创建的ISCSI_SVM，单击创建，选择FlexVol卷，填写名称，选择聚合，类型默认为iscsi，然后输入需要的容量大小，

8，创建ISCSI LUN

点击 存储--LUN，SVM下拉列表选择ISCSI_SVM，点击 LUN管理，单击创建，填写名称，容量大小，必须小于第7步创建的卷的总大小，我创建了100g的卷，在这里我填写90g，

单击下一步，点击浏览，选择第7步创建好的卷

单击下一步，勾选第6步创建好的启动程序组

一直下一步，然后点击完成

至此，在存储端的创建、映射工作就完成了

9，在Windows操作系统下，打开ISCSI发起程序，在目标界面，启用多路径

选中netapp的目标设备，单击属性，在会话标签页，显示两组标识符

点击门户组，显示了两个ISCSI服务的LIF IP

在服务器管理界面添加多路径功能 MPIO

打开管理工具中的MPIO工具，单击发现多路径，选中添加对ISCSI设备的支持，然后点击添加，此时服务器会重启

10，初始化磁盘

打开磁盘管理，发现一个未初始化的90G的磁盘

11，测试拷贝

12，测试故障转移

我把A控直接断电，此时，集群管理ip无法连接，等待30秒左右，集群管理系统正常，在集群的高可用状态提示A控已脱机

单击网络-网络接口，发现A控的所有接口状态都是未知，在B控的ISCSI LIF IP 192.168.80.129 正常工作

打开计算机，发现之前的ISCSI LUN还在，文件也可以正常写入，说明路径故障已经转移

打开ISCSI发起程序，选中netapp 目标，单击属性，在会话标签页，选中一个标识符，单击配置多连接会话 MCS(M)

此时，会话的路径已经转移到了192.168.80.129

因篇幅关系，我就不测试B控断电了，大家可自行测试。

12，集群恢复

把A控的电源打开，等待大概两分钟左右，集群HA状态如下

等待大概3分钟左右，集群HA状态如下

此时，点击网络-网络接口，发现，A控的网络接口状态都已恢复正常，选中cluster_mgmt 端口，单击发送到主端口

再次查看集群HA状态，已恢复正常

至此，此章节内容完结。
关于netapp 的快照，flexclone ，异步镜像等一些高级功能，等把NFS、CIFS配置完再具体一一测试。

简介：
ONTAP Select是一款基于行业领先的数据管理软件构建的软件定义存储(SDS)的解决方案。基于ONTAP存储软件构建，通过高度可用的无共享横向扩展架构高效提供企业级存储服务。为了实现NFS、SMB/CIFS和 iSCSI连接存储，既可以部署只有一两个节点的解决方案，也可以扩展到原始容量最高达400TB的四个节点。可以利用本机重复数据删除和数据压缩功能，通过提高有效容量降低存储成本。横向扩展架构不仅可以帮助您实现高可用性，还可以无中断地移动数据以平衡负载或进行硬件维修。

ONTAP Select具有强大的集成数据保护功能，其中包括NetApp Snapshot® 和 SnapMirror软件。您可以快速高效地将有价值的数据复制到其他ONTAP存储上，无论这些存储是位于内部、远程站点还是云中。如果您必须快速恢复数据， NetApp ONTAP SnapRestore® 软件可以使用本地Snapshot 副本在数秒内恢复全部文件系统或数据卷，无论容量大小或文件数目如何。

ONTAP Select 提供两种许可证（标准版许可证和高级版许可证），在没有许可证的情况下，也可以使用90天的评估版本。
包含90天的评估许可证
允许在每个节点上使用最多2tb的用户存储
无需从NetApp获取序列号和容量许可证

一，准备环境

1，硬件环境
ontap select 对硬件环境有要求

a，必需万兆交换机。
b，物理主机内存大于32GB。
c，物理主机除esxi系统盘之外，必须有大于2TB的独立存储。

2，网络准备
建立三个端口组，根据个人喜好自定义端口组，控制器互联端口必须要在万兆交换机上

a，VM Network #集群系统管理端口
b，inter #控制器互联端口
c，data #数据同步端口

3，软件环境，ONTAP 的cifs功能基于域控。

a，必须准备域控制器
b，必须准备NTP服务器

4，下载镜像

https://pan.baidu.com/s/1xAGvtBcSDf68QkAoMhSesA

提取码：

5，部署说明

a，一台物理服务器可以部署一个存储节点
b，两台可以部署2个节点的 HA Pair，或者一套单节点的Mirror 镜像集群
c，我有四台服务器，后面的章节都以双节点集群模式演示

二，导入镜像

1，选中一台主机，选择部署OVF模板，选择本地文件，选中下载好的ova镜像

2，点击下一步，填写虚拟机名称

3，点击下一步，目标网络选择建立好的管理网络

4，点击下一步，根据自己的规划，填写密码，ip信息，填的信息要记住，后面登录要用到

5，点击下一步，然后点击完成，等待导入ova镜像，待操作界面提示导入成功，然后打开虚拟机电源，虚拟机正常启动以后
浏览器输入 https://第4步填写的ip 登录
用户名：admin
密码：第4步填写的密码

三，部署集群

1，添加主机

点击操作界面的Hypervisor Hosts 添加当前环境的esxi主机，如图所示，

2，创建集群

点击操作界面的Clusters，点击 Next，填写集群信息，Cluster Size 根据自己硬件环境选择。
这里有一点要注意，默认的Cluster MTU 是9000，如果你的交换机支持更改MTU，那么就要在交换机全局状态下更改MTU为9000，如果你不懂什么是MTU,那么这里改为1500，点击下一步的时候，会提示，7000-9000的MTU比较适用于select，当前是1500，是否继续，选择yes即可

3，选择许可

点击Done，在HA Pair 界面，license 选择Evaluaton Mode，

4，配置网络

点击Next，分别为Management Network、Internal Network、Data Netwok，选择建立的端口组

5，配置存储

在Storage 界面，填写Storage Pool Capatity 为2TB

6，测试网络

这一步是为了测试当前环境的网络配置是否支持select环境，如果能测试通过，则可以进行下一步，如果不通过，根据提示信息，处理网络故障

点击run

如果都能通过，就可以进行下一步

7，建立集群

验证完网络以后，在最上面填写集群密码，然后点击Create Cluster

日志信息

集群创建完毕

8，查看集群状态

浏览器输入 https://集群管理ip 登录集群系统

在设置界面，查看当前集群HA状态是否正常

9，配置时间

ssh 登录集群管理ip
输入date，查看时间，发现时区是UTC,
输入 timezone Asia/Shanghai 更改时区
输入date ，查看时间，时间正常

至此，ONTAP select 集群部署完毕，第二章我们讲如何使用。

随着数字化转型的深入，海量数据对存储提出了新的要求。传统存储虽然有技术成熟、性能良好、可用性高等优点，但面对海量数据，其缺点也越来越明显：如扩展性差、成本高等。为了克服上述缺点，满足海量数据的存储需求，市场上出现了分布式存储技术。当前，分布式存储有多种实现技术，如HDFS、Ceph、GFS、GPFS、Swift等。在实际工作中，为了更好地引入分布式存储技术，我们需了解各种分布式存储技术的特点，以及各种技术的适用场景，在此希望请教下同行，城商行应该如何选择这些分布式存储技术，他们各自的特点和场景如何？

在以上几种分布式存储技术中，每一种存储技术都有各自的特点和应用场景。其中HDFS、Ceph和Swift应用比较多，这也和它们的技术发展比较快和应用场景比较多相关。下面分别介绍：

一、HDFS

主要用于大数据的存储场景，是Hadoop大数据架构中的存储组件。HDFS在开始设计的时候，就已经明确的它的应用场景，就是为大数据服务。主要的应用场景有：
1、对大文件存储的性能比较高，例如几百兆，几个G的大文件。因为HDFS采用的是以元数据的方式进行文件管理，而元数据的相关目录和块等信息保存在NameNode的内存中， 文件数量的增加会占用大量的NameNode内存。如果存在大量的小文件，会占用大量内存空间，引起整个分布式存储性能下降，所以尽量使用HDFS存储大文件比较合适。
2、适合低写入，多次读取的业务。就大数据分析业务而言，其处理模式就是一次写入、多次读取，然后进行数据分析工作，HDFS的数据传输吞吐量比较高，但是数据读取延时比较差，不适合频繁的数据写入。
3、HDFS采用多副本数据保护机制，使用普通的X86服务器就可以保障数据的可靠性，不推荐在虚拟化环境中使用。

二、Ceph

是一个开源的存储项目，是目前应用最广泛的开源分布式存储系统，已得到众多厂商的支持，许多超融合系统的分布式存储都是基于Ceph深度定制。而且Ceph已经成为LINUX系统和OpenStack的“标配”，用于支持各自的存储系统。Ceph可以提供对象存储、块设备存储和文件系统存储服务。同时支持三种不同类型的存储服务的特性，在分布式存储系统中，是很少见的。

Ceph没有采用HDFS的元数据寻址的方案，而且采用CRUSH算法，数据分布均衡，并行度高。而且在支持块存储特性上，数据可以具有强一致性，可以获得传统集中式存储的使用体验。对象存储服务，Ceph支持Swift和S3的API接口。在块存储方面，支持精简配置、快照、克隆。在文件系统存储服务方面，支持Posix接口，支持快照。但是目前Ceph支持文件的性能相当其他分布式存储系统，部署稍显复杂，性能也稍弱，一般都将Ceph应用于块和对象存储。

Ceph是去中心化的分布式解决方案，需要提前做好规划设计，对技术团队的要求能力比较高。特别是在Ceph扩容时，由于其数据分布均衡的特性，会导致整个存储系统性能的下降。

三、GFS

GFS是google分布式文件存储，是为了存储海量搜索数据而设计的专用文件系统。和HDFS 比较类似，而且HDFS系统最早就是根据 GFS的概念进行设计实现的。 GFS同样适合大文件读写，不合适小文件存储。适合处理大量的文件读取，需要高带宽，而且数据访问延时不敏感的搜索类业务。同样不适合多用户同时写入。GFS 是最早的推出分布式存储概念的的存储系统之一，后来的大部分的分布式式文件系统或多或少都参考了 GFS 的设计。HDFS和 GFS 的主要区别是，对GFS 中关于数据的写入进行了一些改进，同一时间只允许一个客户端写入或追加数据。而GFS 是支持并发写入的。这样会减少同时写入带来的数据一致性问题，在写入流程上，架构相对比较简单，容易实现。

四、GPFS

GPFS是 IBM 的共享文件系统，它是一个并行的磁盘文件系统，可以保证在资源组内的所有节点可以并行访问整个文件系统。GPFS 允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上。GPFS提供了许多标准的 UNIX 文件系统接口，允许应用不需修改或者重新编辑就可以在其上运行。

GPFS和其他分布式存储不同的是，GPFS是由网络共享磁盘（NSD）和物理磁盘组成。网络共享磁盘（NSD）是由物理磁盘映射出来的虚拟设备，与磁盘之间是一一对应的关系。所以，使用两台传统的集中式存储设备，通过划分不同的网络共享磁盘，也可以部署GPFS，不一定部署在X86设备上。GPFS文件系统允许在同一个节点内的多个进程使用标准的UNIX文件系统接口并行的访问相同文件进行读写，性能比较高。GPFS支持传统集中式存储的仲裁机制和文件锁，保证数据安全和数据的正确性，这是其他分布式存储系统无法比拟的。GPFS主要用于IBM 小型机和UNIX系统的文件共享和数据容灾等场景。

五、Swift

Swift也是一个开源的存储项目，但是主要面向的是对象存储。和Ceph提供的对象存储服务类似。主要用于解决非结构化数据存储问题。它和Ceph的对象存储服务的主要区别是。

1、客户端在访问对象存储系统服务时，Swift要求客户端必须访问Swift网关才能获得数据。而Ceph使用一个运行在每个存储节点上的OSD（对象存储设备）获取数据信息，没有一个单独的入口点，比Swift更灵活一些。

2、在数据一致性方面，Swift的数据是最终一致，在海量数据的处理效率上要高一些，但是主要面向对数据一致性要求不高，但是对数据处理效率要求比较高的对象存储业务。而Ceph是始终跨集群强一致性。主要的应用场景，在在OpenStack中，对象存储服务使用的就是Swift，而不是Ceph。

应用场景及特点：

Hadoop HDFS(大数据分布式文件系统)

Hadoop分布式文件系统(HDFS)是一个分布式文件系统，适用于商用硬件上高数据吞吐量对大数据集的访问的需求。该系统仿效了谷歌文件系统(GFS)，数据在相同节点上以复制的方式进行存储以实现将数据合并计算的目的。
该系统的主要设计目标包括：容错，可扩展性，高效性和可靠性。HDFS采用了MapReduce，不迁移数据而是以将处理任务迁移到物理节点(保存数据)的方式降低网络I/O。HDFS是Apache Hadoop的一个子项目并且安装Hadoop。

OpenStack的对象存储Swift

OpenStack Swift提供一个类似Amazon S3的对象存储。其主要特点为：
所有的存储对象都有自身的元数据和一个URL，这些对象在尽可能唯一的区域复制3次，而这些区域可被定义为一组驱动器，一个节点，一个机架等。开发者通过一个RESTful HTTP API与对象存储系统相互作用。对象数据可以放置在集群的任何地方。在不影响性能的情况下，集群通过增加外部节点进行扩展。这是相对全面升级，性价比更高的近线存储扩展。数据无需迁移到一个全新的存储系统。集群可无宕机增加新的节点。故障节点和磁盘可无宕机调换。在标准硬件上运行，例如戴尔，HP和Supermicro。

Ceph

Ceph是一个遵循LGPL协议的存储平台，它可以在单个分布式节点上同时支持对象存储，块存储和文件存储。

Ceph主要设计的初衷是变成一个可避免单节点故障的分布式文件系统，EB级别的扩展能力，而且是一种开源自由软件，许多超融合的分布式文件系统都是基于Ceph开发的，作为开源软件在超融合商业领域的应用，Ceph因为性能等问题被诟病，但不乏许多厂商在Ceph上不断优化和努力。

IBM General Parallel File System(GPFS通用并行文件系统)

这个专有GPFS是一个由IBM开发的高性能集群文件系统。它可以在共享磁盘或非共享分布式并行模式中进行部署。

GPFS-SNC，其中SNC代表Shared Nothing Cluster(非共享集群)，它是2012年12月正式发布的GPFS 3.5版本，如今被称为GPFS-FPO(文件配置优化)。这让GPFS可以在一个联网服务器的集群上采用本地连接磁盘，而不需要配置共享磁盘的专用服务器(例如使用SAN)，GPFS-FPO可充当HDFS兼容的文件系统。

GPFS时常通过调用计算集群上的MPI-IO(Message Passing Interface)进行访问。功能包括：

分布式元数据处理。包括目录树。没有单独的“目录控制器”或“索引服务器”管理文件系统。

对非常大的目录进行高效索引目录项。很多文件系统被限制在单一目录(通常， 65536或类似的小二进制数)中的少数文件内，而GPFS并没有这样的限制。

分布式锁定。该功能考虑了完整的Posix文件系统语义，包括锁定文件进行独占访问。

Global Federated File System(GFFS全局联合文件系统)

XSEDE文件系统在美国弗吉尼亚大学Genesis II项目的一部分。

GFFS的出现是源于一个对诸如文件系统的资源以一种联合，安全，标准化，可扩展和透明化的方式进行访问和远程操作的需求，而无需数据所有者或应用程序开发者和用户改变他们存储和访问数据的任何方式。

GFFS通过采用一个全局基于路径的命名空间实现，例如/data/bio/file1。

在现有文件系统中的数据，无论它们是否是 Windows文件系统， MacOS文件系统，AFS，Linux或者Lustre文件系统都可以导出或链接到全局命名空间。

例如，一个用户可以将它 “C” 盘上一个本地根目录结构，C:\work\collaboration-with-Bob导出到全局命名空间，/data/bio/project-Phil，那么用户 “C” 盘\work\collaboration-with-bob 内的文件和目录将会受到访问限制，用户可以通过/data/bio/project-Bob路径在 GFFS上访问。

最后谈一下，最常见的GPFS和HDFS有什么区别？

GPFS和Hadoop的HDFS系统对比起来相当有趣，它设计用于在商用硬件上存储类似或更大的数据——换言之就是，不配置 RAID 磁盘的数据中心和一个SAN。

HDFS还将文件分割成块，并将它们存储在不同的文件系统节点内。

HDFS对磁盘可靠性的依赖并不高，它可以在不同的节点内存储块的副本。保存单一副本块的一个节点出现故障是小问题，可以再复制该组其它有效块内的副本。相较而言，虽然GPFS支持故障节点恢复，但它是一个更严重的事件，它可能包括数据(暂时性)丢失的高风险。

GPFS支持完整的Posix文件系统语义。HDFS和GFS(谷歌文件系统)并不支持完整的Posix语义。

GPFS跨文件系统分布它的目录索引和其它元数据。相反， Hadoop将它们保留在主要和次要Namenode中，大型服务器必须在RAM内存储所有的索引信息。

GPFS将文件分割成小块。Hadoop HDFS喜欢64MB甚至更多的块，因为这降低了Namenode的存储需求。小块或很多小的文件会快速填充文件系统的索引，因此限制了文件系统的大小。

说到分布式文件系统，不得不提到许多超融合厂商，一部分是基于Ceph的，还有一部分是完全自主研发的

本文摘自于 talkwithtrend

Linux下交互式多路径自动化配置脚本发布

一，安装软件
1，执行以下命令，检查当前系统中是否已经安装多路径工具：

rpm -qa | grep device-mapper-multipath 

SuSE 系统 multipath 相关 rpm 包是 multipath-tools-*.rpm，检查安装包时使用如下命令：

rpm -qa | grep multipath 

2，如果配置好了yum执行下面的命令安装，没有yum看第3步

yum install -y device-mapper device-mapper-multipath

3，从系统安装盘的/Packages 文件夹中拷出下面两个文件，执行命令安装，不同的linux发行版，多路径软件的版本号不同，

rpm -ivh device-mapper-multipath-libs-0.4.9-80.el6.x86_64.rpm 
rpm -ivh device-mapper-multipath-0.4.9-80.el6.x86_64.rpm 

4，完成以上步骤后，需检查多路径工具是否已经安装成功。请执行以下命令：

rpm -qa | grep device-mapper-multipath 

SuSE 系统 multipath 相关 rpm 包是 multipath-tools-*.rpm，检查安装包时使用如下命令：

rpm -qa | grep multipath

二，配置DM Multipath

逐步执行以下命令加载内核 device-mapper 模块，并启动 multipathd 服务。

modprobe dm-multipath 
modprobe dm-service-time 
service multipathd start  (RHEL6.x、CentOS6.x、SuSE) 
systemctl start multipathd.service  (RHEL7.x、CentOS7.x) 

说明：在本博客的<存储>分类下,有介绍linux不用重启扫描磁盘的文章，有兴趣可以参考

三，获取多路径信息
1，执行下面命令生成多路径配置文件

mpathconf --enable

2，删除当前没有使用的多路径

multipath -F

3，格式化、检测、合并多路径

multipath -v2

4，查看多路径状态

multipath -ll

下面这段来自于网络，我写这个文档是根据自己的经验写，没有现场设备截图。

    [root@server /]# multipath -ll
    mpathc (3600a0b80001ffaf20000297a583cfaea) dm-5 IBM     ,1722-600        
    size=84G features='1 queue_if_no_path' hwhandler='1 rdac' wp=rw
    |-+- policy='service-time 0' prio=6 status=active
    | |- 1:0:1:2 sdg 8:96  active ready running
    | `- 6:0:1:2 sdm 8:192 active ready running
    `-+- policy='service-time 0' prio=1 status=enabled
      |- 1:0:0:2 sdd 8:48  active ghost running
      `- 6:0:0:2 sdj 8:144 active ghost running
    mpathb (3600a0b80002109ed0000174c583c8ba5) dm-4 IBM     ,1722-600        
    size=70G features='1 queue_if_no_path' hwhandler='1 rdac' wp=rw
    |-+- policy='service-time 0' prio=6 status=active
    | |- 1:0:0:1 sdc 8:32  active ready running
    | `- 6:0:0:1 sdi 8:128 active ready running
    `-+- policy='service-time 0' prio=1 status=enabled
      |- 1:0:1:1 sdf 8:80  active ghost running
      `- 6:0:1:1 sdl 8:176 active ghost running
    mpatha (3600a0b80001ffaf200002978583cfabc) dm-3 IBM     ,1722-600        
    size=50G features='1 queue_if_no_path' hwhandler='1 rdac' wp=rw
    |-+- policy='service-time 0' prio=6 status=active
    | |- 1:0:1:0 sde 8:64  active ready running
    | `- 6:0:1:0 sdk 8:160 active ready running

此时记录mpath磁盘的wwid，下面要用到

四，配置多路径文件
1，创建multipath.conf

vi /etc/multipath.conf 

编辑内容如下，这只是一个范本，大家根据自己的环境定义wwid和alias。

    blacklist{ 
    devnode   sda 
    } 
    defaults{ 
          find_multipaths yes
          user_friendly_names yes 
          failback immediate
          path_selector    "round-robin 0"
          path_checker    tur
          path_grouping_policy    multibus
          prio    alua
    }
    multipaths {
            multipath {
                    wwid                    3600c0ff00029769ea010bc5901000000
                    alias                   MBXT_OCR
           multipath {
                    wwid                    3600c0ff00029769ea310bc5901000000
                    alias                   MBXT_DATA1
           }
           multipath {
                    wwid                    3600c0ff00029769ea410bc5901000000
                    alias                   MBXT_DATA2
          multipath {
                    wwid                    3600c0ff00029769ea410bc5901000000
                    alias                   MBXT_FRA
          }
    
    }

保存以后执行

service multipathd restart (RHEL6.x、CentOS6.x、SuSE) 
systemctl restart multipathd.service(RHEL7.x、CentOS7.x) 

说明：
a，上面示例的wwid就是执行multipath ll之后记录的每个磁盘的id，根据自己的硬件环境编辑即可
b，alias 是友好别名，根据自己的使用环境定义即可
c，blacklist里的sda，不扫描本地磁盘，这里根据本地磁盘盘符来确定，该示例中假定本地盘符为 sda
d，有些存储不支持prio alua，重启多路径服务的时候会报错，重新编辑multipath.conf把prio alua 这一行删除即可。
e，每次编辑完multipath.conf 都必需重启multipathd服务

2，把multipathd 服务加入开机自启动

chkconfig --level 35 multipathd on (RHEL6.x、CentOS6.x、SuSE) 
systemctl enable multipathd.service  (RHEL7.x、CentOS7.x) 

Domain ID
Domain ID是一串十六进数字，是交换机的唯一标示，范围在1-239。Brocade交换机的Domain ID可以动态配置，默认是1；也可以手动配置交换机Domain ID，比如当交换机级联出现Domain ID冲突的时候。交换机级联 Domain ID冲突可以被自动解决，如果两台交换机的Domain ID没有被设置为永久模式。

警告：
请不要将交换机domain id配置为0。如果domain id是0，将导致交换机不停重启。避免在FCS交换机（安全模式）上修改domain id，为了减少服务影响时间，推荐在san里面的其他交换机上面修改domain id。
Domain ID查看/修改步骤如下：

1. 使用admin用户登录交换机
   输入fabricshow命令
   
   箭头（>）指向的交换机代表当前fabric里面的principal交换机。关于fabricshow命令输出结果详细解释如下：

   · Switch ID：由两部分组成，分配时交换机的domain id和交换机的D_ID。比如switch id=1:fffc01，冒号“:”左半部分的1代表交换机的domain id，有半部分的fffc01代表交换机十六进制的D_ID。
   · Worldwide Name：交换机的WWN。一共64位，使用16进制表示。
   · Enet IP Addr：交换机的IPv4管理地址。如果交换机启用IPv6，将显示静态配置的IPv6地址。
   · FC IP Addr：交换机的Fibre Channel IP地址
   · Name：交换机默认自带或者用户自定义的交换机名称，使用双引号（“”）包围，其中箭头（>）指向的交换机代表fabric里面的principal交换机。

   配置交换机Domain ID

下面是手动配置交换机domain id的步骤：

1. 使用admin用户登录交换机
2. 输入switchdisable命令禁用交换机（注意：要修改交换机domain id，需要首先禁用交换机）
3. 输入configure命令
4. 输入“Y”，如果看到“Fabric parameters”提示
   
5. 如果看到“Domain”提示，请输入独一无二的domain id。交换机可用的Domain ID范围是1-239。
   
6. “Ctrl-D”默认后续配置并退出。
7. 输入switchenable重新启用交换机

WWN: world wide number 是硬件的全球唯一标示
WWPN: world wide port number 是指端口号
WWNN: world wide node number 是指节点号

如果是光纤交换机的话wwn和wwnn是一样的,而wwpn是指每个光纤端口.
如果是HBA卡的话,若是只有一个端口则三者可能一样,若是有多个端口则和交换机差不多.
具体的解释如下图:

WWN是HBA卡用的编号吧，每一个光纤通道设备都有一个唯一的标识，称为WWN（world wide name），由IEEE负责分配。在有多台主机使用磁盘阵列时，通过WWN号来确定哪台主机正在使用指定的LUN（或者说是逻辑驱动器），被使用的LUN其他主机将无法使用。
比如例子：
WWN概念包含WWPN、WWNN。
一个不可拆分的独立的设备有WWNN，一个端口有WWPN。
比如一台SAN交换机，不可拆分，有一个WWNN，它有一堆端口，每个端口有一个WWPN。一块多口光纤HBA，卡本身有一个WWNN，每个端口有一个WWPN，单口的HBA也是，不过只有一个WWNN和一个WWPN。但主机就没有WWNN，因为卡和主机是可以分离的，单纯一个主机本身并不一定是SAN环境中的设备。
有WWNN的好处是：即使不去看连线，也可以清楚地知道，哪些端口是在一个物理设备上
wwn：有两种表示方法： wwpn wwnn
对于主机来说：

单个hba卡（单口）的情况下： wwnn只有一个 wwpn和wwnn一样
单个hba卡（双口）的情况下： wwnn只有一个 wwpn有两个
两个hba卡（单口）的情况下： wwnn有两个 wwpn有两个
两个hba卡（双口）的情况下： wwnn有 两个 wwpn有四个

我在调试存储的时候，客户要求划分50TB的卷，但是在新建卷的过程中，报错如下

此时我们ssh登录管理IP
输入如下命令：

svcinfo lsiogrp

出现iogrp 组
选择我们要查看iogrp

svcinfo lsiogrp 0

由于是报镜像的错，所以我增加下mirror 的位图空间
命令如下：

svctask chiogrp -feature mirror -size 50 0

注意：remote,mirror,raid分配的总大小不能超过552M

之后我们重新新建卷