一，VMware Horizon View 的内部版本号和版本对应关系

二，NVIDIA虚拟GPU软件支持的GPU列表

三，Dell 服务器 ESXi返回/无法初始化nvml:未知错误 NVIDIA GPU

四，Horizon系列之安装配置CentOS7虚拟桌面

五，Horizon系列之安装配置Ubuntu18虚拟桌面

六，Horizon系列之CentOS虚拟桌面安装配置VGPU

七，Horizon系列之Ubuntu虚拟桌面安装配置VGPU

八，VGPU License服务器高可用部署方案详细教程

九，Horizon系列之安装配置Windows Server 2016 RDS桌面

十，NVIDIA VGPU软件功能参数对比

十一，Horizon系列之替换各组件自签名SSL证书

做完horizon桌面以后，在仪表板中的系统运行状态里会有提示，连接服务器的ssl证书无效。

如果需要更换vSphere自带的SSL证书看这里VMware之使用自签名证书替换vSphere各组件自带SSL证书

如果安装了安全服务器，也会有提示

如果配置了事件数据库，在事件日志中也会有相应的提示

这里可以使用域证书服务来解决这个问题。

一，安装配置CA服务器

安装一台Windows server 2016虚拟机，更改主机名，然后加域，也可以直接在域控中安装证书服务。

1，安装域证书服务

在服务器角色中选择Active Directory证书服务，下一步

在角色服务中选择证书颁发机构和证书颁发机构Web注册，下一步，直至安装完成

在服务器管理中打开配置证书服务

选择证书颁发机构和证书颁发机构Web注册（选择web注册是为了方便后面通过网页申请证书），下一步

选择企业CA，下一步，选择根CA

选择创建新的私钥

密钥长度2048

其他默认即可，下一步直至安装完成。

二，配置CA模板

1，在服务器管理器中，打开证书颁发机构，右键单击证书模板，单击管理，打开证书模板控制台

右键单击Web 服务器，选择复制模板

2，单击常规选项卡，在模板显示名称字段中，输入 Horizon 作为新模板的名称。

3，单击兼容性选项卡，证书颁发机构选择Windows Server 2016，证书接收人选择Windows 7 / Server 2008 R2，如果是其他版本的服务器，根据真实情况选择即可。

3，单击请求处理选项卡。勾选允许导出私钥

如果ca服务器是单独的虚拟机，则

4，单击安全选项卡，分别选中Authenticated Users和Administrator，确保勾选写入和注册权限

Authenticated Users

Administrator

5，右键单击证书模板，选择新建，点击要颁发的证书模板

6，选中新建的模板Horizon，单击确定。

[scode type="blue"]下面关键内容仅对打赏用户开放，之前通过微信打赏的用户，微信联系我获取密码，谢谢！[/scode]

环境：Horizon 7.8 Windows 2016 RDS许可服务器，Windows2016 RDS会话主机模板

一，准备RDS许可服务器

1，安装一台Windows server 2016服务器，更改计算机名称，并加域。关于Windows加域自动激活，参考下面的链接

大客户VL版本Windows客户端加域自动激活详细教程

2，安装远程桌面服务组件

选择远程桌面授权

3，打开RD授权管理器，右键单击服务器名称，选择激活服务器，弹出服务器激活向导，点击下一步

4，选择Web浏览器，单击下一步

弹出产品id窗口，复制产品ID

5，打开远程桌面服务器授权网站：https://activate.microsoft.com/ 选择启用许可证服务器，点击下一步

6，在产品id中粘贴第4步复制的产品id，填写公司信息，选择国家为中国，点击下一步，继续下一步

7，生成许可证id

复制许可证id，粘贴到许可证服务器激活向导窗口中，点击下一步。

8，选择立即启动许可证安装向导

9，在许可激活网页中点击是，许可证程序选择企业协议，点击下一步

10，产品类型选择Windows server 2016远程桌面服务每用户客户端访问许可证，数量根据自己需求任意填写，协议号码填写（6565792,4954438,6879321,5296992）其中之一。

11，生成许可证ID，复制许可

12，粘贴到许可ID安装向导窗口中，下一步

许可id安装完毕

13，右键单击服务器名称，选择复查配置

点击添加到组

500个用户的许可正式申请成功

至此RDS许可服务器搭建完成

如果做windows 2008 或者windows 2012的rds桌面，根据上述步骤选择相应的系统版本即可。

[scode type="blue"]下面关键内容仅对打赏用户开放，之前通过微信打赏的用户，微信联系我获取密码，谢谢！[/scode]

[ppblock ex="原创不易，打赏后即可获取文章密码！"]

二，准备RDS服务器模板

1，安装一台Windows 2016服务器，不用加域。

在服务器角色中选择远程桌面服务

在角色服务中，选择远程桌面会话主机点击下一步

备注：如果是 Windows 2012、Windows 2012 R2，还需要安装桌面体验功能。

2，安装horizon agent，勾选Vmware Horizon View Composer Agent选项，下一步直至安装完成。

如果需要配置即时克隆的桌面，则只选择Vmware Horizon Instant Clone Agent，和上面的composer 不能同时安装，还需要在view 管理界面添加即时克隆管理员。

3，关闭虚拟机的休眠功能，用管理员打开命令提示符，执行下面的命令

powercfg.exe /hibernate off

4，虚拟机关机，做快照。

5，新建Windows 2016的虚拟机自定义规范win2016，网络使用dhcp。

填写加域信息

6，在域控制器中打开组策略管理器，右键组策略对象，点击新建，输入GPO名称

7，右键新建的GPO，点击编辑

定位到计算机配置--策略--管理模板--Windows组件--远程桌面服务--远程桌面会话主机

a，点击授权--使用指定的远程桌面许可证服务器 已启用，填写rds许可证服务器rds.lzuvdi.com

b，点击授权--设置远程桌面授权模式，已启用，按用户

如果模板虚拟机是Windows 2008r2 或者Windows 2012R2，还需要如下操作。
2016不用做
c，点击连接--限制连接的数量，已启用。数量为1

8，在组策略管理器中，右键单击要存放Windows 2016 RDS虚拟机的AD容器，点击链接现有GPO

选择RDS-license GPO，单击确定。

三，配置RDS场

1，新建自动场

2，选择View Composer链接克隆

3，选择RDS主机AD容器

选择自定义规范win2016

等待置备

四，配置RDS桌面池

1，选择RDS桌面池

2，选择创建好的RDS场

点击下一步然后授权用户

五，登录测试RDS桌面

重要：配置权限，将分配给RDS桌面的用户加入Domain Admins组，

否则登录桌面的时候会报下面的错

rds许可服务器是域成员，在整个域环境中提供rds许可，获取rds许可需要用户有域管理员权限。

登录一个桌面

查看RDS许可信息

正确获取许可

登录两个桌面。500个许可，已经用了两个。

在RDS许可服务器中查看授权信息

[/ppblock]

生产环境中，vgpu的许可服务器可以部署为HA模式，这样不管哪一台出问题，都不会影响客户端获取许可。
本次采用两台centos7.6，固定IP地址，centos带桌面组件，license 许可版本是2019.05.0.26416627。2018.06及以后的Linux 许可服务器版本支持在consloe 字符界面下安装，之前的版本必须需要桌面。

许可证服务器需要Java运行时环境和Apache Tomcat服务器，必须在安装许可证服务器软件之前单独安装，linux一般都自带java。

license-a：192.168.80.112 主许可服务器
license-b：192.168.80.113 备许可服务器

先安装license-a

1，安装tomcat环境

yum install -y tomcat tomcat-webapps
systemctl start tomcat
systemctl enable tomcat

2，上传Linux版本的许可管理软件

chmod +x setup.bin
/setup.bin

弹出安装界面，选择next

如果没有桌面，可以使用下面的命令

./setup.bin -i console

默认安装到/opt/flexnetls/nvidia文件夹下，点击下一步

填入tomcat 的文件夹 /usr/share/tomcat ，tomcat安装完默认就这个位置， 点击下一步

勾选两个端口，会自动加入防火墙白名单，许可端口是7070，管理端口是8080，点击下一步，然后单击安装

安装完成

3，登录许可服务器

浏览器中打开http://license-a:8080/licserver/
在左边菜单栏点击Configuration，记录下Server host ID，即这台虚拟机的mac地址

重复上述步骤安装第二台许可服务器license-b并记录Server host ID

4，生成许可

登录nvidia许可官网

输入账号密码，点击左侧的Register License Server，输入两台许可服务器的mac地址，填写别名，点击创建。

然后添加映射购买好的许可，点击Download License File

5，上传许可

浏览器中打开许可服务器，点击License Management，选择许可文件点击上传。此时提示：

Successfully applied license file to license server.

点击Licensed Feature Usage，许可已成功上传

确定两台服务器都成功上传，并正确显示许可信息。

6，配置HA

先配置license-a。
点击左侧的License Server Configuration

a) 在Backup URI框中输入：

http://license-b:7070/fne/bin/capability
即：http://192.168.80.113:7070/fne/bin/capability

b) 在Main URI框中输入：

http://license-a:7070/fne/bin/capability
即：http://192.168.80.112:7070/fne/bin/capability

设置Synchronization to fne enabled选项为true

c) 在Main FNE Server URI框中输入：

http://license-a:7070/fne/bin/capability
即：http://192.168.80.112:7070/fne/bin/capability

确认上述信息填写无误，然后点击SAVE保存。

然后在license-b中重复上述操作。

SSH到license-a服务器

systemctl restart flexnetls-nvidia
cat /var/opt/flexnetls/nvidia/logs/flexnetls.log

日志信息可能需要等几分钟才能出现

SSH到license-b服务器

systemctl restart flexnetls-nvidia
cat /var/opt/flexnetls/nvidia/logs/flexnetls.log

至此，license HA搭建完成。

7，测试HA

在vgpu虚拟机中填写主备许可服务器的IP和端口，提示已经获取许可

此时关闭license-a许可服务器，许可管理界面已经无法打开，查看license-b 的管理界面

虚拟机的许可请求自动转移到license-b(192.168.80.113)。

Ubuntu的VGPU的配置跟CentOS类似，也是需要先加域，过程参考Horizon系列之安装配置Ubuntu18虚拟桌面，只需要做到加域，验证sudo权限以及域用户能进桌面步骤即可，horizon agent 不需要安装，如果已经安装了，需要执行下面的命令卸载

    /usr/lib/vmware/viewagent/bin/uninstall_viewagent.sh

ESXI主机安装GPU驱动以及给虚拟机分配VGPU过程参考这里Horizon系列之CentOS虚拟桌面安装配置VGPU

环境：

Vcenter6.7 ESXI6.7 Horizon7.8 Ubuntu18.04 GRID VGPU7.2

一，安装配置虚拟桌面模板

1，禁用自带的驱动

echo "blacklist nouveau" >> /etc/modprobe.d/blacklist.conf

没有禁用驱动之前是这样的

lsmod |grep nouveau

update-initramfs -u

重启虚拟机

lsmod |grep nouveau

无任何输出，则说明自带驱动已经禁用

[scode type="blue"]下面关键内容仅对打赏用户开放，之前通过微信打赏的用户，微信联系我获取密码，谢谢！[/scode]

[ppblock ex="原创不易，打赏后即可获取文章密码！"]
2，安装vgpu驱动的依赖组件

apt-get install make gcc g++ lib32ncurses5 lib32z1

3，上传vgpu的驱动，然后安装

chmod +x NVIDIA-Linux-x86_64-410.107-grid.run
service lightdm stop
./NVIDIA-Linux-x86_64-410.107-grid.run

提示预安装脚本失败，忽略它，点击继续

忽略GCC版本的兼容性，要求是7.3，默认安装的是7.4，忽略即可

点击OK

安装过程

选择yes，需要安装32位的兼容库

安装并覆盖

选择更新

安装完成

重启虚拟机，然后执行

nmvidia-smi

输出如上信息，则vgpu驱动安装成功

4，上传Linux系统的horizon agent解压并安装

./install_viewagent.sh -A yes

安装agent 的时候可能会出现以下错误

执行

dpkg-reconfigure gdm3

选择gdm3，然后回车，继续执行./install_viewagent.sh -A yes安装agent

安装完成后继续执行

dpkg-reconfigure gdm3

选择lightdm，然后回车，horizon 要求lightdm作为显示管理器。

5，编辑/etc/vmware/viewagent-custom.conf文件，去除SSODesktopType=UseGnomeUbuntu前面的#

6，生成grid配置文件

这一步是为了登录桌面执行nvidia-settings 能看到license的配置项，这个文件里直接可以配置许可服务器的IP和端口。

cp /etc/nvidia/gridd.conf.template /etc/nvidia/gridd.conf
vi /etc/nvidia/gridd.conf

编辑内容如下：

去除EnableUI=TRUE前面的#

然后按:wq! 保存

7，清理之前登录测试在/home/文件夹下自动创建的用户文件夹，以及horizon agent安装程序和vgpu驱动，删除在/var/lib/AccountsService/users/ 下生成的域用户文件

8，创建linux版本的客户机自定义规范，然后克隆ubuntu为模板

二，创建桌面池

新建桌面池，选择自动，专用桌面，完整克隆。3D渲染器选择 NVIDIA GRID VGPU，其他自定义，然后等待置备。

三，测试桌面

1，horizon client登录

如果不输入许可，桌面非常卡，并且有以下限制：

帧速率上限为每秒3帧。
GPU资源分配有限，这将阻止某些应用程序正常运行。
在支持CUDA的vGPU上，CUDA被禁用。

总结：不管是centos，还是ubuntu，在分配许可的时候直接在/etc/nvidia/gridd.conf文件中配置好许可IP和端口。

[/ppblock]

Windows的VGPU非常简单，一路点鼠标下一步，没有什么难度，Linux的vgpu桌面还是有点坑。

环境：Vcenter6.7 ESXI6.7 Horizon7.8 Centos7.6 GRID VGPU7.2

不同的ESXI和VGPU版本支持的功能不尽相同，在配置之前一定要确定。

一，安装配置VGPU驱动

1，上传GPU的驱动到主机的存储空间，开启主机的ssh，然后登录主机，把驱动复制到/tmp文件夹下，迁移或关闭主机上所有的虚拟机，然后将主机置入维护模式，并安装驱动。

esxcli system maintenanceMode set --enable=true
esxcli software vib install -v /tmp/NVIDIA-VMware_ESXi_6.7_Host_Driver-410.107-1OEM.670.0.0.8169922.x86_64.vib

如果是升级驱动则用下面命令：

esxcli software vib update -v /tmp/NVIDIA-VMware_ESXi_6.7_Host_Driver-410.107-1OEM.670.0.0.8169922.x86_64.vib

卸载驱动用下面的命令：

esxcli software vib remove -n NVIDIA-VMware_ESXi_6.7_Host_Driver

2，查看驱动是否安装成功

esxcli software vib list | grep -i nvidia

nvidia-smi

备注：Tesla M60，Tesla M6和基于Pascal GPU架构的GPU，例如Tesla P100或Tesla P4，支持纠错码（ECC）内存，以提高数据完整性。图形模式下的特斯拉M60和M6 GPU默认情况下禁用ECC内存。NVIDIA vGPU不支持ECC内存。如果启用了ECC内存，则NVIDIA vGPU无法启动。因此，如果使用的是NVIDIA vGPU，则必须确保在所有GPU上禁用ECC内存。早期的M10,M60 还需要手动将模式转为图形模式，出厂默认是计算模式，近几年出的卡不需要，转换方法参考官方文档。

如果nvidia-smi执行报错，先查看ecc是否关闭

nvidia-smi -q

如果没有关闭，执行下面命令关闭ecc

如果要将主机上所有GPU 或分配给VM的vGPU的ECC状态更改为关闭，请运行以下命令：

nvidia-smi -e 0

如果要将特定GPU 或vGPU的ECC状态更改为关闭，请运行以下命令：

nvidia-smi -i id -e 0

id 是执行 nvidia-smi后显示的GPU 或vGPU的索引 即Bus-Id。
比如要禁用Bus-ID为00000000:31:00.0的GPU的ECC

nvidia-smi -i 00000000:31:00.0 -e 0

关闭ecc 的情况下如果还是报错，官网查看驱动版本和当前esxi是否兼容，确定版本没有问题的情况下继续报错，则点击这里确定主机的BIOS设置是否规范。

确认上述步骤无任何问题，把主机退出维护模式，然后重启服务器

esxcli system maintenanceMode set --enable=false
reboot

3，vcenter中选中主机，点击配置，单击图形

在图形设备标签下，选择物理GPU，选择直接共享，单击确定，多个GPU，重复操作即可

在主机图形标签下，选择物理GPU，选择直接共享，单击确定，多个GPU，重复操作即可

4，如果集群内有多个GPU服务器，可以开启VGPU的vmotion 模式。

点击vcenter实例名称，点击配置，选择高级设置并单击编辑，弹出的窗口中，搜索关键字VGPU，勾选已启用，单击确定。此时vgpu 的vmotion功能已开启。

下表列出了支持VMware vmotion和vGPU的suspend-resume的软件版本

并且只有以下GPU支持vmotion

Tesla M6
Tesla M10
Tesla M60
Tesla P4
Tesla P6
Tesla P40
Since 7.1: Tesla T4

二，配置虚拟机模板

[scode type="blue"]下面关键内容仅对打赏用户开放，之前通过微信打赏的用户，微信联系我获取密码，谢谢！[/scode]

VMware官方文档知识库

https://docs.vmware.com/cn/

主机兼容性检查/io设备等

https://www.vmware.com/resources/compatibility/search.php

VSAN主机兼容性

https://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsan

Vmware 补丁下载链接

https://my.vmware.com/group/vmware/patch#search

VMware 软件内部版本号和版本

VMware Horizon View 的内部版本号和版本 
https://kb.vmware.com/s/article/2143853?lang=zh_CN

VMware ESXi/ESX 的内部版本号和版本 
https://kb.vmware.com/s/article/2143832

VMware vCenter Server 的内部版本号和版本 
https://kb.vmware.com/s/article/2143838?lang=zh_CN

EVC处理器支持

https://kb.vmware.com/s/article/1003212

VSAN 计算工具链接

https://vsansizer.vmware.com/sizer-menu

VSAN的IO设备兼容性

https://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsanio

vCenter与windows操作系统的兼容性

https://kb.vmware.com/s/article/2091273

vCenter与AD的兼容性

https://kb.vmware.com/s/article/2071592

VM产品互相兼容性检查

https://www.vmware.com/resources/compatibility/sim/interop_matrix.php

VM产品升级版本兼容性

https://www.vmware.com/resources/compatibility/sim/interop_matrix.php#upgrade

VM产品与第三方数据库兼容性

https://www.vmware.com/resources/compatibility/sim/interop_matrix.php#db

EVC处理器支持兼容性

https://kb.vmware.com/s/article/1003212?lang=zh_CN

Vmware powercli 下载

https://www.vmware.com/support/developer/PowerCLI/

VMware Horizon view Windows桌面优化工具下载连接

https://labs.vmware.com/flings/vmware-os-optimization-tool

VMware Horizo​​n Toolbox

https://labs.vmware.com/flings/horizon-toolbox-2

VMware Horizon Desktop Watermark

https://labs.vmware.com/flings/desktop-watermark

Horizon Agent支持的 Windows 10 版本

https://kb.vmware.com/s/article/2149393?lang=zh_cn

Ubuntu的虚拟桌面配置也很简单，根据步骤肯定会成功。以下基于horizon7.8 ubuntu18.04.2。

如果需要配置CentOS的桌面，参考这里 Horizon系列之安装配置CentOS7虚拟桌面

一，配置虚拟机模板

1，在线安装open vmtools

apt-get install open-vm-tools-desktop

2，安装ssh服务端，ubuntu默认自带ssh客户端，服务端需要自己安装

apt-get install openssh-server

3，卸载自带的vi编辑器，默认自带的编辑器是个精简版，非常难用，用过的都知道

apt-get remove vim-common

4，安装完整版本的vi编辑器

apt-get install vim

5，安装必需的依赖包，

apt-get install python python-dbus python-gobject lightdm

在安装过程中选择 lightdm 作为显示管理器

6，安装 PowerBroker Identity Services Open (PBISO) 身份验证工具

打开https://github.com/BeyondTrust/pbis-open/releases，找到以linux.x86_64.deb.sh结尾的文件，下载并安装。

wget https://github.com/BeyondTrust/pbis-open/releases/download/9.0.1/pbis-open-9.0.1.525.linux.x86_64.deb.sh
chmod +x pbis-open-9.0.1.525.linux.x86_64.deb.sh
./pbis-open-9.0.1.525.linux.x86_64.deb.sh

7，加域

[scode type="blue"]下面关键内容仅对打赏用户开放，之前通过微信打赏的用户，微信联系我获取密码，谢谢！[/scode]

[ppblock ex="原创不易，打赏后即可获取文章密码！"]

执行下面的命令加域

domainjoin-cli join lzuvdi.com administrator

查看加域结果

8，配置域环境

依次执行下面的命令

/opt/pbis/bin/config UserDomainPrefix lzuvdi 
/opt/pbis/bin/config AssumeDefaultDomain true 
/opt/pbis/bin/config LoginShellTemplate /bin/bash 
/opt/pbis/bin/config HomeDirTemplate %H/%U

[scode type="yellow"]备注：lzuvdi 是域名[/scode]

9，查找用户

id user01
id user02

10，设置域用户权限，user01属于Domain Admins组，user02只属于Domain Users

编辑visudo加入下面一行，使得Domain Admins组有sudo权限

%domain^admins ALL=(ALL) NOPASSWD:ALL

11，测试sudo权限

user01可以正常使用sudo权限，提示user02不在sudo文件中。

12，编辑 /etc/pam.d/common-session 文件

session [success=ok default=ignore] pam_lsass.so

重新安装或更新 Horizon Agent for Linux 后，必须重复此步骤

13，编辑 /usr/share/lightdm/lightdm.conf.d/50-unity-greeter.conf 文件并附加以下行

allow-guest=false
greeter-show-manual-login=true

14，上传Linux系统的horizon agent解压并安装，然后重启

./install_viewagent.sh -A yes

15，测试域用户登录桌面

16，编辑/etc/vmware/viewagent-custom.conf文件

去除SSODesktopType=UseGnomeUbuntu前面的#

17，清理之前登录测试在/home/%D/文件夹下自动创建的用户文件夹，以及horizon agent程序和pbis程序，删除在/var/lib/AccountsService/users/ 下生成的域用户文件

18，创建linux版本的客户机自定义规范，然后克隆ubuntu为模板

二，创建桌面池

选择自动完整桌面池。创建过程选择第18步创建好的客户机规范。

三，测试桌面

1，web登录

2，客户端登录

[/ppblock]