一、概念
VMware vSphere© with VMware Tanzu™ 是一个可在 vSphere 中运行容器化应用程序的平台。vSphere 管理员可以在 vSphere 集群上启用 vSphere with Tanzu，以创建开发人员就绪平台，DevOps 工程师和应用程序开发人员可以在该平台中以自助方式运行 Kubernetes 应用程序。
启用了 vSphere with Tanzu 的 vSphere 集群称为 主管。vSphere 管理员可以在 主管上创建命名空间（称为 vSphere 命名空间），并为其配置特定的内存量、CPU 和存储量。然后，DevOps 工程师和应用程序开发人员可以使用 VMware Tanzu™ Kubernetes Grid™ 通过部署 vSphere Pod、虚拟机或通过创建上游 Kubernetes 集群在 vSphere 命名空间中运行 Kubernetes 容器，并在这些集群中运行应用程序。
通过使用 vSphere with Tanzu，可以将 vSphere 集群转换为在专用资源池中运行 Kubernetes 工作负载的平台。在 vSphere 集群上启用 vSphere with Tanzu 后，会在 Hypervisor 层中直接创建一个 Kubernetes 控制平面。之后，可以通过部署 vSphere Pod 运行 Kubernetes 容器，也可以通过 VMware Tanzu™ Kubernetes Grid™创建上游 Kubernetes 集群，并在这些集群中运行应用程序。
什么是 vSphere with Tanzu？
可以使用 vSphere with Tanzu 将 vSphere 转换为在 Hypervisor 层上以本机方式运行 Kubernetes 工作负载的平台。在 vSphere 集群上启用 vSphere with Tanzu 后，可直接在 ESXi 主机上运行 Kubernetes 工作负载，并可在称为 vSphere 命名空间的专用命名空间中创建上游 Kubernetes 集群。
vSphere with Tanzu 用户角色和工作流
vSphere with Tanzu 平台涉及两个角色：vSphere 管理员和 DevOps 工程师。DevOps 工程师的角色包括 DevOps、应用程序开发人员和 Kubernetes 管理员。这两个角色通过不同的接口与平台进行交互，并且可以在 vCenter Server 中为其定义具有关联权限的用户或用户组。Vsphere 管理员和 DevOps 工程师角色的工作流是不同的，由这些角色所需的特定专业知识领域决定。
vSphere with Tanzu 如何更改 vSphere 环境？
主管 会将对象添加到 vCenter Server 清单中，如命名空间、vSphere Pod 和 Tanzu Kubernetes Grid 集群。
vSphere with Tanzu 的许可
为 vSphere 集群配置 vSphere with Tanzu 且该集群变为 主管 后，必须在 60 天评估期过期之前为集群分配 Tanzu 版许可证。
vSphere with Tanzu 身份验证
作为 vSphere 管理员，您需要具备配置 主管 和管理命名空间的特权。您可以定义命名空间的权限，以确定哪些 DevOps 工程师可以访问这些命名空间。此外，还可以为主管配置外部 OpenID Connect (OIDC) 提供程序，以启用多因素身份验证。作为 DevOps 工程师，您可以使用 vCenter Single Sign-On 凭据或 OIDC 提供程序提供的凭据对主管进行身份验证，具体取决于 vSphere 管理员在主管上为您提供的配置。您只能访问具有其权限的命名空间。
vSphere with Tanzu 安全
vSphere with Tanzu 利用 vSphere 安全功能，并置备默认安全的 Tanzu Kubernetes Grid 集群。
二、安装配置vSphere环境
要部署 主管 的每个 vSphere 集群都必须满足以下要求：
1）创建并配置至少包含 2 个 ESXi 主机的 vSphere 集群。如果使用 vSAN，集群必须至少有三个主机或四个主机才能获得最佳性能。
2）使用共享存储（如 vSAN）配置集群。vSphere HA、DRS 和存储持久容器卷需要共享存储。
3）启用具有 vSphere HA 的集群。
4）在全自动模式下启用具有 vSphere DRS 的集群。
5）要部署三区域 主管，请创建三个 vSphere 区域。
三、创建存储策略
3.1将标记添加到数据存储
右键单击要标记的数据存储，然后选择标记和自定义属性 > 分配标记。
单击添加标记。
指定数据存储标记的名称，例如 Gold。描述，例如Datastore for Kubernetes objects。点击“创建新类别”
输入类别名称，例如Storage for Kubernetes。
点击“创建”
勾选新标记，点击“分配”
3.2创建虚拟机存储策略
在vSphere Client中，单击菜单 > 策略和配置文件
虚拟机存储策略。单击“创建”
输入名称，点击“下一页”
勾选“启用基于标记的放置规则”，点击“下一页”
标记类别选择“Storage for Kubernetes”，使用情况选项选择“使用具有以下标记的存储”，单击浏览标记，然后选择Gold。单击“下一页”
查看兼容性，点击“下一页”
点击“完成”
四、配置集群网络
配置集群网络可使用一下三种方式中任何一种，其中NSX和NSX ALB需购买许可，HAProxy免费。
4.1安装配置 NSX
4.1.1创建分布式交换机
4.1.1.1创建分布式交换机
在vSphere Client中，单击菜单 > 清单，选择网络配置界面，邮件数据中心 > Distributed Switch > 新建Distributed Switch
输入名称，点击“下一页”
选择版本，点击“下一页”
选择上行链路，取消勾选创建默认端口组，点击“下一页”
点击“完成”
4.1.1.2创建分布式端口组
端口组说明：
右键分布式交换机，分布式端口组 > 新建分布式端口组
输入端口组名称，点击“下一页
VLAN类型选择“VLAN中继”，点击“下一页
点击“完成
右键分布式交换机，分布式端口组 > 管理分布式端口组
勾选“绑定和故障切换”，点击“下一页”
勾选端口组，县级“下一页”
配置活动上行链路和备用上行链路，例如：活动上行链路为 Uplink1，备用上行链路为 Uplink2
点击“完成”
4.1.1.3将主机附加到分布式交换机
右键分布式交换机添加和管理主机
添加主机
勾选主机
分配适配器
管理现有Vmkernel
迁移虚拟机
点击“完成”
4.1.2部署和配置NSX Manager
使用模板nsx-unified-appliance-4.0.1.1.0.20598961-le.ova部署NSX Manager。
1）在配置选项卡中，建议的最低部署大小为“中型”。
2）选择虚拟磁盘格式为精简置备。
3）目标网络选择管理端口组DPortGroup-MGMT。
4）设置GRUB root、系统root、CLI admin、CLI audit用户密码
5）设置主机名、IP地址、掩码、网关、DNS、NTP。
部署完成后使用admin用户登录CLI，运行get interface eth0查看地址，运行get service查看服务。
4.1.3部署NSX Manager集群
NSX Manager 集群提供高可用性。要创建 NSX Manager 集群，需再部署两个节点以形成一个三节点集群。
使用管理员特权登录到NSX Manager管理界面 https://<manager-ip-address> 。
接受协议
4.1.3.1添加许可
在系统 > 许可证页面，添加许可。
4.1.3.2添加计算机管理
选择“系统 > Fabric > 计算机管理 >添加计算机管理”
输入名称，vCenter管理地址、用户名、密码，勾选“启用信任”，点击“添加”
完成添加
4.1.3.3添加节点和VIP
要部署设备，请选择系统 > 设备 > NSX Manager> 添加 NSX 设备。输入设备详细信息。添加2台NSX Manager节点。
输入主机名、IP地址/掩码、网关，点击“下一步”
选择网络
输入root密码，点击“安装设备”
点击界面中“设置虚拟IP”
设置虚拟IP地址
创建完成后使用vip登录管理界面。
4.1.4创建传输区域(可选)
传输区域指示哪些主机和虚拟机可以使用特定网络。传输区域可以跨一个或多个主机集群。作为 vSphere 管理员，您可以使用默认传输区域或创建以下传输区域：
主管 控制平面虚拟机使用的覆盖网络传输区域。
用于物理网络上行链路的 NSX Edge 节点的 VLAN 传输区域。
选择“系统> Fabric > 传输区域 > 添加区域”。
输入传输区域的名称和描述。选择流量类型，可以选择“覆盖”或“VLAN”。
缺省情况下，存在以下传输区域:
VLAN传输区域，名称为nsx-vlan-transportzone。
覆盖传输区域，名称为nsx-overlay-transportzone。
输入一个或多个上行分组策略名称。
附加到传输区域的段使用这些命名的组合策略。如果没有找到匹配的命名组队策略，则使用默认上行组队策略。
4.1.5为主机隧道端点创建 IP 池
为ESXi主机隧道端点(TEP)和Edge节点创建IP池。TEP是在外部IP标头中使用的源和目标IP地址，用于标识发起和结束覆盖网络帧NSX封装的ESXi主机。
选择网络 > IP 地址池 > 添加IP地址池
输入名称ESXi-TEP-IP-POOL，点击后面的“设置”按钮
点击“添加子网” > “IP范围”
输入IP地址CIDR、IP地址范围、网关、DNS
点击“应用”
点击“保存”
使用相同方法创建EDGE-TEP-IP-POOL
4.1.6创建上行链路配置文件
创建主机上行链路配置文件用于定义从 ESXi 主机到 NSX 分段的上行链路策略。
选择系统> Fabric > 配置文件 > 上行链路配置文件 > 添加配置文件。
输入名称esxi-uplink-profile
在绑定下，输入活动和备用上行链路
同样创建EDGE上行链路配置文件edge-uplink-profile，配置活动上行链路uplink-1。
创建传输节点配置文件
选择系统> Fabric > 配置文件 > 传输节点配置文件 > 添加配置文件。
输入名称host-transport-node-profile，添加交换机下安装下图配置详细信息
4.1.7在集群上配置 NSX
选择系统 > 架构 > 节点 > 主机传输节点。从托管主体下拉菜单中，选择现有的 vCenter Server。选择要在其上配置 NSX 的计算集群。单击配置 NSX。
选择之前创建的传输节点配置文件，然后单击应用。
4.1.8配置和部署 NSX Edge 传输节点
选择系统 > 架构 > 节点 > Edge传输节点 > 添加Edge虚拟机
输入名称NSX-EDGE-1，IP地址及选择规格
输入CLI admin和root的密码
选择集群
输入IP地址信息
设置nvds1信息
设置nvds2信息
同样方法配置第二个Edge
选择系统 > 架构 > 节点 > Edge集群 > 添加Edge集群
4.1.9创建第 0 层上行链路分段
选择网络 > 分段 > 添加分段。
输入分段的名称TIER-0-LS-UPLINK。选择之前创建的传输区域nsx-vlan-transportzone。切换管理状态以将其启用。输入第0层网关的 VLAN ID。点击“保存”按钮。
4.1.10创建第0层网关
第 0 层网关是 NSX 逻辑路由器，为 NSX 逻辑网络提供到物理基础架构的南北向连接。vSphere with Tanzu 在同一个传输区域中的多个 NSX Edge 集群上支持多个第 0 层网关。
选择网络 > Tier-0 层网关，单击添加网关Tier-0
输入名称Tier-0_VWT，HA模式选择活动-备用，选择Edge集群，点击“保存”按钮
点击“是”，继续配置
展开接口，然后单击设置
点击“添加接口”输入名称TIER-0_VWT-UPLINK1，类型选择外部，输入Edge 逻辑路由器IP地址(必须不同于管理地址)，已连接到中，选择之前创建的第 0 层上行链路分段TIER-0-LS-UPLINK，列表中选择节点nsx-edge-1。点击“保存”
添加第二个接口，使用连接到 nsx-edge-2节点的地址创建第二个上行链路TIER-0_VWT-UPLINK2。点击“保存”
点击“关闭”
配置高可用性，单击HA VIP配置中的设置
单击添加 HA VIP 配置。输入地址。选择接口TIER-0_WVT-UPLINK1 和 TIER-0_WVT-UPLINK2。点击“添加”和“应用”
配置路由，展开路由。单击“静态路由”中的设置。
单击添加静态路由。输入名称DEFAULT-STATIC-ROUTE。输入 0.0.0.0/0 作为网络 IP 地址。点击下一跃点下的设置
输入下一个跃点路由器的地址。这是 NSX Edge 逻辑路由器上行链路 VLAN 中的管理网络 VLAN 的默认网关。点击“添加”和“应用”
点击“关闭编辑”按钮
