云智汇科技服务有限公司

公司简介

云智汇科技服务有限公司（Maxnerva Technology Services, HK.1037），是由跃居【财富】全球企业 500 强的鸿海富士康科技集团投资的其关联上市公司。凭借在 3C 高端产品产业从业 20 年的 IT 服务经验，融汇了富士康“云、移、物、大、智、网+机器人”创新技术，融合了经验丰富的工业化和信息化开发、实施与运维的金牌专业团队。

背景

根据富士康 2019 年数字化转型战略(中国制造 2025，工业 4.0)，我们的运营团队面临以下挑战：

从技术方面:

1. 支持私有云，公有云和混合云。

2. 管理数千个微服务，支持近 700 个旧 SLA 服务。

3. 支持从边缘计算到数据分析的大数据架构。

4. 支持海量数据存储和数据分析。

而现在的架构并不能满足上述的要求、同样也存在以下问题:

1. 所有服务都是基于 Docker-compose 进行编排、存在严重的单节点的、没有办法保障服务本身的高可用。

2. 资源利用率低。

3. 对于开发人员操作不方便。

4. 多服务更新时间周期长。

在我们全面转向云原生技术栈之前，我们所有的服务都是基于 Docker 和 Docker-compose 的，不同的服务部署在不同的主机或集群上。为了满足需求，解决存在的问题，我们选择了 Kubernetes、Prometheus 以及 KubeSphere 在内的云原生生态系统工具来面对挑战。最大的好处是，我们可以为客户提供低成本、高效率的制造业数字化转型策略。

选择 KubeSphere 的原因

基于我们的需求和问题，我们也进行了多种解决方案的 POC，包括 Rancher、蓝鲸、原生的 Kubernetes。最终选择 KubeSphere 的原因是，KubeSphere 提供了一个完整的交付链环境，我们可以基于 KubeSphere 以最快捷的方式完成新环境的部署，并且可以对接现有环境。

通过 KubeSphere 打包的一系列云原生工具，我们能够在几分钟内部署新服务，并在几秒钟内升级我们的业务系统。开发人员只需要推送他们的代码，这些代码将在大约 10 分钟内自动发布到生产环境中。因此，我们的资源利用率增加了一倍，交付效率提高了十倍以上。

KubeSphere 给我们带来的最大优势是，现在所有环境的发布，都已经可以由开发人员直接操作，而不需要运维人员全程介入。大大减少了中间的沟通成本和运维工作量。在 KubeSphere 的基础上，我们构建了 AIOps 平台，与我们现有的系统服务和组件紧密集成。

KubeSphere 部署架构

KubeSphere 为我们提供了在多个机房中的混合云部署，使我们能够构建一个工业物联网平台。富士康的工厂分布在世界各地，为了满足业务本身的需求，在不同的地方都有独立的机房进行业务系统的部署。而且开发环境只有一个，通过“标签”进行控制不同的地区中的资源，实现本地编译、本地存储、本地部署上线。这就是我们实现快速应用交付的方式。

基于数据安全防护的需求，集群中资源默认没有访问 Internet 权限，需要通过安全审计服务器才可以正常访问。同样对于集群内部的资源也需要通过审计服务器进行。

• 降低学习成本

• DevOps 定制

• 提升交付效率

存储和网络解决方案

我们在第一次部署中采用 Calico 作为集群网络解决方案。在验证测试时发现多节点之间的网络延迟非常高。这是因为 Calico 对 BGP 协议有特定的要求，而我们部署的中间的网络非常复杂，没有办法针对网络进行更改。后期修改为 flannel 并做部署配置调整，同网段内使用 hostgw ，非同网段时使用 VXLan。最后验证测试确认网络性能有了明显的提升。

我们使用 GlusterFS 集群和 NFS 存储作为集群持久存储的解决方案。GlusterFS 主要为存储卷提供持久挂载，而 NFS 用于数据备份。

日志和监控解决方案

我们是直接对接的现有的监控体系，包括 Zabbix、ELK 和 Prometheus。这样做的优势是可以减少部署的成本，同时也可以实现与现有环境的对接。

KubeSphere 平台的主要使用者"开发人员"，可以直接通过 KubeSphere 平台实现统一的部署和状态信息、监控系统的查看。对于专职的“运维人员”，可以通过现在的监控平台实现更详细的资源查看和故障的处理。

KubeSphere DevOps 定制

在使用 KubeSphere 的过程中，我们也遇到了一个新的困境，开发的业务系统远远多于专职的运维人员，新环境的发布前置条件，严重依赖于运维人员。运维人员需要协助开发团队进行中间件和流水线的初始化部署创建。整个运维团队的人力资源成为流程中的一个新的约束点。

流水线创建所需要使用的 Jenkinsfile 文件的编辑，对于开发人员来讲，存在一定技术上的难度。幸运的是，作为一个完全开放源码的平台，KubeSphere 允许我们根据其现有特性进行定制开发和打包。更具体地说，我们提供了一个快速创建的新功能，以满足开发人员在创建或更新 DevOps 工程和 CI/CD 流水线时的需求。

基于KubeSphere 提供的各项完整的便捷功能，我们实现了少量专职运维人员对应 10+ 开发团队的运维工作。

未来展望

对 KubeSphere 的建议或需求:

1. 更详细的监控信息。

2. 协调统一项目管理。

3. 一个内置的简单的工单系统。

4. 对于 Windows 节点的管理。