fluxcd integration

[lxm]

ks-devops has almost completed the integration of argocd for now.

More solutions should be integrated for different scenarios , and fluxcd is another cd tool that I think is advantage in managing helm.

The work I am currently working on is as follows.

fluxcd 调研记录

背景 & 当前的技术实践

• 使用helm管理应用定义
• 应用组件发布(高频次)与应用定义发布(频次不高)分离
• 多集群、混合云(有些集群无法提供公网的kube-apiserver访问, 当前通过阿里云ack注册集群方式解决，操作流程繁琐，成本较高) - 想要解决的问题1
• 基础设施发布也依赖多集群访问(当前的证书管理) - 想要解决的问题2

使用fluxcd的实践

安装

利用当前devops流水线，加载集群kubeconfig执行安装命令即可

管理helm

• 通过 helmreleases.helm.toolkit.fluxcd.io 对象管理helm发布与更新
• 灵活的values文件加载方式, 支持: chart内的values文件、configmap/secret中的内容、直接添加values值多种方式

镜像/组件版本管理

• 通过configmap覆盖 - 依然依赖所有的镜像文件需要在values文件中配置，但使用独立的configmap进行配置

发布-working in progress

• 选择镜像版本-pipeline动态参数
• 选择发布集群-预期能使用ks多集群管理能力
• 不同集群的配置差异存放, 一个git仓库来管理?

发布状态管理

• 如何快速感知发布状态-notification(预期将来能在ks console上进行展示)
• 失败后的处理(主要是异常状态)

[lxm]

LXM 邀请您参加腾讯会议
会议主题：ks-devops && fluxcd
会议时间：2022/03/30 19:30-21:00 (GMT+08:00) 中国标准时间 - 北京

点击链接入会，或添加至会议列表：
https://meeting.tencent.com/dm/yHt0r6LNleC4

#腾讯会议：328-469-994

复制该信息，打开手机腾讯会议即可参与

[lxm]

OSPP 2022 FluxCD-KS-Devops

文档阅读(Week1-2)

https://fluxcd.io/docs/

重点掌握以下几个controller的逻辑
Source Controller
Kustomize Controller
Helm Controller
Notification Controller
Image Automation Controllers

需要重点理解的:
https://fluxcd.io/docs/components/source/
source controller 主要用于管理源: git/helm repo/helm chart/bucket

实践POC(Week1-3)

helm:

https://fluxcd.io/docs/guides/helmreleases/
使用helmreleases+fluxcd来管理集群中的helm应用

Kustomization

https://github.com/fluxcd/kustomize-controller
使用git仓库+Kustomization来部署应用

设计与ks-devops对接(Week2-End)

• 管理源: git/helm repo/helm chart/bucket
• 管理release: HelmRelease/Kustomization
• 管理部署状态: 每次变更后执行的状态(一个思路: 通过Notification Controller)

[chengleqi]

实践POC #657

[lxm]

应用情况

青椒课堂资源调度服务，应用编排使用helm，约10+个微服务，有多种部署环境，详情如下

• 公有云

  • 阿里云
  • 腾讯云
  • 青云

• 私有集群

  • 客户的集群环境

• 类别差异化

  • vm-provider(driver=aliyun/tencentcloud/qingcloud/kubevirt)
  • 对象存储(oss/cos/minio)

• 环境差异化

  • 唯一标识符
  • 域名后缀

部署策略

根据上述的差异化类型，关于类别的差异化配置会放入chart中，使用 values-aliyun.yaml values-hybird.yaml 等方式进行配置

新增集群时，需要将内置values文件以及集群对应的配置逐个配置，集群管理在私有环境中需要使用注册集群的方式对外暴露kube-apiserver

使用ks+FluxCD实现上述场景

• 通过helmtemplate将某一类的环境进行定义，如阿里云模板、腾讯云模板、私有集群模板
• 使用模板创建helmrelease时加入对应集群的特定配置
• 使用KubeSphere的多集群管理能力统一管理集群凭据

场景说明

批量更新所有集群

chart版本、组件image版本

通过修改helmtemplate之后更新所有helmrealse

单独更新某个集群

在集群对应的helmrelease中修改chart版本、组件版本、values配置