本文详述了在Centos 8.3上安装k8s，安装helm, 创建nfs storageclass，采用Air-Gapped方式安装Veeam Kasten k10, 部署minio并创建S3 bucket作为Veeam kasten k10备份存储库，手工部署mysql并应用kanister blueprint，使用Veeam kasten k10实现针对mysql无代理应用感知备份恢复的详细步骤及截图。
本文使用的测试环境是Centos8.3（4 core CPU/10GB内存/50GB硬盘），k8s版本是1.21.3, Veeam Kasten K10版本是4.5.12.
4. 安装配置helm
下载helm 3.1.2:
[root@centos8-k8s ~]# pwd
/root
[root@centos8-k8s ~]# wget https://get.helm.sh/helm-v3.1.2-linux-amd64.tar.gz
[root@centos8-k8s ~]# tar zxvf helm-v3.1.2-linux-amd64.tar.gz linux-amd64/
[root@centos8-k8s ~]# cp -a linux-amd64/helm /usr/local/bin/
[root@centos8-k8s ~]# helm version
version.BuildInfo{Version:"v3.1.2", GitCommit:"d878d4d45863e42fd5cff6743294a11d28a9abce", GitTreeState:"clean", GoVersion:"go1.13.8"}
[root@centos8-k8s ~]# helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
[root@centos8-k8s ~]# helm repo update
[root@centos8-k8s ~]# vi /etc/profile
添加一行:
export KUBECONFIG=/root/.kube/config
编辑切换为居中
[root@centos8-k8s ~]# . /etc/profile
5.安装nfs服务
[root@centos8-k8s ~]# yum -y install nfs-utils rpcbind
[root@centos8-k8s ~]# mkdir /nfsdata
[root@centos8-k8s ~]# vi /etc/exports
添加以下内容：
/nfsdata *(rw,sync,no_root_squash)
[root@centos8-k8s ~]# exportfs -rv
exporting *:/nfsdata
[root@centos8-k8s ~]# systemctl start rpcbind
A dependency job for rpcbind.service failed. See 'journalctl -xe' for details.
[root@centos8-k8s ~]# vi /etc/sysctl.conf
添加2行：
net.ipv6.conf.all.disable_ipv6 = 0
net.ipv6.conf.default.disable_ipv6 = 0
编辑切换为居中
[root@centos8-k8s ~]# systemctl restart rpcbind.service
[root@centos8-k8s ~]# systemctl start nfs-server
[root@centos8-k8s ~]# systemctl enable nfs-server
[root@centos8-k8s ~]# systemctl status nfs-server
编辑切换为居中
[root@centos8-k8s ~]# rpcinfo -p
[root@centos8-k8s ~]# showmount -e
Export list for Centos8.3-k8s:
/nfsdata *
[root@centos8-k8s ~]# mount -t nfs 192.168.17.131:/nfsdata /mnt/
[root@Centos8 mnt]# df -h
编辑切换为居中
6. 创建配置StorageClass
[root@centos8-k8s external-storage]# git clone https://github.com/helm/charts.git
编辑切换为居中
[root@centos8-k8s external-storage]# cd charts
[root@centos8-k8s charts]# helm install nfs-client-provisioner stable/nfs-client-provisioner --set nfs.server=192.168.17.131 --set nfs.path=/nfsdata
编辑切换为居中
[root@centos8-k8s nfs-client-provisioner]# kubectl get sc
编辑切换为居中
设置为default storage class.
[root@centos8-k8s nfs-client-provisioner]# kubectl patch storageclass nfs-client -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'
storageclass.storage.k8s.io/nfs-client patched
编辑切换为居中
[root@centos8-k8s nfsdata]# kubectl get sc
编辑切换为居中
[root@centos8-k8s charts]# chmod 777 /nfsdata
[root@Cen8]# vi /etc/kubernetes/manifests/kube-apiserver.yaml
添加一行：
- --feature-gates=RemoveSelfLink=false
编辑切换为居中
[root@Cen8]# kubectl apply -f /etc/kubernetes/manifests/kube-apiserver.yaml
[root@Cen8-131 charts]# kubectl get node
NAME STATUS ROLES AGE VERSION
localhost.localdomain Ready control-plane,master 3h42m v1.21.3
通过以下测试验证storageclass是否创建配置成功。
[root@centos8-k8s charts]# vi test-claim.yaml
添加如下内容：
# vim test-claim.yaml
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: test-claim
spec:
accessModes:
- ReadWriteMany
resources:
requests:
storage: 1Mi
[root@centos8-k8s charts]# kubectl apply -f test-claim.yaml
persistentvolumeclaim/test-claim created
[root@centos8-k8s charts]# kubectl get pv
[root@Cen8-131 charts]# kubectl get pods
[root@Cen8-131 charts]# kubectl get pvc
编辑切换为居中
看到以上结果，表明nfs storageclass创建成功。
7. 安装Veeam Kasten K10
[root@centos8-k8s ~]# helm repo add kasten https://charts.kasten.io/
"kasten" has been added to your repositories
[root@centos8-k8s ~]# helm fetch kasten/k10 --version=4.5.12
[root@centos8-k8s ~]# helm repo update
Hang tight while we grab the latest from your chart repositories...
...Successfully got an update from the "aliyun" chart repository
...Successfully got an update from the "kasten" chart repository
Update Complete. ⎈ Happy Helming!⎈
[root@centos8-k8s ~]# kubectl create namespace kasten-io
namespace/kasten-io created
[root@centos8-k8s ~]# pwd
/root
[root@centos8-k8s ~]# touch config.json
编辑切换为居中
下面k10的安装命令中：
--set global.airgapped.repository=ccr.ccs.tencentyun.com/kasten 表示使用的air-gapped镜像库是 ccr.ccs.tencentyun.com/kasten
--set injectKanisterSidecar.enabled=true 表示Enable Kanister sidecar injection 对于pods。
--set metering.mode=airgap 表示采用air-gapping方式添加metering mode
--set secrets.dockerConfig=$(base64 -w 0 </root/config.json)
--set prometheus.imagePullSecrets[0].name="k10-ecr" 以上两个set表示采用loal private repositoy后, repository密钥的提供方式。
--set prometheus.server.persistentVolume.enabled=false 表示Alertmanager不会创建/使用PVC,而是使用emptyDir。
[root@centos8-k8s ~]# helm install k10 k10-4.5.12.tgz --namespace kasten-io --set global.airgapped.repository=ccr.ccs.tencentyun.com/kasten --set injectKanisterSidecar.enabled=true --set metering.mode=airgap --set secrets.dockerConfig=$(base64 -w 0 </root/config.json) --set prometheus.imagePullSecrets[0].name="k10-ecr" --set prometheus.server.persistentVolume.enabled=false
编辑切换为居中
[root@centos8-k8s ~]# kubectl get pod -n kasten-io -w
编辑切换为居中
使用NodePort方式暴露kasten K10的web管理页面，可以在其它的能访问该node IP的浏览器访问Kasten k10 Dashboard：
[root@Cen8-131 ~]# kubectl expose -n kasten-io deployment gateway --type=NodePort --name=gateway-nodeport-svc --port=8000
service/gateway-nodeport-svc exposed
[root@Cen8-131 ~]#
通过以下命令查看通过NodePort方式访问时的Port, 记下8000: 后面跟的端口号：
[root@Cen8-131 ~]# kubectl get svc -n kasten-io gateway-nodeport-svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
gateway-nodeport-svc NodePort 10.10.129.215 <none> 8000:30685/TCP 20s
[root@centos8-k8s ~]# kubectl --namespace kasten-io port-forward service/gateway 8080:8000
Forwarding from 127.0.0.1:8080 -> 8000
Forwarding from [::1]:8080 -> 8000
……
在192.168.17.131上的浏览器输入下列网址：
或者其它的能访问该node IP的浏览器输入下列网址：
http://192.168.17.131:30685/k10/#/
输入公司和邮箱，点击accept按钮，
编辑切换为居中
编辑切换为居中
8. 手工部署mysql并对其应用kanister blueprint应用感知
[root@k8s-131 ~]# helm repo add bitnami https://charts.bitnami.com/bitnami
[root@k8s-131 ~]# helm repo update
[root@k8s-131 ~]# kubectl create namespace mysql-bp
[root@k8s-131 ~]# helm install mysql-release bitnami/mysql --namespace mysql-bp \--set auth.rootPassword='password'
编辑切换为居中
[root@k8s-131 ~]# vi mysql-blueprint.yaml
拷贝以下网址的代码内容，粘贴，然后保存退出。
https://github.com/kanisterio/kanister/blob/master/examples/mysql/blueprint-v2/mysql-blueprint.yaml
[root@k8s-131 ~]# kubectl --namespace kasten-io apply -f mysql-blueprint.yaml
编辑切换为居中
[root@k8s-131 ~]# kubectl --namespace mysql-bp annotate statefulset/mysql-release kanister.kasten.io/blueprint=mysql-blueprint
[root@k8s-131 ~]# kubectl get pod -n mysql-bp
编辑切换为居中
9. 部署minio并创建S3 bucket作为Veeam Kasten K10备份存储库
[root@k8s-131 ~]# wget https://dl.min.io/server/minio/release/linux-amd64/minio
[root@k8s-131 ~]# chmod +x minio
[root@k8s-131 ~]# ./minio server /data
编辑切换为居中
使用浏览器访问：http://192.168.17.131:9000， 输入缺省账号/密码：minioadmin/minioadmin
并创建用来作为备份存储库的bucket
编辑切换为居中
编辑切换为居中
在 Veeam Kasten K10中创建location profile:
编辑切换为居中
Profile name: minio
Cloud Storage Provider: S3 Compatible
S3 Access Key: minioadmin
S3 Secret: minioadmin
Endpoint: http://192.168.17.131:9000
Skip certification and hostname verification选项打勾。
Bucket Name: richardwu
编辑
编辑
编辑切换为居中
10. 使用Veeam Kasten k10备份mysql
创建backup policy:
在K10 Dashboard页面，点击Policies下的create new policy按钮
编辑切换为居中
在action里选择snapshot, 选择daily和 snapshot retention, ，激活Enable Backup via. Snapshot exports，即除了对应用做快照外，还会把快照时间点对应的数据块写到备份存储库，在Export location profile出选择之前创建的location profile :之后，选择Retention of exports, 即备份数据的保留周期，
在Select Application里选择by name, 然后在下拉框里选择应用, 在Advanced snapshot settings里，确认Location profile for Kanister actions里选择的是刚创建的location profile , 点击create policy按钮，保存policy.
编辑切换为居中
编辑切换为居中
编辑切换为居中
编辑切换为居中
在刚创建的备份策略mysql-bp-backup 里，点击位于policy右侧的run once按钮，
编辑切换为居中
点击Run policy按钮，
编辑切换为居中
编辑切换为居中
编辑切换为居中
可以看到Actions栏该backup和export行前面是有打勾，且上面直方图是黑色的，表示“Completed”, 即针对mysql的备份成功。双击Action栏该backup或export行，可以查看Action detail,
双击backup行，可以查看详细信息，可以看到Actifacts后面有kanister的路径描述，表示本次备份过程中kanister blueprint得到成功应用。
11. 使用Veeam Kasten K10恢复mysql
在之前创建的mysql 容器里，运行use mysql; 然后创建MyClass表，并插入3条记录。
进入指定MySQL Pod的命令提示符界面, 在K8s master节点执行指令格式如下：
kubectl exec -it <pod-name> -n <namespace> /bin/bash
[root@centos8-k8s ~]# kubectl exec -it mysql-release-0 -n mysql-bp /bin/bash
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
Defaulting container name to mysql.
Use 'kubectl describe pod/mysql-release-0 -n mysql-bp' to see all of the containers in this pod.
I have no name!@mysql-release-0:/$ mysql -uroot -p
Enter password:
创建MyClass表，并插入3条记录。
mysql> use mysql;
mysql> show tables;
mysql> create table MyClass( id int(4) not null primary key auto_increment, name char(20) not null, sex int(4) not null default '0', degree double(16,2));
mysql> insert into MyClass values(1,'Tom',0,96.45),(2,'Joan',0,82.99),(3,'Wang',1,96.59);
mysql> select * from MyClass;
编辑切换为居中
在K10 Dashboard点击Application:,找到上面备份的mysql-bp应用，点击restore按钮。
编辑切换为居中
选择restore point进行恢复，在这里选择插入MyClass表之前的备份时间点，
编辑切换为居中
编辑切换为居中
编辑切换为居中
编辑切换为居中
使用缺省属性设置，直接点击restore按钮。
编辑切换为居中
确认点击restore按钮。
编辑切换为居中
可以看到Actions栏该restore行前面是有打勾，且上面直方图是黑色的，表示“Completed”, 即针对mysql的恢复成功。
编辑
编辑切换为居中
进入mysql数据库，通过show tables命令查看，发现之前创建的MyClass表已经不在了，表明k10针对mysql的恢复确实成功了。
12. 重启OS之后的操作
如果重启OS之后，需要运行下列命令确保Veeam Kasten K10的正常运行：
输入以下命令重启k8s服务：
[root@k8s-131 ~]# systemctl restart docker.service
[root@k8s-131 ~]# systemctl restart kubelet.service
编辑切换为居中
在minio的下载路径，输入以下命令重启minio服务：
[root@k8s-131 ~]# ./minio server /data
输入以下命令暴露Veeam Kasten K10 Dashboard管理界面：
[root@centos8-k8s ~]# kubectl --namespace kasten-io port-forward service/gateway 8080:8000
13. 卸载Veeam Kasten K10
运行以下命令，自动卸载：
[root@centos8-k8s ~]# helm uninstall k10 -n kasten-io
