淘先锋技术网

首页 1 2 3 4 5 6 7

在使用kubernetes的使用,不知道你有没有遇到或者关注到当你的Node节点挂掉,也就是kubelet无法提供工作的时候,你的pod是否自动的调度到其他的节点上去,而调度到节点上的时间有没有注意大概花了多长时间,我相信如果你仔细关注这件事,你对kubernetes项目也很熟练了,由于官方给了相关的参数,但是真正怎么用,怎么来实现这个问题,还需要我们自己进行验证它,而在生产过程中,对pod的驱逐迁移到其他的节点时间我们需要重新考量,因为它决定了我们生产的稳定性、可靠性,更快的迁移可以减少我们业务的影响性,至少我是这么觉得。

测试你的kubernetes环境,来判定node节点挂掉的时间以及pod驱逐的时间

以下调整是需要加入到集群中的,最后效果验证pod的迁移时间为1m

kube-controller-manager调整

- --node-monitor-period="5s" . #在NodeController中同步节点状态的周期。默认5s
- --node-monitor-grace-period: "20s" #我们允许运行的节点在标记为不健康之前没有响应的时间。必须是kubelet的nodeStatusUpdateFrequency的N倍,其中N表示允许kubelet发布节点状态的重试次数默认40s。
- --node-startup-grace-period: "30s" #我们允许启动节点在标记为不健康之前没有响应的时间。,默认1m0s。
- --pod-eviction-timeout: "1m" #删除失败节点上的pods的宽限期。默认5m

kube-apiserver调整

最终判断驱逐时间的调整还是根据kube-apiserver的参数

- --default-not-ready-toleration-seconds=60 指示notReady:NoExecute的容忍秒数,默认情况下添加到没有这种容忍的每个pod中。
- --default-unreachable-toleration-seconds=60 指示对不可到达的:NoExecute的容忍秒数,默认情况下添加到没有这种容忍的每个pod中。
- --enable-admission-plugins=NodeRestriction,PodSecurityPolicy,DefaultTolerationSeconds 默认容忍的秒数开启


如果在全局中不增加此参数,那就需要在pod中单独指定,一般不建议此项操作

tolerations:
      - key: node.kubernetes.io/not-ready
        effect: NoExecute
        tolerationSeconds: 60
      - key: node.kubernetes.io/unreachable
        operator: Exists
        effect: NoExecute
        tolerationSeconds: 60

举个例子但是生产中不建议这么做,还是使用全局方式定义驱逐方式来决定node节点not ready状态pod的迁移

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: nginx
  name: nginx
  namespace: kube-system
spec:
  replicas: 5
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      tolerations:
      - key: node.kubernetes.io/not-ready
        effect: NoExecute
        tolerationSeconds: 30
      - key: node.kubernetes.io/unreachable
        operator: Exists
        effect: NoExecute
        tolerationSeconds: 30
      containers:
        - image: nginx
          name: nginx
          resources:
            requests:
              cpu: "10m"
              memory: "30Mi"
            limits:
              cpu: "10m"
              memory: "30Mi"

kubelet调整

指定的频率连续报告节点状态更新,其默认值为 10s。
# 指定kubelet多长时间向master发布一次节点状态。注意: 它必须与kube-controller中的nodeMonitorGracePeriod一起协调工作。(默认 10s)
node-status-update-frequency: 10s

测试关闭一个node节点,停掉kubelet,查看默认驱逐的时候为60s,如果不设置的话,默认官方5m才会驱逐pod

创建一个nginx的示例测试,并停掉kubelet服务,查看pod的驱逐1m的变化情况

通过watch -n 1 "kubectl get pod -n kube-system |grep xxx "