证书管理与自动轮换：cert-manager 与 kubelet 证书轮换

# 一览 kubeadm 管理的所有证书与到期时间
kubeadm certs check-expiration

CERTIFICATE                EXPIRES                  RESIDUAL TIME   ...
admin.conf                 Oct 07, 2027 08:00 UTC   364d            ...
apiserver                  Oct 07, 2027 08:00 UTC   364d            ...
apiserver-kubelet-client   Oct 07, 2027 08:00 UTC   364d            ...
controller-manager.conf    Oct 07, 2027 08:00 UTC   364d            ...
etcd-healthcheck-client    Oct 07, 2027 08:00 UTC   364d            ...
etcd-peer                  Oct 07, 2027 08:00 UTC   364d            ...
front-proxy-client         Oct 07, 2027 08:00 UTC   364d            ...

集群 CA（ca.crt）
  ├─ apiserver 服务端证书（SAN 含所有 API 地址与 LB VIP）
  ├─ apiserver-kubelet-client（apiserver 冒充客户端访问 kubelet）
  ├─ front-proxy-client（聚合层身份透传）
  └─ kubelet 客户端证书（system:node:<name>）
etcd CA（独立）
  ├─ etcd server / peer 证书
  └─ etcd-healthcheck-client
ServiceAccount key pair（RSA/ECDSA）
  └─ 签发/验证 ServiceAccount Token（JWT），不是 X.509

# 检查所有证书到期时间
kubeadm certs check-expiration

# 续期全部证书（就地覆盖 /etc/kubernetes/pki 下的文件）
kubeadm certs renew all

# 续期单个证书
kubeadm certs renew apiserver
kubeadm certs renew apiserver-kubelet-client

# 续期 kubeconfig（admin.conf / kubelet.conf 里的客户端证书）
kubeadm certs renew admin.conf
kubeadm certs renew all --config=kubeadm-config.yaml   # 从配置读 SAN

# 静态 Pod 部署的控制面：重启容器即可
systemctl restart kubelet          # 让静态 Pod 重建

# 或直接删容器让 kubelet 重建
crictl ps | grep -E "kube-apiserver|kube-controller|kube-scheduler"
crictl rm -f <container-id>

# 升级时顺带续期（kubeadm 默认行为）
kubeadm upgrade apply v1.30.0

# 若不希望续期（罕见），可显式关闭
kubeadm upgrade apply v1.30.0 --certificate-renewal=false

#!/bin/bash
set -euo pipefail
DAYS_LEFT=$(kubeadm certs check-expiration | awk '/admin.conf/ {print $4}' | tr -d 'd')
[ "${DAYS_LEFT:-0}" -lt 90 ] && kubeadm certs renew all && systemctl restart kubelet

kubelet 启动
  1. 用 bootstrap token（bootstrap-kubelet.conf 里的 token）认证
  2. 提交 CSR（CertificateSigningRequest），CN=system:node:<node-name>
  3. apiserver 的 CSR 控制器（或人工）批准（Approve）
  4. 签发证书，kubelet 写入 kubelet.conf
  5. 之后用该证书与 apiserver 通信

# 查看待批准的 CSR
kubectl get csr
kubectl certificate approve <csr-name>

# 节点加入集群时若卡在 NotReady，先查这里
kubectl get csr | grep Pending

# KubeletConfiguration
rotateCertificates: true         # 客户端证书轮换（默认 true）
serverTLSBootstrap: true         # 服务端证书也走 CSR（默认 false）

# 检查 kubelet 配置是否开启
cat /var/lib/kubelet/config.yaml | grep -E "rotateCertificates|serverTLSBootstrap"

kubelet 证书剩余有效期 < 20%（约 73 天）时：
  → 自动生成新私钥 + 提交 CSR（同名 CN）
  → 等待批准 → 拿到新证书 → 原子替换 kubelet.conf
  整个过程不需要重启 kubelet

# kubelet 客户端/服务端证书信息
openssl x509 -in /var/lib/kubelet/pki/kubelet-client-current.pem -noout -dates -subject
openssl x509 -in /var/lib/kubelet/pki/kubelet.crt -noout -dates -subject

# 看轮换相关日志
journalctl -u kubelet | grep -iE "certificate|csr|rotat"

# 手动触发一次轮换：删除当前证书后重启 kubelet
rm /var/lib/kubelet/pki/kubelet-client-current.pem && systemctl restart kubelet

# 现代写法：Pod 自动挂载投影 Token（无需手动创建 Secret）
spec:
  serviceAccountName: myapp
  containers:
    - name: app
      volumeMounts:
        - name: kube-api-access
          mountPath: /var/run/secrets/kubernetes.io/serviceaccount
          readOnly: true
  volumes:
    - name: kube-api-access
      projected:
        sources:
          - serviceAccountToken:
              path: token
              expirationSeconds: 3600      # 1 小时
              audience: https://kubernetes.default.svc
          - configMap: { name: kube-root-ca.crt }

kubelet 监控投影 Token 的过期时间
  → 剩余 80% 生命周期（或 < 24h）时，调用 TokenRequest 申请新 Token
  → 原子替换挂载路径下的 token 文件
  → 应用需要重新读取文件才能用上新 Token

kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.15.0/cert-manager.yaml
kubectl get pods -n cert-manager

# ClusterIssuer：ACME（Let's Encrypt），DNS-01 校验
apiVersion: cert-manager.io/v1
kind: ClusterIssuer
metadata:
  name: letsencrypt-prod
spec:
  acme:
    server: https://acme-v02.api.letsencrypt.org/directory
    email: ops@example.com
    privateKeySecretRef: { name: letsencrypt-prod-account-key }
    solvers:
      - dns01:
          route53:
            region: us-east-1
            accessKeyIDSecretRef: { name: route53-credentials, key: access-key-id }

# Issuer：自建 CA（用于内部服务 mTLS）
apiVersion: cert-manager.io/v1
kind: Issuer
metadata:
  name: internal-ca
  namespace: prod
spec:
  ca:
    secretName: internal-ca-keypair      # 内含 tls.crt / tls.key

apiVersion: cert-manager.io/v1
kind: Certificate
metadata:
  name: web-tls
  namespace: prod
spec:
  secretName: web-tls-secret        # 签好的证书写进这个 Secret
  duration: 2160h                   # 90 天
  renewBefore: 720h                 # 到期前 30 天开始续期
  subject:
    organizations: ["Example Inc"]
  dnsNames:
    - app.example.com
    - www.app.example.com
  issuerRef:
    name: letsencrypt-prod
    kind: ClusterIssuer

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: web
  annotations:
    cert-manager.io/cluster-issuer: letsencrypt-prod     # 自动创建 Certificate
spec:
  tls:
    - hosts: [app.example.com]
      secretName: web-tls-secret
  rules:
    - host: app.example.com
      http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: web
                port: { number: 80 }

# 资源状态
kubectl get certificate -A
kubectl get certificaterequest -A
kubectl get order,challenge -A            # ACME 专用

# 详情（Ready=False 时会说明原因）
kubectl describe certificate web-tls -n prod
kubectl describe challenge -n prod

# cert-manager 控制器日志
kubectl logs -n cert-manager deploy/cert-manager --tail=100

apiVersion: cert-manager.io/v1
kind: Certificate
metadata:
  name: payment-svc
spec:
  secretName: payment-svc-tls
  duration: 24h                              # 短有效期
  renewBefore: 8h
  commonName: payment.prod.svc.cluster.local
  usages: [server auth, client auth]
  issuerRef: { name: internal-ca, kind: Issuer }

# 用 blackbox-exporter 或 ssl_exporter 探测端点证书
- alert: CertificateExpiringSoon
  expr: probe_ssl_earliest_cert_expiry - time() < 86400 * 30   # 30 天
  for: 1h
  labels: { severity: warning }
- alert: CertificateExpired
  expr: probe_ssl_earliest_cert_expiry - time() < 0
  labels: { severity: critical }

certmanager_certificate_expiration_timestamp_seconds   # 证书到期时间戳
certmanager_certificate_ready_status                   # Ready 状态（0/1）

# 控制面证书（kubeadm 集群）
kubeadm certs check-expiration
# kubelet 客户端/服务端证书
openssl x509 -in /var/lib/kubelet/pki/kubelet-client-current.pem -noout -enddate
openssl x509 -in /var/lib/kubelet/pki/kubelet.crt -noout -enddate
# etcd 证书
openssl x509 -in /etc/kubernetes/pki/etcd/server.crt -noout -enddate
# Ingress 证书
kubectl get secrets -A --field-selector type=kubernetes.io/tls