Nginx 证书自动化与 ACME：certbot、DNS-01 通配符与自动续期

痛点一：续期遗忘
  证书有效期 90 天或 1 年，跨越两个季度，交接时最易丢失

痛点二：续期成功但未加载
  文件已更新，Nginx 未 reload，仍在用旧证书直到过期

痛点三：加载了错误的证书链
  缺少中间证书，部分客户端（尤其是 Android 与 Java）握手失败

痛点四：多域名分散管理
  每个域名一套流程，规模上去后无法审计谁在管哪张证书

客户端                          ACME 服务端（CA）
  |  1. 生成/复用账户密钥            |
  |  2. 新建订单（含域名列表） ------>|
  |  <------- 返回授权与挑战列表       |
  |  3. 按挑战类型布置验证材料        |
  |     HTTP-01: 写入 /.well-known/acme-challenge/<token>
  |     DNS-01 : 添加 _acme-challenge.<domain> TXT 记录
  |  4. 通知 CA 开始验证 ------------->|
  |  <------- CA 回源校验通过          |
  |  5. 提交 CSR，请求签发 ----------->|
  |  <------- 返回证书链与有效期        |

HTTP-01
  优点：无需 DNS 权限，配置简单，验证快
  缺点：不支持通配符；要求域名解析到本机且 80 端口可达
  适用：单域名、公网可直接访问的 Web 服务

DNS-01
  优点：支持 *.example.com 通配符；不要求服务公网可达
  缺点：需要 DNS 服务商的 API 凭据，传播延迟不可控
  适用：通配符证书、内网服务、无法开放 80 端口的场景

# webroot 模式：把挑战文件写到 Nginx 的静态目录
certbot certonly --webroot \
  --webroot-path /var/www/certbot \
  -d example.com -d www.example.com \
  --email ops@example.com --agree-tos --no-eff-email

# 对应的 Nginx 配置：必须暴露 /.well-known/acme-challenge/

server {
    listen 80;
    server_name example.com www.example.com;

    # ACME 挑战目录，必须可公开访问且不重定向到 HTTPS
    location ^~ /.well-known/acme-challenge/ {
        root /var/www/certbot;
        default_type "text/plain";
        allow all;
    }

    # 其余流量全部跳转 HTTPS
    location / {
        return 301 https://$host$request_uri;
    }
}

# 安装（推荐用 git 方式，便于升级）
git clone https://github.com/acmesh-official/acme.sh.git
cd acme.sh && ./acme.sh --install -m ops@example.com

# 配置 DNS 服务商凭据（以 Cloudflare 为例，写到账户配置中）
export CF_Token="your-api-token"
export CF_Account_ID="your-account-id"

# 签发通配符证书（DNS-01）
acme.sh --issue \
  --dns dns_cf \
  -d example.com -d '*.example.com' \
  --keylength ec-256 \
  --server letsencrypt

# 安装证书到 Nginx 目录，并指定续期后的 reload 命令
acme.sh --install-cert -d example.com --ecc \
  --key-file       /etc/nginx/certs/example.com.key \
  --fullchain-file /etc/nginx/certs/example.com.fullchain.pem \
  --reloadcmd      "nginx -t && systemctl reload nginx"

# certbot 的 systemd timer（安装包默认已启用）
systemctl list-timers | grep certbot
systemctl status certbot.timer

# 手动演练续期（不真正签发，用于验证钩子）
certbot renew --dry-run

# acme.sh 安装时自动写入的 cron（每日检查）
crontab -l | grep acme.sh
# 17 0 * * * "/root/.acme.sh"/acme.sh --cron --home "/root/.acme.sh" > /dev/null

# certbot 的 deploy hook：证书更新后校验并 reload
cat > /etc/letsencrypt/renewal-hooks/deploy/reload-nginx.sh <<'EOF'
#!/usr/bin/env bash
set -euo pipefail
nginx -t || { echo "配置校验失败，跳过 reload"; exit 1; }
systemctl reload nginx
echo "证书已更新并 reload: $(date -Is)"
EOF
chmod +x /etc/letsencrypt/renewal-hooks/deploy/reload-nginx.sh

#!/usr/bin/env bash
# 安全替换证书文件：先写临时文件，再原子 mv
set -euo pipefail

SRC_DIR="/etc/letsencrypt/live/example.com"
DST_DIR="/etc/nginx/certs"
TS=$(date +%Y%m%d%H%M%S)

install -m 0644 "$SRC_DIR/fullchain.pem" "$DST_DIR/.fullchain.pem.$TS"
install -m 0600 "$SRC_DIR/privkey.pem"   "$DST_DIR/.privkey.pem.$TS"

# mv 在同一文件系统内是原子操作，Nginx 不会读到半截文件
mv "$DST_DIR/.fullchain.pem.$TS" "$DST_DIR/example.com.fullchain.pem"
mv "$DST_DIR/.privkey.pem.$TS"   "$DST_DIR/example.com.key"

nginx -t && systemctl reload nginx

#!/usr/bin/env bash
# 从外部探测实际生效的证书有效期，独立于续期脚本
set -euo pipefail

HOSTS=(example.com www.example.com api.example.com)
WARN_DAYS=21

for h in "${HOSTS[@]}"; do
  end=$(echo | openssl s_client -servername "$h" -connect "$h:443" 2>/dev/null \
        | openssl x509 -noout -enddate | cut -d= -f2)
  end_ts=$(date -d "$end" +%s)
  now_ts=$(date +%s)
  days=$(( (end_ts - now_ts) / 86400 ))
  if [ "$days" -lt "$WARN_DAYS" ]; then
    echo "CRITICAL: $h 证书仅剩 ${days} 天"
  else
    echo "OK: $h 证书剩余 ${days} 天"
  fi
done

# blackbox exporter 配置片段
modules:
  https_cert:
    prober: http
    timeout: 5s
    http:
      preferred_ip_protocol: ip4
      tls_config:
        insecure_skip_verify: false

# Prometheus 抓取配置：对每个域名做证书探测
scrape_configs:
  - job_name: blackbox_tls
    metrics_path: /probe
    params:
      module: [https_cert]
    static_configs:
      - targets:
          - https://example.com
          - https://www.example.com
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: blackbox-exporter:9115

策略一：通配符收敛
  用 *.example.com 覆盖全部子域，把 N 张证书收敛为 1 张
  代价：任一子域泄露私钥影响全部；需要 DNS-01 与 DNS 权限

策略二：按业务分组合并
  把同一业务的多域名合并到一张 SAN 证书（上限 100 个域名）
  代价：任一域名验证失败会拖累整张证书的续期

策略三：集中目录 + 统一命名
  /etc/nginx/certs/<primary-domain>/{fullchain.pem,privkey.pem}
  便于脚本批量扫描与统一权限管理

#!/usr/bin/env bash
# 批量签发与续期：从清单文件逐条处理，失败不中断整体
set -uo pipefail

DOMAINS_FILE="/etc/nginx/certs/domains.txt"   # 每行一个主域名
FAILED=0

while read -r domain; do
  [ -z "$domain" ] && continue
  if ! acme.sh --issue --dns dns_cf -d "$domain" -d "*.$domain" \
       --keylength ec-256 --server letsencrypt; then
    echo "签发失败: $domain" >&2
    FAILED=$((FAILED + 1))
    continue
  fi
  acme.sh --install-cert -d "$domain" --ecc \
    --key-file       "/etc/nginx/certs/$domain/privkey.pem" \
    --fullchain-file "/etc/nginx/certs/$domain/fullchain.pem" \
    --reloadcmd      "nginx -t && systemctl reload nginx"
  sleep 5   # 控制节奏，避免触发速率限制
done < "$DOMAINS_FILE"

[ "$FAILED" -eq 0 ] || { echo "有 $FAILED 个域名处理失败" >&2; exit 1; }

# 排查一：验证失败（HTTP-01）
curl -v http://example.com/.well-known/acme-challenge/test-token
# 若返回 301/404，说明 location 被重定向规则覆盖或路径写错

# 排查二：证书链不完整（部分客户端握手失败）
openssl s_client -connect example.com:443 -servername example.com -showcerts
# 检查返回的证书链是否包含中间证书（应为 2~3 张）

# 排查三：reload 未生效
nginx -T | grep ssl_certificate
openssl s_client -connect 127.0.0.1:443 -servername example.com 2>/dev/null \
  | openssl x509 -noout -dates
# 对比本地文件的有效期与实际生效的有效期，不一致即未 reload

# 排查四：私钥权限问题
ls -l /etc/nginx/certs/example.com.key
# 应为 0600；若属主不对，reload 后新 worker 无法读取