多集群多区域镜像同步与分发：从复制拓扑到 P2P 拉取加速

Hub-Spoke 问题：所有节点跨区域拉中心仓库，带宽贵、易单点故障
→ 演进为"中心 → 区域镜像仓库 → 集群本地拉取"

全球中心仓库（上游，只写不读）
  ↓ 复制规则
区域仓库 A / 区域仓库 B
  ↓ 集群内节点从本地区域仓库拉取
K8s 集群 A / K8s 集群 B

推模式（Push-based）：源 Harbor 主动推送到目标，适合中心→区域
拉模式（Pull-based）：目标 Harbor 主动从源拉取，适合目标在防火墙后

复制规则关键参数：
  源/目标注册表 + 项目映射；触发方式：事件驱动/定时/手动
  复制策略：是否覆盖、带宽限制、失败重试
  过滤器：tag 正则、仓库前缀、资源类型（镜像/Helm Chart）

# Harbor API 创建复制规则：library/ 下 v* 镜像复制到区域仓库
curl -X POST https://harbor.example.com/api/v2.0/replication/policies \
  -u admin:pass -H "Content-Type: application/json" -d '{
    "name": "sync-to-ap-southeast",
    "src_registry": {"id": 1}, "dest_registry": {"id": 2},
    "filters": [{"type": "name", "value": "library/**"}, {"type": "tag", "value": "v*"}],
    "trigger": {"type": "event_based"}}'
# 查看复制任务状态
curl -s https://harbor.example.com/api/v2.0/replication/executions -u admin:pass

□ 复制按 digest 识别：同一 digest 不重复传输；首次全量、之后增量
□ 复制是"追加式"：目标旧 tag 不自动删除，需配合保留策略
□ 删除默认不传播（防误删），删除同步需单独配置

# 在 ECR 仓库上配置复制规则（目标区域）
aws ecr put-replication-configuration --region us-east-1 \
  --replication-configuration '{
    "rules": [{
      "destinations": [{"region": "ap-southeast-1", "registryId": "123456789012"}],
      "repositoryFilters": [{"filterType": "PREFIX_MATCH", "filter": "prod/"}]
    }]
  }'
# 复制异步进行：推送后在目标区域轮询出现
aws ecr describe-images --repository-name prod/app --region ap-southeast-1

□ 跨区域复制按层大小计费（存储+流量）
□ 用 lifecycle policy 清理旧镜像，控制存储增长
□ 敏感镜像（含密钥层）谨慎跨区域，评估合规边界

# containerd 配置镜像加速：未命中时回源到中心仓库
# /etc/containerd/config.toml
version = 2
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."registry.example.com"]
  endpoint = ["http://mirror.example.com", "https://registry.example.com"]

Registry Mirror 的作用：
  - 节点先查本地/区域镜像仓库（缓存），未命中才回源
  - 多个节点命中同一镜像时，第二台不再跨区域拉取

# 变更准入：把镜像地址改写为区域仓库
apiVersion: kyverno.io/v1
kind: ClusterPolicy
metadata: { name: rewrite-image-registry }
spec:
  rules:
    - name: set-region-registry
      mutate:
        patchStrategicMerge:
          spec:
            containers:
              - (name): "*"
                image: "mirror-ap.example.com/*"

# 发布前用 DaemonSet 把镜像预拉取到所有节点
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: image-prewarmer
spec:
  selector: { matchLabels: { app: prewarm } }
  template:
    metadata: { labels: { app: prewarm } }
    spec:
      initContainers:
        - name: pull
          image: registry.example.com/app:2026-09-30
          command: ["/bin/true"]
      containers: [{ name: pause, image: gcr.io/google_containers/pause:3.2 }]

架构：Scheduler（分配分片任务）、dfget（节点代理 + Peer）、
      CDN/源仓库（首次未命中回源）
效果（100 节点同时拉同一镜像）：
  无 Dragonfly：100 次跨区域回源
  有 Dragonfly：1 次回源 + 99 次节点间 P2P 分片

# 部署 Dragonfly（helm）
helm install dragonfly dragonfly/dragonfly --namespace dragonfly --create-namespace
# containerd 的 registry.mirrors 指向 dfdaemon，镜像从 P2P 网络获得

Nydus 与传统层对比：
  传统：拉取全部层数据后才可启动（镜像大则启动慢）
  Nydus：只拉元数据 + 启动所需分块即可运行，其他分块按需取（懒加载）
配套：nydusify 转换格式 + containerd 的 nydus snapshotter
可与 Dragonfly 叠加：Nydus 解决"只拉需要的"，Dragonfly 解决"拉得更快"

# 用 nydusify 把现有镜像转成 Nydus 格式并推送
nydusify convert --source registry.example.com/app:v1 --target registry.example.com/app:nydus-v1

边缘特征：弱网、小带宽、节点多而分散
策略：边缘就近配 Mirror；镜像与业务一起离线打包下发（OTA）；
     只分发目标架构/平台清单（配合多架构镜像）

推荐模型：中心仓库（只写）→ 3-5 个区域仓库 → 各区域集群
区域仓库之间可再互备（Mesh）
发布流程：中心打 tag → 复制分发 → 各区域验证 → 逐区域切流

□ 用 digest 而非 tag 做发布/回滚锚点（防 tag 漂移）
□ 每个区域仓库配独立保留策略，控制存储成本
□ 复制带宽错峰（定时避开高峰）；断网区域预置离线包

tag 是可变的（v1 可以指向不同 digest），digest 是不可变的。
多集群同步的隐患：
  - 各区域 tag 指向不同 digest（复制顺序/失败导致不一致）
  - 排查靠 digest：跨集群比对 sha256 是否一致

# 跨区域核对同一 tag 的 digest
skopeo inspect --raw docker://registry-ap.example.com/app:v1 | sha256sum
skopeo inspect --raw docker://registry-us.example.com/app:v1 | sha256sum

□ 发布用"tag + digest"双重锁定（Deployment 写 image@sha256:...）
□ 复制完成后在目标区域做 digest 校验再放量
□ 监控各区域同名 tag 的 digest 漂移（周期比对生成告警）
□ GC/保留策略在中心与区域保持一致，避免残留旧 digest

复制失败：自动重试（Harbor/ECR 均支持）；失败期间新版本先暂停该区域放量
回滚：基于 digest 切到上一可用版本（非改 tag）；区域缺 digest 时补拉

# 检查各区域镜像是否存在且一致
skopeo inspect docker://registry-ap.example.com/app:v1
skopeo inspect docker://registry-us.example.com/app:v1
# 测量拉取耗时 + 查看复制历史（Harbor）
time docker pull registry.example.com/app:v1
curl -s https://harbor.example.com/api/v2.0/replication/executions -u admin:pass