虚拟形象与社交 VR

1. 共在感（Co-presence）
   别人的 Avatar 看起来「真的在那儿」，而不是一个会动的模型
2. 具身感（Embodiment）
   用户觉得自己「就是」那个 Avatar，动作有身体归属感
3. 交流自然度（Communication Fidelity）
   眼神、表情、口型、手势能传达情绪与意图

手柄表示（Hand-controller Rig）：
  头显位姿 → 头与躯干朝向
  两手柄位姿 → 双手位置
  其余（手臂肘、腿）全部由 IK 猜测
  优点：零额外硬件；缺点：手放身后时手臂姿态崩坏

半身表示（Half-body / Upper-body）：
  加入手部追踪，手指关节可用
  手臂姿态由 IK 拟合，可信度大幅提升
  躯干以下仍用「悬浮上半身」或静态腿部

全身表示（Full-body）：
  需要脚部追踪（额外 tracker 或下向摄像头）
  或靠视觉全身姿态估计（成本高、抖动大）
  精度足够做舞蹈、格斗这类高动态内容

头显（6DoF）        → 头与躯干基准
手柄（6DoF）        → 双手，精度高、延迟低
手部追踪（21 关节） → 手指，精度中、延迟高
脚部 tracker        → 双脚，需额外硬件
眼动/面部追踪       → 表情，部分设备内置

// 延迟对齐：把低延迟的手柄数据缓存，按时间戳取用
struct PoseSample { public double t; public Vector3 pos; public Quaternion rot; }

PoseSample SampleAt(List<PoseSample> buf, double targetTime) {
    // 二分找到 targetTime 两侧样本，做线性插值
    // 手柄数据 20ms 延迟、手部 60ms 延迟 → targetTime = now - 60ms
    ...
}

输入：头（位置 + 朝向）、双手（位置 + 朝向）
输出：脊柱、双肩、双肘、髋部、双腿的旋转

求解思路：
  1. 躯干：由头的位置与朝向估计脊柱曲线（常见用 3~4 节脊柱）
  2. 肩：由头与手的位置插值，肩宽取用户配置或估算
  3. 肘：两骨 IK（肩-肘-手），用「极点（Pole）」决定肘的朝向
  4. 髋：由头的位置向下投影，配合躯干倾斜
  5. 腿：如果无脚部追踪，用「站姿假设」保持双脚固定

import math

def solve_two_bone(root, target, len1, len2, pole):
    """返回肘/膝的位置。root/target/pole 为三维向量。"""
    d = (target - root).length
    d = min(d, len1 + len2 - 1e-4)          # 防止超伸
    # 余弦定理求根到关节的角度
    cos_a = (len1**2 + d**2 - len2**2) / (2 * len1 * d)
    a = math.acos(max(-1.0, min(1.0, cos_a)))
    axis = (target - root).normalized()
    # 用 pole 向量确定弯曲平面的法向
    normal = axis.cross(pole - root).normalized()
    bend = normal.cross(axis)
    return root + (axis * math.cos(a) + bend * math.sin(a)) * len1

常用 blendshape（截选）：
  jawOpen          → 张嘴（口型核心）
  mouthSmile_L/R   → 嘴角上扬
  eyeBlink_L/R     → 眨眼
  browInnerUp      → 眉毛内侧上抬（惊讶、关切）
  eyeLookUp/Down/In/Out_L/R → 眼球朝向

// 从 ARKit 风格 blendshape 驱动 Avatar
void ApplyBlendshapes(Dictionary<string, float> bs) {
    foreach (var kv in bs) {
        int idx = _blendShapeIndex[kv.Key];      // 映射到模型通道
        if (idx >= 0)
            _skinnedMesh.SetBlendShapeWeight(idx, kv.Value * 100f);
    }
    // 眼球朝向单独驱动，不用 blendshape
    _leftEye.localRotation = Quaternion.Euler(
        -bs["eyeLookUp_L"] * 25f + bs["eyeLookDown_L"] * 25f,
        -bs["eyeLookOut_L"] * 30f + bs["eyeLookIn_L"] * 30f,
        0f);
}

1. 通道裁剪：只广播变化超过阈值的通道（多数通道长期为 0）
2. 量化：每个通道量化到 8 bit（0~255），足够表达
3. 降频：表情 15~30 Hz 广播即可，人眼对表情的时间分辨率低
4. 分组：把 52 通道按语义分组（眼、口、眉），组内一起发

路线 A：音素驱动（Phoneme-based）
  语音 → 音素序列（如 /a/ /i/ /m/ /f/）
  音素 → 口型（Viseme）映射表
  优点：准确、可控
  缺点：需要语音识别或强制对齐，有延迟

路线 B：音频特征驱动（Audio-driven）
  音频频谱 → 神经网络 → 口型 blendshape
  优点：零延迟、语言无关
  缺点：需要模型，精度略低

音频特征驱动的典型管线：
  音频帧（10~20 ms 窗）
    → 提取特征（MFCC 或梅尔频谱）
    → 小型网络（几层 GRU/TCN 即可）
    → 输出 viseme 权重或 jawOpen/mouthFunnel 等通道
    → 平滑（口型变化要柔和，不能跳变）

原始数据（每帧，单人）：
  头：位置 3 float + 四元数 4 float = 28 字节
  双手：各 28 字节 = 56 字节
  表情：52 通道 × 4 字节 = 208 字节
  合计约 292 字节/帧

20 人 × 30 Hz × 292 字节 ≈ 175 KB/s

// 紧凑的姿态包（量化 + 通道裁剪后的示意）
{
  "id": 42,
  "t": 1024,
  "h": [0, 1650, -320, 0, 512, 0, 1024],
  "lh": [120, 900, 400, 0, 0, 0, 1024],
  "rh": [-130, 910, 380, 0, 0, 0, 1024],
  "bs": {"jawOpen": 128, "mouthSmile_L": 40, "eyeBlink_L": 255}
}

两种拓扑：
  客户端-服务器（CS）
    权威服务器转发，公平、防作弊、易做房间管理
    缺点是服务器带宽成本高、延迟增加一跳

  点对点（P2P）/ 网状
    低延迟、无服务器成本
    缺点是 NAT 穿透难、人数受限、无权威状态

主流社交平台用 CS，且采用「兴趣管理（Interest Management）」：
  只同步「看得见 / 听得见」的其他用户
  房间分片（Sharding）或分区（Zoning）限制单区人数

高频（20~30 Hz）：头与手的位姿 —— 影响「共在感」
中频（10~15 Hz）：表情与手指 —— 影响「交流感」
低频（按需）：    外观、装备、状态 —— 变化才发

关键：位姿用「快照插值 + 外推」，即使丢包也要平滑

1. 语音优先（Voice Priority）
   多个声源同时说话时，按「距离 + 是否注视 + 音量」做混音权重
   远处的背景聊天应显著衰减，避免「鸡尾酒会效应」失控
   可提供「聚焦模式」：只放大正前方锥体内的语音

2. 个人空间（Personal Space）
   每个 Avatar 周围应保留一个「不可侵入」的半径（约 0.5~1.2 m）
   别人靠近时做柔和排斥，避免穿模与压迫感
   亲密好友可配置更小的半径，实现「社交距离」的表达

舒适：
  □ 提供坐姿模式（腿不可见时不必强行 IK）
  □ 提供镜像与第三人称视角，帮助用户确认自己的姿态
  □ 避免强制全身动作（不能要求用户必须站着）

安全与治理：
  □ 个人空间（Personal Bubble）—— 防止被贴身骚扰
  □ 屏蔽 / 静音 / 拉黑 —— 一键切断某人的视觉与听觉
  □ 安全区（Safe Zone）—— 内容淡出，显示现实环境
  □ 举报与回放 —— 记录关键事件用于事后处理
  □ 年龄分级与家长控制 —— 未成年人的社交隔离

LOD 策略（按与观察者的距离）：
  LOD0（< 3 m）：全骨骼 + 全表情 + 手指关节
  LOD1（3~8 m）：降骨骼（合并手指）、表情降到 16 通道
  LOD2（8~15 m）：简化网格、关闭表情、仅保留头与手
  LOD3（> 15 m）：静态姿态或公告板

动态降级（按帧预算反向调节）：
  当帧时间接近预算时，先砍远处 Avatar 的 LOD，
  再砍表情更新频率，最后才砍位姿频率（位姿最关键）

形象来源：
  1. 平台预设 —— 零成本，门槛最低
  2. 参数化编辑器 —— 用户拖动滑杆调整五官、体型、服装
  3. 外部导入（VRM / glTF）—— 自由度最高，但质量参差
  4. 创作者市场 —— 用户制作并售卖，平台抽成

变现方式：
  服装 / 配件内购
  表情 / 动作包（舞蹈、手势）
  订阅制（额外槽位、优先展示）
  创作者分成

追踪与 IK：
  □ 统一各通道时间轴，避免「手指慢一拍」
  □ 两骨 IK 用极点控制肘/膝朝向
  □ 超伸保护 + 结果滤波
  □ 手在身后时特判为「贴身体」

表情与口型：
  □ 采用 ARKit 52 blendshape 作为通用表示
  □ 眼动独立驱动，不依赖面部捕捉精度
  □ 眨眼做程序化补全
  □ 口型与音频播放时刻对齐，静音收敛到闭口

同步：
  □ 位姿 20~30 Hz，表情 15 Hz，分层频率
  □ 相对坐标量化到 16 bit
  □ 快照缓冲插值（约 100 ms 缓冲）
  □ 兴趣管理，只同步可见用户

社交与安全：
  □ 个人空间（Personal Bubble）
  □ 屏蔽 / 静音 / 拉黑
  □ 安全区与举报回放

性能：
  □ Avatar 独立 LOD 策略，远处激进降级
  □ 单材质单 Pass，靠合批降 DrawCall
  □ 按帧预算反向动态降级