音视频同步与时间码

音频领先（声音早于画面）：
  -45 ms ~ -100 ms  可被部分观众察觉
  < -100 ms          明显不同步

音频滞后（声音晚于画面）：
  +45 ms ~ +125 ms  可被部分观众察觉
  > +125 ms          明显不同步

推荐的安全区：±20 ms 以内（严格制作）
             ±40 ms 以内（可接受）

恒定偏移（constant offset）：全程固定的延迟差，如编码器引入的固定延迟
渐进漂移（drift）：随时间线性增长，源于时钟频率差异
抖动（jitter）：随机的短期波动，源于传输抖动

采集：麦克风与摄像机的启动时间差、设备内部缓冲不同
编码：音频与视频编码器的帧结构延迟不同（音频帧 20 ms vs 视频 GOP）
传输：音视频包走不同路径、不同优先级
解码：音频与视频解码器缓冲深度不同
播放：音频与视频渲染管线的延迟不同

HH:MM:SS:FF      时:分:秒:帧
例：01:23:45:12  表示 1 小时 23 分 45 秒第 12 帧

LTC（Linear Timecode）：音频轨上的模拟信号（双相标记码），
                        可在音频轨上记录，兼容老设备
VITC（Vertical Interval Timecode）：视频消隐期编码，逐帧可读
MTC（MIDI Time Code）：MIDI 消息
CTL（Control Track）：录像带的控制轨
AES-EBU 嵌入时间码：数字音频流内嵌

LTC 信号特征：
  载波频率：帧率的 80 倍（如 25 fps → 2000 Hz）
  调制：双相标记码（Biphase Mark），自带时钟恢复
  极性：可反相，需注意

时间码（Timecode）：绝对时间标签，用于对齐与编辑
时间戳（Timestamp）：相对某基准的时间点，用于传输与播放

23.976 fps → 常标注为 24（实际 24000/1001）
29.97 fps  → 常标注为 30（实际 30000/1001）
59.94 fps  → 常标注为 60（实际 60000/1001）

真实帧率 = 30000/1001 ≈ 29.97002997 fps
若用 30 fps 数帧：1 小时数出 108000 帧
实际经过时间 = 108000 / 29.97002997 ≈ 3603.6 秒 = 1:00:03.6
误差 = 3.6 秒/小时

规则：每分钟丢弃帧号 0 和 1（即从 :29 直接跳到 :02），
      但整 10 分钟不丢。

每 10 分钟丢弃：9 分钟 × 2 帧 = 18 帧
10 分钟实际帧数 = 17982 帧（30fps 名义）→ 17982/29.97 ≈ 600 秒 ✓

非 drop-frame（NDF）：00:01:00:29 → 00:01:01:00
drop-frame（DF）：   00:00:59:29 → 00:01:00:02（跳过 :00 和 :01）

01:23:45;12   分号 = drop-frame
01:23:45:12   冒号 = non-drop-frame

def df_to_seconds(tc, fps=29.97):
    """drop-frame 时间码转秒"""
    hh, mm, ss, ff = map(int, tc.replace(';', ':').split(':'))
    total_minutes = 60 * hh + mm
    # drop-frame 补偿：每 10 分钟丢 18 帧
    dropped = 2 * (total_minutes - total_minutes // 10)
    total_frames = ((hh * 3600 + mm * 60 + ss) * 30 + ff) - dropped
    return total_frames / fps

def seconds_to_tc(seconds, fps=29.97, drop_frame=True):
    """秒转时间码"""
    total_frames = round(seconds * fps)
    if drop_frame:
        # 反向补偿
        d = total_frames // 17982
        m = total_frames % 17982
        total_frames += 18 * d + 2 * max(0, (m - 2) // 1798)
    ff = total_frames % 30
    ss = (total_frames // 30) % 60
    mm = (total_frames // 1800) % 60
    hh = (total_frames // 108000) % 24
    return f"{hh:02d}:{mm:02d}:{ss:02d}{';' if drop_frame else ':'}{ff:02d}"

主同步发生器 ──黑场信号/Bi-Level/Tri-Level 同步──▶ 摄像机
                                                  ──▶ 切换台
                                                  ──▶ 录像机

视频时钟：帧率（如 25 fps → 40 ms/帧）
音频时钟：采样率（如 48 kHz → 20.83 µs/样本）

1. 音频时钟锁到视频时钟（或反之）：用一个主时钟分发
2. 音频采样率与帧率取整关系：48 kHz / 25 fps = 1920 样本/帧（整数）
3. 异步重采样吸收漂移

PTP 主时钟 ──网络──▶ PTP 从时钟（各设备）
精度：亚微秒级（硬件时间戳）
SMPTE ST 2059 定义了基于 PTP 的媒体时钟（音频、视频、时间码）

1. 用一个同时产生视觉闪光与音频脉冲的设备（如 clapperboard、时间码板）
2. 录制后逐帧定位闪光，逐样本定位脉冲
3. 两者时间差即 A/V 偏移

import numpy as np

def measure_av_offset(video_flash_frame_idx, audio_pulse_sample_idx,
                      fps, sr):
    """由闪光帧与音频脉冲样本计算偏移（正 = 音频滞后）"""
    video_time = video_flash_frame_idx / fps
    audio_time = audio_pulse_sample_idx / sr
    offset_ms = (audio_time - video_time) * 1000
    return offset_ms

# 例：闪光在第 125 帧（25 fps → 5.000 s），脉冲在第 240120 样本（48kHz → 5.0025 s）
# offset = (5.0025 - 5.000) * 1000 = 2.5 ms（音频滞后 2.5 ms）

方法：提取视频的嘴部运动特征 + 音频的包络，互相关求峰值
局限：需要正脸、清晰口型，侧脸或遮挡时失效

RTP：音频与视频各用独立的 RTP 时间戳（音频按采样数，视频按 90 kHz）
RTCP SR：发送者报告携带 NTP 时间戳，把 RTP 时间戳映射到墙上时钟
接收端：用 RTCP SR 对齐音视频的播放时刻

1. 选一个主时钟（通常是音频，因为音频对时间更敏感）
2. 视频按音频时钟调整播放（丢帧或重复帧）
3. 若音视频独立解码，用时间戳对齐后再送渲染

小偏移（< 20 ms）：用重采样微调音频速率（改变音高极微小，不可闻）
中偏移（20~200 ms）：用时间伸缩（WSOLA）拉伸/压缩音频，不改音高
大偏移（> 200 ms）：跳帧或插入静音（需谨慎，可能被察觉）

Opus：帧长 2.5~60 ms，默认 20 ms，低延迟
AAC：帧长 1024 样本，约 21 ms @ 48kHz，加编码器前瞻共 40~80 ms
视频 H.264/H.265：GOP 结构，延迟可达数百 ms

晶振精度典型 ±50 ppm
1 小时漂移 = 3600 s × 50e-6 = 0.18 s = 180 ms

film 24 fps ↔ 视频 23.976 fps：音频需 48000 → 48048（pull-up）或反之
即采样率乘以 1000/1001 或 1001/1000

def drift_compensate(audio, target_samples, current_samples):
    """按比例重采样，把 current_samples 拉到 target_samples"""
    ratio = target_samples / current_samples
    # 用高质量重采样器（如 sinc 插值）改变长度
    return resample(audio, ratio)

1. 录音机与摄像机都接收同一个时间码（jam-sync）
2. 后期用时间码自动对齐音频与视频
3. 无需场记板手动对齐

Premiere / DaVinci Resolve / Avid：
  导入时按时间码自动同步（多机位、双系统）
  可手动设置偏移补偿
  导出时保持时间码连续性

录制时间码（TOD, Time of Day）：连续，便于对齐
自由运行（Free Run）：时间码持续走，与录制无关
录制运行（Record Run）：只在录制时走

广播交付：要求起始时间码（如 10:00:00:00，避免与倒计时冲突）
流媒体：通常不要求时间码，但要求音视频对齐
归档：保留原始时间码与元数据

1. 采集：所有设备是否共享时钟（genlock / 时间码 / PTP）
2. 编码：音视频编码延迟是否已知并补偿
3. 传输：音视频是否走同一链路、时间戳是否一致
4. 播放：音频时钟是否为基准、视频是否跟随
5. 测量：是否有端到端的 A/V 偏移监测

问题：音频比画面晚 200 ms（全程）
原因：视频编码器有 200 ms 的 GOP 延迟未补偿
解法：给音频加 200 ms 延迟，或减小视频 GOP

问题：播放 30 分钟后音频逐渐滞后
原因：音视频时钟漂移（±50 ppm）
解法：异步重采样或时间伸缩补偿

问题：随机咔哒声 + 唇音偶尔不同步
原因：音频缓冲欠载（xrun）
解法：增大音频缓冲或提高线程优先级

1. 用测试信号定期注入并测量
2. 用内容特征（唇音相关）实时估计
3. 超过阈值（如 40 ms）告警并自动补偿