遥感目标检测

引言

遥感目标检测要回答的是「什么东西在哪里」：给出一张大幅影像，输出每个感兴趣地物的位置框与类别，典型目标包括飞机、舰船、储油罐、桥梁、车辆、光伏板与风力发电机。它与场景分类的差别在于，分类只回答整幅图或整块图属于哪一类，而检测必须给出实例级的空间定位，一幅影像里可能同时存在几十个同类目标。

工程上的第一个难点是方向。航拍与卫星是俯视成像，飞机停在停机坪、舰船靠泊码头、车辆沿道路排列，目标朝向任意，水平框会引入大量背景，导致框内像元中目标占比很低，特征被稀释。因此遥感检测几乎都以旋转框（Oriented Bounding Box，OBB）为主，而旋转框又带来角度回归的周期性问题与旋转 IoU 的不可导问题。

第二个难点是尺度。同一景影像里，储油罐直径可能只有 20 米，而机场跑道长 3 公里，尺度比跨越两个数量级；同时绝大多数目标是几十个像元的小目标，密集排列且相互遮挡。第三个难点是评测，遥感数据集的目标密度远高于自然图像，评测协议（忽略区域、难例划分、单类 mAP 还是多类 mAP）对最终数字的影响常超过模型改进本身。

本文按「框的表示到模型再到落地」展开。先厘清任务边界与旋转框定义，再讲角度回归与损失设计，然后覆盖数据集、检测器适配、后处理与滑窗推理，最后落到精度评估与漏检归因。场景级分类任务的对照见 遥感影像分类 ，坐标系与像元尺寸的换算见 坐标系统与投影变换 。

目录

1. 任务定义与和分类分割的边界
2. 水平框与旋转框 OBB 的表示
3. 角度回归的周期性与损失设计
4. 密集小目标与尺度变化
5. 数据集：DOTA 与 DIOR 及评测协议
6. 检测器适配：从两阶段到单阶段
7. 旋转 NMS 与后处理
8. 大图滑窗推理与结果合并
9. 精度评估与漏检归因分析

1. 任务定义与和分类分割的边界

先把三个容易混淆的任务摆清楚。场景分类给整块影像一个标签，语义分割给每个像元一个标签但不区分实例，目标检测给每个实例一个带类别的框。三者的输出粒度不同，标注成本也不同：分类每块图一次点击，分割需要逐像元描绘，检测需要逐个实例画框。

选任务要看下游需求。如果只需要统计某区域内光伏板的总面积，语义分割足够；如果要数飞机架数、给出每架的位置与朝向，必须用检测。把检测当成分割来做会浪费标注预算，把分割当检测做则拿不到实例信息。

检测输出通常还要带一个置信度，工程上要保留它而不是直接过滤到硬结果。低置信度框在后续可以做人工复核、可以做时序关联（同一目标在多时相里出现与否），丢掉置信度等于丢掉了不确定性信息。

2. 水平框与旋转框 OBB 的表示

水平框用四元组表示，旋转框的表示则有好几种，选择会影响回归难度与后处理实现。

最常见的两种参数化：

表示法 A：中心点加宽高加角度   (cx, cy, w, h, theta)
表示法 B：四角点坐标           (x1, y1, x2, y2, x3, y3, x4, y4)
表示法 C：OpenCV 四点序        (x1, y1, x2, y2, theta) 之一

表示法 A 紧凑、易于回归，但角度定义必须冻结：theta 是框的长边与 x 轴夹角还是与 y 轴夹角，范围是 [0, pi) 还是 [-pi/2, pi/2)，是否带宽高交换约定（长边恒为 w）。表示法 B 无歧义、能表达任意四边形，但八个自由度的回归更难收敛，且四点顺序容易翻转。

import numpy as np

def poly_to_obb(poly):
    # poly: (N, 2) 顺时针四点，返回 (cx, cy, w, h, theta)，theta 取长边与 x 轴夹角
    pts = np.asarray(poly, dtype="float64").reshape(4, 2)
    c = pts.mean(0)
    e1 = pts[1] - pts[0]
    e2 = pts[2] - pts[1]
    w, h = np.linalg.norm(e1), np.linalg.norm(e2)
    if w < h:
        w, h = h, w
        e1 = e2
    theta = np.arctan2(e1[1], e1[0]) % np.pi
    return c[0], c[1], w, h, theta

工程纪律是「训练与推理用同一套定义，且在数据加载时做一次规范化」：所有框转成统一表示（长边为 w、theta 落在 [0, pi)），避免同一个框在不同 batch 里有两种等价表示，否则回归目标会自相矛盾，训练出现震荡。

DOTA 数据集还保留任意四边形（quadrilateral）标注，用于表达非矩形的细长目标，如桥梁与港口航道。多数检测器只处理矩形框，因此需要先把四边形转成最小外接旋转矩形，这一步会损失一点精度但对下游统计影响不大。

3. 角度回归的周期性与损失设计

角度是周期量，这是旋转检测最核心的数学难点。theta 与 theta 加 pi 表示的是同一个框，若直接对角度做 L1 回归，模型在接近边界处会认为两者差异巨大，产生极大的损失与梯度，导致训练不稳定。

处理方式有三条路线。

第一条是直接回归加角度损失，用平滑 L1 或 L2，配合角度定义把范围限制在一个半开区间，并在计算损失前对预测与目标做角度对齐（把差异归一到 [-pi/2, pi/2)）。这条路线实现简单，但在边界仍会出现不连续。

第二条是角度分类化，把连续角度离散成若干个 bin，用分类加残差回归的方式预测，回避周期性。代价是 bin 边界处仍有跳变，且 bin 数需要调参。

第三条是改用无角度的表示，比如用高斯分布建模框、用点集表示、或用中心点加边界距离。这类方法绕开了角度歧义，但后处理与 IoU 计算更复杂。

import torch

def aligned_angle_loss(pred_theta, tgt_theta):
    # 把角度差归一到 [-pi/2, pi/2) 后再算损失，避免周期性跳变
    d = pred_theta - tgt_theta
    d = torch.remainder(d + torch.pi / 2, torch.pi) - torch.pi / 2
    return torch.abs(d).mean()

def smooth_l1(x, beta=1.0):
    ax = torch.abs(x)
    return torch.where(ax < beta, 0.5 * ax ** 2 / beta, ax - 0.5 * beta)

旋转 IoU 不可导或计算昂贵，主流做法是用近似的可导替代：把框建模成高斯分布算高斯距离，或对角度差做近似。近年也有用凸多边形相交面积的可导近似，但实现成本高。

一个被反复验证的经验：把角度与宽高解耦会明显好于混在一起回归。先分类出粗略方向，再回归角度残差，比直接回归 theta 稳定得多，尤其在长宽比大的目标上。

3.1 为什么边界处的角度损失会爆炸

设目标的真实角度是 179 度，模型预测 1 度。两者在几何上只差 2 度（因为 179 度与 1 度表示几乎相同的朝向），但朴素 L1 损失认为差了 178 度，梯度巨大，一次反向传播就能把参数推飞。这正是训练早期损失突然变成 NaN 或精度骤降的常见原因。

三种缓解手段的效果对比：

实践中最省事的是角度差归一化，改动只有几行，能解决绝大多数震荡；追求极致稳定时再上中点偏移表示。

4. 密集小目标与尺度变化

遥感检测的召回瓶颈几乎都在小目标。COCO 定义面积小于 32 乘 32 像元为小目标，遥感里这相当于 0.1 米分辨率下 3 米见方的物体，或者 0.5 米分辨率下 16 米见方的物体，大量车辆、小船都落在这个区间。

小目标难在三处：一是下采样后信息几乎消失，主干网络 stride 32 的特征图上，32 像元的物体只剩一个点；二是密集排列时相邻目标的特征混叠；三是正样本匹配时，小目标的 anchor 或中心点采样极易全部落在背景上。

常用对策：

• 提高输入分辨率或降低主干的下采样倍率，代价是显存与计算量平方增长。
• 用特征金字塔的高层分辨率层做预测，把 P2（stride 4）纳入检测头。
• 用 anchor-free 或自适应匹配（ATSS、SimOTA）替代固定 IoU 匹配，缓解小目标无正样本。
• 数据侧做 mosaic、copy-paste 增强，人为增加小目标密度。
• 训练时对小目标的损失加权，或按目标面积分层采样。

尺度变化的另一面是长宽比。舰船长宽比可达 10 比 1，机场跑道更长。旋转框能贴合这类目标，但角度回归误差对长条目标的位置误差放大明显：角度误差 5 度时，200 米长的船两端各偏移约 9 米。因此对长条目标，角度精度比中心点精度更重要。

典型目标尺度与长宽比（参考）
目标        地面尺寸        长宽比     难点
车辆        4~5 米          2:1        极小、密集、遮挡
飞机        30~70 米        3:1~4:1    朝向任意、机型细分
舰船        50~300 米       5:1~10:1   长条、角度敏感、靠港密集
储油罐      20~80 米        1:1        圆形、尺度跨度大
桥梁        200~3000 米     10:1 以上   极端长条、任意四边形
光伏板      1~2 米          1:1~2:1    极小、纹理重复

5. 数据集：DOTA 与 DIOR 及评测协议

DOTA 是遥感检测最常用的基准，v1.0 含 2806 景影像、15 个类别、约 18.8 万个实例，v2.0 扩展到 18 类并修正了标注。影像来自 Google Earth，分辨率 0.1 到 0.3 米，单景尺寸从 800 乘 800 到 4000 乘 4000 不等。

DOTA v1.0 类别
plane, ship, storage-tank, baseball-diamond, tennis-court, swimming-pool,
ground-track-field, harbor, bridge, large-vehicle, small-vehicle, helicopter,
roundabout, soccer-ball-field, basketball-court

DOTA 的评测协议有几个必须注意的点：

• 大图切成 1024 乘 1024 子图（带 200 像元重叠）再检测，结果回贴到原图统一评测，切图方式影响指标。
• 类别极不平衡，small-vehicle 占比极高，plane 与 helicopter 很少，单类 mAP 差异大。
• 提供 train/val/test，test 集标注不公开，需提交服务器评测，本地只能看 val。

DIOR 是另一个常用集，23463 景 800 乘 800 影像、20 类，规模更均衡，适合做方法对比与消融。NWPU VHR-10 只有 800 张、10 类，常用于快速验证。选数据集时要注意影像来源与分辨率，DOTA 的 Google Earth 影像与国产卫星影像在辐射与纹理上差异明显，直接迁移会有域间隙。

评测指标统一用 mAP，但要注意 IoU 阈值口径。PASCAL VOC 用 0.5，COCO 用 0.5 到 0.95 平均。遥感检测论文多数报 IoU 0.5 下的 mAP，跨论文比较时必须确认阈值与是否用旋转 IoU。

6. 检测器适配：从两阶段到单阶段

自然图像检测器迁移到遥感，主要改三处：骨干、检测头（加角度分支）、匹配与后处理（旋转）。

两阶段路线以 Faster R-CNN 加旋转 RoI 池化为代表，精度高、对小目标友好，但速度慢、旋转 RoI 池化实现复杂。Oriented R-CNN 用中点偏移表示旋转框，把角度回归转化为四个中点坐标的回归，回避了周期性，且旋转 RoI 对齐实现简洁，是当前精度与效率平衡较好的选择。

单阶段路线以旋转 YOLO 与 FCOS 变体为代表，速度优势明显，适合大范围推理。YOLOv8-OBB 提供了开箱即用的旋转框检测头与旋转 NMS，工程落地成本低。

改造的通用步骤：

1. 骨干用遥感预训练权重初始化，或至少用 ImageNet 权重，不要从头训。
2. 回归头输出五参数或四中点，损失里加入角度或中点的对齐项。
3. 正样本匹配改用 ATSS 或 SimOTA，缓解小目标无正样本。
4. 后处理换成旋转 NMS 或 probIoU NMS。
5. 评测接入 DOTA 官方脚本或 mmrotate，保证口径一致。

下面是一份 Oriented R-CNN 配置的关键项示意，注意骨干用预训练权重、neck 输出五层、RoI 提取器换成旋转版：

model = dict(
    type="OrientedRCNN",
    backbone=dict(type="ResNet50", depth=50, init_cfg=dict(type="Pretrained", checkpoint="resnet50.pth")),
    neck=dict(type="FPN", in_channels=[256, 512, 1024, 2048], out_channels=256, num_outs=5),
    rpn_head=dict(type="OrientedRPNHead", in_channels=256, feat_channels=256, num_classes=1),
    roi_head=dict(
        type="OrientedStandardRoIHead",
        bbox_roi_extractor=dict(type="RotatedSingleRoIExtractor", out_channels=256),
        bbox_head=dict(type="RotatedShared2FCBBoxHead", num_classes=15, loss_bbox=dict(type="L1Loss", loss_weight=1.0)),
    ),
)

迁移时最容易忽略的是归一化统计。遥感影像的波段范围、拉伸方式与自然图像不同，若沿用 ImageNet 的均值方差而输入是 8 位拉伸后的 RGB，特征分布会偏移，精度下降而难以察觉。做法是统计自己数据集的均值方差，或显式把输入归一化到 0 到 1 再加遥感专用统计。

7. 旋转 NMS 与后处理

旋转框的 NMS 比水平框麻烦，因为旋转 IoU 计算需要多边形相交，且同样存在「IoU 对角度不敏感」的问题：两个几乎垂直交叉的长条框，IoU 可能仍高于阈值。

主流方案：

• 旋转 NMS：用 shapely 或多边形裁剪算旋转 IoU，精确但慢。
• probIoU NMS：把框建模成二维高斯，用巴氏距离近似，可导且快。
• 无角度 NMS：对中点偏移表示，用中点距离加宽高一致性判断。

import numpy as np
from shapely.geometry import Polygon

def rotated_iou(a, b):
    # a, b: (cx, cy, w, h, theta)
    pa, pb = _to_poly(a), _to_poly(b)
    inter = pa.intersection(pb).area
    return inter / (pa.area + pb.area - inter + 1e-9)

def _to_poly(box):
    cx, cy, w, h, t = box
    dx, dy = w / 2, h / 2
    c, s = np.cos(t), np.sin(t)
    pts = np.array([[-dx, -dy], [dx, -dy], [dx, dy], [-dx, dy]])
    rot = np.array([[c, -s], [s, c]])
    return Polygon(pts @ rot.T + np.array([cx, cy]))

NMS 阈值对密集目标影响很大。遥感里舰船、车辆常常紧挨排列，IoU 阈值取 0.5 会大量误抑制相邻目标。经验做法是对密集小目标类放宽到 0.6 到 0.7，或改用 soft-NMS 按 IoU 衰减分数而不是直接删除。

后处理还包括：去掉面积过小或长宽比离谱的框，把相邻同类框合并（针对被切成两半的目标），把跨越子图边界的框在拼接后重新做一次 NMS。这些规则要按类别分别配置，用同一套阈值处理飞机与桥梁必然出问题。

8. 大图滑窗推理与结果合并

大幅影像无法一次进网络，必须滑窗推理。窗口大小的选择是权衡：窗口大则上下文足、边界目标少，但显存吃紧、小目标占比更低；窗口小则显存省，但边界截断的目标多。

标准做法是带重叠切窗，重叠区通常取窗口的 20% 到 50%，然后在原图坐标系下合并所有框，统一做一次全局 NMS。

import numpy as np

def sliding_detect(model, image, win=1024, overlap=256, conf=0.3):
    h, w = image.shape[:2]
    stride = win - overlap
    boxes, scores, labels = [], [], []
    for y in range(0, max(h - win, 0) + 1, stride):
        for x in range(0, max(w - win, 0) + 1, stride):
            tile = image[y:y + win, x:x + win]
            b, s, l = model(tile)                      # 子图内检测
            if len(b) == 0:
                continue
            b[:, [0, 2, 4, 6]] += x                    # 平移回原图坐标
            b[:, [1, 3, 5, 7]] += y
            keep = s > conf
            boxes.append(b[keep]); scores.append(s[keep]); labels.append(l[keep])
    if not boxes:
        return np.zeros((0, 5)), np.zeros(0), np.zeros(0)
    boxes = np.concatenate(boxes); scores = np.concatenate(scores); labels = np.concatenate(labels)
    return global_rotated_nms(boxes, scores, labels, iou_thr=0.5)   # 全局 NMS 去重

三个细节决定成败。第一，切窗要覆盖影像右边界与下边界，range 的写法容易漏掉最后一条带，建议显式补齐最后一行一列窗口。第二，边界处被截断的目标，在相邻窗口里通常是完整的，全局 NMS 之前不要急着过滤低分框，否则完整的那个框可能因为分数略低被截断框压制。第三，把结果回贴到地理坐标时要用影像的仿射变换，避免瓦片与矢量对不上。

如果目标尺寸跨越很大，可以用多尺度滑窗：同一区域用两种窗口各跑一遍再合并，召回更高但耗时翻倍。对时效敏感的场景，改用可变窗口或密度自适应切窗更划算。

8.1 切窗尺寸怎么定

切窗尺寸不是拍脑袋定的，可以由目标尺寸反推。经验规则是窗口边长取「最大目标的 2 到 4 倍」，同时保证「最小目标在特征图上至少剩 2 到 3 个像元」。

切窗尺寸估算（假设主干 stride 32）
目标最小边长   最小建议输入    典型窗口   备注
8 像元         256             512        需要 P2 层
16 像元        512             1024       主流配置
32 像元        512~1024        1024       通用
128 像元       1024            2048       显存吃紧，需分块

重叠比例取窗口的 25% 是常见起点。重叠太小则边界目标被截断的比例高，重叠太大则重复检测多、耗时长。可以用一小块有标注的区域做扫描，统计不同重叠下的召回与耗时，找拐点。

9. 精度评估与漏检归因分析

mAP 是主指标，但它是个聚合数，无法告诉你错在哪里。工程上必须做归因分析，把误差拆成可行动的几类。

import numpy as np

def match_detections(preds, gts, iou_thr=0.5):
    # 按分数降序贪心匹配，返回 tp/fp/fn 的索引
    order = np.argsort(-preds["scores"])
    used = np.zeros(len(gts["boxes"]), dtype=bool)
    tp, fp = [], []
    for i in order:
        best, best_iou = -1, iou_thr
        for j, g in enumerate(gts["boxes"]):
            if used[j] or gts["labels"][j] != preds["labels"][i]:
                continue
            v = rotated_iou(preds["boxes"][i], g)
            if v > best_iou:
                best, best_iou = j, v
        if best >= 0:
            used[best] = True; tp.append(i)
        else:
            fp.append(i)
    fn = np.where(~used)[0]
    return np.array(tp), np.array(fp), fn

把漏检（fn）按原因分类，才能对症下药：

评估还要注意两点。一是 IoU 阈值口径，报 0.5 与报 0.75 差异巨大，长条目标在 0.75 下 mAP 常掉一半。二是置信度阈值，mAP 对阈值不敏感但 F1 与部署表现敏感，工程验收要固定一个阈值并报告该点上的精确率与召回率，而不是只报 mAP。

漏检分析要做可视化：把 fn 框叠加到原图上人工看，往往一眼就能看出是尺寸问题、遮挡问题还是标注问题。很多所谓「漏检」其实是标注缺失或类别定义模糊，改数据比改模型收益更大。

权衡取舍

• 旋转框 vs 水平框：旋转框贴合目标、特征利用率高，但实现复杂、角度回归难；水平框简单快速，仅适合朝向随机性低或只关心有无的场景。
• 两阶段 vs 单阶段：两阶段精度高、小目标好，单阶段快、易部署；大范围普查用单阶段，精查与计数用两阶段。
• 角度直接回归 vs 中点偏移表示：直接回归实现简单但边界不稳，中点偏移回避周期性但需重写 RoI 对齐。
• 旋转 IoU NMS vs probIoU NMS：前者精确但慢，后者快且可导但近似有误差，密集场景慎用。
• 输入分辨率：提高分辨率对小目标召回提升明显，但显存与耗时平方增长，需按目标最小尺寸反推分辨率。
• 单尺度 vs 多尺度推理：多尺度召回更高但耗时翻倍，只在离线普查时值得。
• 合并类别 vs 细分：细分更贴合业务但类间混淆会拉低 mAP，先做类间可分性分析再定类别体系。

常见坑清单

• 角度定义不统一：现象是训练损失震荡不收敛，原因是数据与模型对 theta 的基准与范围定义不一致，规避方法是加载时统一规范化为长边为 w、theta 落在 [0, pi)。
• 直接对角度做 L1 回归：现象是接近 0 度或 180 度的框回归异常，原因是角度周期性导致损失跳变，规避方法是先把角度差归一到一个半开区间。
• 旋转 NMS 阈值沿用水平框经验：现象是密集舰船、车辆被大量误抑制，原因是旋转框 IoU 对角度不敏感，规避方法是按类别放宽阈值或改用 soft-NMS。
• 切窗漏掉最后一条带：现象是影像右下角目标系统性漏检，原因是 range 步进未覆盖边界，规避方法是显式补齐最后一行一列窗口。
• 沿用 ImageNet 归一化：现象是精度低于预期且难排查，原因是遥感输入的波段范围与拉伸方式不同，规避方法是统计本数据集均值方差。
• 用 8 位拉伸图训练：现象是模型对辐射差异敏感、跨景泛化差，原因是丢失了反射率信息，规避方法是用辐射校正后的反射率并做统一拉伸。
• 忽略标注缺失：现象是反复优化仍无法提升召回，原因是部分目标未标注被算作误检，规避方法是清洗标注并复核误检样本。
• 单类 mAP 掩盖问题：现象是总体 mAP 尚可但关键类几乎检不出，原因是类别不平衡，规避方法是报告每类 AP 与混淆。
• 边界框跨窗重复：现象是同一目标出现两个框，原因是重叠区重复检测未全局去重，规避方法是拼接后做全局旋转 NMS。
• 长条目标用水平框评估：现象是桥梁、跑道 mAP 极低，原因是水平框 IoU 天然偏低，规避方法是统一用旋转 IoU 评测。

小结

遥感目标检测的核心矛盾是「任意朝向」与「密集小目标」这两件事同时存在。旋转框解决了朝向问题，却引入了角度回归的周期性与旋转 IoU 的实现成本；小目标要求高分辨率与更密的特征层，却与显存和推理耗时冲突。工程上的胜负手不在网络结构的新颖度，而在框表示的统一、角度损失的处理、正样本匹配的适配，以及切窗与后处理的严谨。

落地路线建议这样安排：先用 mmrotate 或 YOLOv8-OBB 加遥感预训练权重快速搭出基线，跑通 DOTA 或自有数据的评测口径；再针对最大的一类漏检做定向优化，通常是提高输入分辨率或加入 P2 层；最后把后处理按类别配置、把置信度保留下来供人工复核与时序关联。别一开始就自研检测头，把评测口径与数据清洗做扎实的收益更大。

下一步可以结合 瓦片服务与切片金字塔 把检测结果作为矢量图层发布，并用 遥感影像基础与元数据 里的分辨率与幅宽知识反推适合任务的输入尺寸与切窗粒度。