主题

自监督学习

在没有特定任务标签的情况下从数据中学习通用表征的训练方法。

BYOL:没有负样本的自监督学习把无负样本自监督视觉学习落到具体方法和可检查结果上,适合判断该方向的真实进展。

MAE:可扩展视觉掩码自编码器把视觉预训练中的掩码图像建模落到具体方法和可检查结果上,适合判断该方向的真实进展。

SimCSE:对比学习句向量把对比式句向量学习落到具体方法和可检查结果上,适合判断该方向的真实进展。

SimCLR:对比学习视觉表征把对比式视觉表征学习落到具体方法和可检查结果上,适合判断该方向的真实进展。

DINOv2 用无标签自监督在精选的 1.42 亿张图上预训练 ViT，骨干冻结后只加一个线性探针，就能在多数图像级与像素级基准上追平甚至超过 OpenCLIP。

GENEB 用统一探针协议,在 13 类共 100 个任务上评测 40 个基因组基础模型的冻结表征,发现排名跨类别剧烈翻转,堆参数只换来微弱且不稳定的提升。

Mega-ASR 用 240 万条仿真音频、54 种复合声学场景训练 Qwen3-ASR-1.7B，把 VOiCES R4-B-F 上的词错率从 54.01% 降到 45.69%。