大模型论文精选

大模型论文精选 · 2026-W40

统计窗口: 2026-07-06 – 2026-10-03 冻结于 2026-10-04

3

NeoHorse-1:把每次对话的路由记录变成下一轮训练数据的自我进化模型

这篇工作给“递归自我改进”找了一个具体机制:系统记录每个用户回合预测的能力档位、实际路由到的服务层和交互结果,把这些记录经结构校验与六维语义评估后转成训练样本,保留交错推理、工具调用和 harness 上下文,驱动下一轮 agentic 后训练。

  • 471 星/7日
  • 0 引用
  • 407 点赞
  • #1 tau2-bench
4

LingBot-VLA 2.0:6 万小时、20 种本体数据预训练的视觉-语言-动作模型

这篇技术报告升级了 LingBot-VLA:重构数据管线,用约 6 万小时预训练数据(20 种机器人本体共 5 万小时轨迹,外加 1 万小时第一人称人类视频),并把控制范围从双臂扩展到头部、腰部、移动底盘和灵巧手,目标直指实验室到真实部署之间的落地鸿沟。

  • 28 星/7日
  • 15 引用
  • 21 点赞
  • #3 robotwin-2-0-easy-50-tasks
5

小米机器人一号:10 万小时以上真机轨迹预训练的视觉-语言-动作模型

小米机器人团队的视觉-语言-动作基础模型,用 10 万小时以上的真机 UMI 轨迹做预训练,并自动标注场景转换语言,再经后训练适配不同本体和人类的指令式提示。论文称数据量和参数量增加时性能持续提升,在新环境里可以开箱即用,灵巧任务上也能高效微调。

  • 8 星/7日
  • 15 引用
  • 75 点赞
  • #3 robocasa
6

YuE2:先写出可读的乐谱、再据此渲染成完整歌曲音频的统一音乐生成模型

符号式音乐模型能显式规划作曲,但成品不像真正的录音;音频模型能生成整首歌,编曲逻辑却藏在里面。YuE2 把两者统一到单个 AR-NAR 混合 Transformer 架构里:先生成可读的乐谱,再展开成语义音乐 token,最后渲染成完整歌曲,并配套 MERT2、SheetSage2 两个表征模型,从没有对齐乐谱的录音中学习。论文称其在 WildSongBench 的 SongBench Global 平均得 6.73(best-of-8 为 6.96);专家盲听中 best-of-8 版本胜过 Suno v4.5、与 Suno v5 基本持平。生成的乐谱是可读的,外部语言模型 agent 可以直接按乐谱修改编曲。

  • 431 星/7日
  • 0 引用
  • 216 点赞
8

WROP:用认知科学考题测视频世界模型懂不懂客体永存,并训出一个能考过的 160 亿参数模型

物体离开画面后,视频生成模型还记得它存在吗?作者从认知科学出发造了 WROP:150 个任务横跨六类认知能力,用 Blender 渲染并在光照、速度、机位上随机扰动,产出 150 万条训练样本和一份 300 题的考试,用来考 14 个视频模型。他们还基于自研的 AWS Trainium2 原生 PyTorch 训练栈训出 160 亿参数的 PWM-WROP 世界模型,数据、考题、得分和权重全部开源。在盲评两两 Elo 对决中,它在续写类模型中排名第一,与最强的参考视频类模型基本打平。

  • 303 星/7日
  • 0 引用
  • 193 点赞
9

Frontis-MA1:开源的 350 亿“元进化”智能体,递归改进自己的机器学习工程

Frontis-MA1 附带 OpenMLE 全栈开源系统(任务环境、强化学习算子学习、进化搜索),用来研究递归自我改进;其 350 亿参数元进化智能体围绕 Draft、Improve、Debug、Crossover 四类程序进化算子做后训练,作者称在 MLE-Bench Lite 上超过 GPT-5.5 加 Codex 的组合,组件还能迁移到没见过的 NatureBench Lite。

  • 23 星/7日
  • 3 引用
  • 186 点赞
13

Edge0:35B MoE 权重放 SSD,靠提前一个 token 预测路由实现单卡流式推理

Edge0 是一个开源推理引擎,让 35B 混合专家模型在单张 24GB 显卡上跑起来:专家权重按需从 SSD 流式加载,每层用一个训练好的预路由头提前一个 token 预测下一层该激活哪些专家,让磁盘读取藏在计算背后;再配一个恢复 LoRA 补回 int4 量化的质量损失。作者称单卡可达约 20 tok/s、峰值活跃显存约 3GiB,五个公开基准上平均只比 fp16 原版低几个点。

  • 664 星/7日
  • 0 引用
  • 8 点赞
14

Spark-to-Paper:在现有编程助手里把选题、实验、成稿串成十三个可组合技能

从想法到成稿不只是写字。Spark-to-Paper 不搭新平台,而是在现有编程助手里实现十三个可组合技能:检索文献、设计与执行实验、按证据修正结论、产出出版级图表,并把模型判断和可机械验证的操作分开,实验规划与报告撰写也相互独立。

  • 69 星/7日
  • 0 引用
  • 291 点赞
15

OneStreamer:边看直播边把画面写成文字记忆的流式视频大模型

流式视频助手既要实时看懂直播画面,又得记住几分钟前发生的事。OneStreamer(南京大学)让一个 4B 模型用同一套生成过程同时干两件事:看视频时主动把时间戳标注的局部细节和事件摘要写进分层文本记忆,之后被追问时直接查这些文字记录,而不用回头重新编码历史帧。它还配套发布了 OneStreamer-1M 流式视频交互数据集(逾百万条记录),论文声称其 4B 模型在全部八个流式视频理解基准的比较方法中结果最好。

  • 98 星/7日
  • 0 引用
  • 154 点赞

本周 · 大模型论文精选