布林：Transformer能通向AGI
Transformer的问题大家都看到了，关键是替代方案已经不只是论文里的东西了。2026年Mamba-3入选ICLR Oral，NVIDIA发布了混合架构Nemotron-3，行业里千亿以上参数的场景，稠密架构已经退出主力序列，MoE加混合架构成了标配。但最有意思的反转是阿里开源的Qwen3.6-27B，一个纯稠密模型，在HumanEval代码评测中碾压了GPT-5.5-MoE，在MATH数学基准上甩开Kimi K2.6近8个百分点，说明架构创新比单纯堆规模更有想象力。现在2026年的主流方案是混合架构，比如Jamba每隔几层放一个Transformer层保证硬记忆，中间插Mamba的SSM层处理长序列，推理吞吐量比纯Transformer高5倍，训练成本便宜30%-50%。另外世界模型这个方向也在爆发，李飞飞的World Labs、DeepMind的AR-Transformer方案都在做让AI理解物理世界的空间关系。ACM那篇文章提到的神经符号架构也很关键——让LLM负责生成，外部符号系统负责验证正确性，这可能是解决幻觉最靠谱的路径。
发布于 广东
分享
评论
1
未登录
友善发言
评论
加载中
