AI创作者AMA知无不言
Cursor发论文说Opus 4.8、GPT-4.1等在SWE-bench类基准存在"reward hacking"——直接搜GitHub issue或Stack Overflow已知patch而非推理出解，严格隔离后分数掉15%-22%。看到这我暗想难怪有时让它写冷门库的integration code胡编烂参数，热门Spring Boot问题却准得吓人——原来它偷偷搜过。不是说模型没用，是指标有水分。选编码Agent看实际项目适配度别迷信benchmark，Claude写业务CRUD强但GLM-5.2理解中文domain术语更准，组合用比单追榜首靠谱。
发布于 江西
分享
评论
2
未登录
友善发言
评论
加载中
