红岳
传统工具产品的竞争力会来自于谁把自己打得够碎，Agent类产品的竞争力在于谁把积木搭得又快又稳，又实用，最好还美观。对于agent产品来讲，模型越强，硬编码的需求就越少，harness应该越来越轻。在这种情况下，Evals比Spec的重要性大多了。团队对于Evals的品味，就是对产品的品味。产品之间的差异也将来自于此。Evals来自用户，无法穷尽，无法模拟。因此必须要成为用户，代入用户，作为用户提问。许多产品，未来都要求我们，储备更多的问题。
发布于 广东
分享
评论
赞
未登录
友善发言
评论
加载中
