发面经攒人品
字节机器学习框架开发一面凉经（AI Infra方向）1. 自我介绍2. 网络框架项目简介，问能否用 Python 实现3. 并行计算优化项目主要围绕性能优化展开4. 训练框架是比较重点的一部分：* 为什么固定 batch size 在搜推场景存在问题？* max token 动态组批具体怎么实现？* token 数量均衡是否等价于计算量均衡？* 如果按照计算量组批，会有什么问题？* max token 如何根据显存确定？5. 训练场景高性能网络通信深挖最多：* Producer-Consumer 架构* 控制面和数据面分离* RDMA 使用 RoCE 还是 IB？* 数据从 Producer 到 Consumer GPU 的完整路径？* 为什么不用 TCP？* 当前性能瓶颈在哪里？* 控制面 RPC 开销如何优化？* 小 Tensor 太多如何优化？6. Coding题目：多个节点返回已经按照 index 排序的稀疏梯度数组，需要合并成一个全局梯度数组，相同 index 的 value 求和。思路：利用 K 路归并，使用小根堆维护每个节点当前最小 index，复杂度 O(NlogK)。7. 反问主要了解：* 团队偏训练框架还是推理框架？* 服务大模型还是搜推业务？* 框架团队和业务算法团队职责如何划分？#字节跳动 #秋招面经 #凉经 #大模型 #AIInfra
发布于 未知
5
2
3
未登录
友善发言
评论
加载中
