token终于有了官方中文名——词元。国家数据局在发布会上直接用词元来描述,并披露我国日均调用量已超140万亿,央广网、新华网等也同步报道。仔细想想这个翻译还挺准确的,词和单元的结合,本质上就是AI处理语言时的基本单位。一段话在模型里,其实就是被拆成一个个词元再去计算。但是大家一时半会可能还不习惯。
声明:本文内容由脉脉用户自发贡献,部分内容可能整编自互联网,版权归原作者所有,脉脉不拥有其著作权,亦不承担相应法律责任。如果您发现有涉嫌抄袭的内容,请发邮件至maimai@taou.com,一经查实,将立刻删除涉嫌侵权内容。