AMD 宣布推出 AMD-135M —— Llama 家族的第一个小型语言模型。
该模型具有推测解码功能，其训练代码、数据集和权重都是开源的，以便开发人员可以重现该模型并帮助训练其他 SLM 和 LLM。
“大语言模型通常使用自回归方法进行推理。然而，这种方法的一个主要限制是每次前向传递只能生成单个 token，导致内存访问效率低下并影响整体推理速度。推测解码的出现解决了这个问题。其基本原理是使用小型草稿模型生成一组候选 token，然后由更大的目标模型进行验证。这种方法允许每次前向传递生成多个 token，而不会影响性能，从而显著减少内存访问消耗，并实现几个数量级的速度提升。”