混合专家模型（MoEs）技术揭秘
      彭靖田
  Google Developer Expert
目录
     混合专家模型（Mixture-of-Experts, MoEs）技术发展简史
       开山鼻祖：自适应局部专家混合（ Michael I. Jordan & Hinton, 1991）
       多层次混合：深度MoEs中的表示学习（ Ilya, 2013）
       稀疏门控：支持超大网络的MoEs（Hinton & Jeff Dean, 2017）
     MoEs 与 大模型结合后的技术发展
       GShard：基于 MoE 探索巨型 Transformer 网络（Google, 2020）
       GLaM：使用 MoE 扩展语言模型性能（Google, 2021）
       Switch Transformer：使用稀疏技术实现万亿模型（Google, 2022）
       MoEs 实例研究：Mixtral-8x7B-v0.1（Mistral AI, 2023）
 Mixtral 8x7B ：质 ...