近日，在书新3号楼东305教室，孙立民教授为电子信息专业研究生举办了一场关于深度学习到大模型技术演进的学术报告。报告深入剖析了深度学习技术的发展历程，以及大模型算法如何逐步成为人工智能领域的新星。
报告首先回顾了深度学习技术的初始阶段，这一时期，卷积神经网络（CNN）和循环神经网络（RNN）作为两大支柱，分别在图像识别、目标检测以及机器翻译、语音识别等自然语言处理领域展现出强大的能力。随着技术的不断进步，深度学习模型开始逐步向更复杂、更精细的方向发展。
随后，报告详细讲述了大模型算法的发展脉络。自2017年Transformer结构的提出以来，深度学习模型参数规模实现了飞跃式增长，标志着大模型时代的来临。紧接着，谷歌发布的BERT模型在NLP领域取得了突破性进展，预训练模型逐渐成为主流。而OpenAI发布的GPT-3模型更是将模型参数规模推至千亿级别，进一步展示了大模型的强大潜力。
在报告中，孙立民教授还介绍了大模型算法的结构演进。Transformer结构以其独特的Self-Attention机制，解决了RNN在效率和传递中的缺陷，成为大模型算法的核心组件。而为了应对大模型训练成本高昂的问题，稀疏门控专家混合模型（MOE）等新型结构被提出，通过激活部分小模型进行计算，有效降低了训练成本。
此次学术报告为研究生们提供了一次深入了解深度学习到大模型技术演进的机会，也提供了一个交流思想、探讨未来的平台。随着人工智能技术的不断发展，大模型算法将在更多领域展现出其强大的应用潜力，为人类社会带来更多便利和惊喜。
