文档介绍
中国人工智能系列白皮书——大模型技术（2023版）中国人工智能学会二○二三年九月目录第1章大模型技术概述51.1大模型技术的发展历程51.2大模型技术的生态发展91.3大模型技术的风险与挑战11第2章语言大模型技术132.1Transformer架构132.2语言大模型架构172.2.1掩码语言建模172.2.2自回归语言建模182.2.3序列到序列建模182.3语言大模型关键技术192.3.1语言大模型的预训练192.3.2语言大模型的适配微调212.3.3语言大模型的提示学习242.3.4语言大模型的知识增强262.4.5语言大模型的工具学习27第3章多模态大模型技术293.1多模态大模型的技术体系293.1.1面向理解任务的多模态大模型293.1.2面向生成任务的多模态大模型313.1.3兼顾理解和生成任务的多模态大模型333.1.4知识增强的多模态大模型353.2多模态大模型的关键技术363.2.1多模态大模型的网络结构设计3623.2.2多模态大模型的自监督学习优化373.2.3多模态大模型的下游任务微调适配39第4章大模型技术生态414.1典型大模型平台414.2典型开源大模型444.2.1典型开源语言大模型444.2.2典型开源多模态大模型534.3典型开源框架与工具574.4大模型的训练数据604.4.1大模型的训练数据处理流程和特点604.4.2大模型常用的公开数据集63第5章大模型的开发训练与推理部署665.1大模型开发与训练665.2大模型推理部署685.2.1大模型压缩695.2.2大模型推理与服务部署705.3软硬件适配与协同优化715.3.1大模型的软硬件适配725.3.2大模型的软硬件协同优化72第6章大模型应用746.1信息检索746.2新闻媒体756.3智慧城市766.4生物科技766.5智慧办公776.6影视制作786.7智能教育7836