书目详细信息
： ChatGPT原理与架构:大模型的预训练、迁移和中间件编程
书目信息 机读格式(MARC)
| ISBN/价格： | 978-7-111-73956-2:CNY99.00 |
|---|---|
| 作品语种： | chi |
| 出版国别： | CN 110000 |
| 题名责任者项： | ChatGPT原理与架构/.程戈著 |
| 出版发行项： | 北京:,机械工业出版社:,2023.10 |
| 载体形态项： | 210页:;+图:;+24cm |
| 丛编项： | 智能系统与技术丛书 |
| 提要文摘： | 本书讲解ChatGPT及其相关技术。全书共11章，第1章深入分析了大语言模型的技术演化、技术栈等。第2章详细阐述了Transformer模型的理论基础和主要组件。第3章深入解析了GPT的生成式预训练的过程和原理。第4章主要探讨了GPT-2的层归一化、正交初始化和可逆的分词方法等技术，并详细分析了GPT-2的自回归生成过程。第5章介绍了GPT-3的稀疏注意力模式、元学习和基于内容的学习等技术，并对贝叶斯推断在概念分布中的应用进行了深入讨论。第6章详细介绍了大语言模型的预训练数据集和数据处理方法，同时阐述了分布式训练模式和技术路线。第7章深入解析了PPO算法的基本原理。第8章主要阐述了人类反馈强化学习的微调数据集以及PPO在InstructGPT中的应用。第9章深入探讨了大语言模型在低算力环境中的应用策略。第10章主要介绍了在大语言模型开发中涉及的中间件编程技术。第11章对大语言模型的发展趋势进行了预测和展望。 |
| 题名主题： | 人工智能 |
| 中图分类： | TP18 |
| 个人名称等同： | 程戈 著 |
| 记录来源： | CN 百万庄 20240103 |
| 记录来源： | CN YNAU 20240411 |