本书是一本旨在填补人工智能 (AI) 领域 (特别是AI大模型) 理论与实践之间鸿沟的实用手册。书中介绍了AI大模型的基础知识和关键技术, 如Transformer、BERT、ALBERT、T5、GPT系列、InstructGPT、RLHF、ChatGPT、GPT-4、PaLM和视觉模型等, 并详细解释了这些模型的技术原理、实际应用以及高性能计算 (HPC) 技术的使用, 如并行计算和内存优化。同时, 本书还提供了实践案例, 详细介绍了如何使用Colossal-AI训练各种模型。