最近在想如何从底层开始做一些典型模型的复现。最有意义的肯定是GPT了。

预估一下代码量：大概模型代码会在300～500行，其它训练类的代码：300行，数据处理可能很多，也可能很少。

首先给一个参考实现：https://github.com/karpathy/nanoGPTKarpathy这位大神已经实现了一个手搓的GPT。在这个基础上你可以先熟一下，然后把它运行起来。

当然了，如果是你期望从头儿开始，可以这样给你建议：

编程知识

基础论文

环境准备

数据准备

参考实现就是上面那个

先谈编程知识

既然你选择了实现这事，那一定要会的技术路线也不麻烦：

Linux基础操作：

系统安装与管理：了解如何安装和配置Linux系统，例如Ubuntu，差不多是大家比较习惯的一个操作系统了。

命令行操作：熟悉基本的命令行操作，例如文件管理、进程管理、网络配置等。

软件安装与管理：了解如何使用包管理工具（如apt）安装和管理软件。

Nvidia相关驱动和CUDA的安装：

这是一个不太麻烦，但是极其重要的工作。

驱动安装：了解如何安装和配置Nvidia显卡驱动。

CUDA安装：掌握如何安装CUDA工具包，这样你就可以利用GPU来加速深度学习模型的训练和推理。

cuDNN安装：了解如何安装cuDNN库，以进一步优化深度学习框架的性能。

编程语言与工具：

Python：深度学习开发的主要语言，了解其语法、标准库以及常用的数据科学库（如NumPy、Pandas）。可以参考： https://www.zhihu.com/question/29138020/answer/3415113924

深度学习框架：熟悉PyTorch（Tensorflow可以做为备选），了解如何构建、训练和部署神经网络模型。

服务框架：gradio，可能很多web服务框架都可以干，但是gradio可能是最适合的。

C/C++：用于编写高性能计算部分，或对现有深度学习框架进行优化（这一段不重要）。

这可能要花你至少一周到两周以上的时间（如果时间超过2周，我建议你再停下来考虑一下）。

接下来是些基础论文与参考模型

GPT的基础论文并不多，主要是下面三篇论文，你就能理解GPT是什么了。

当然在这个之前，我建议看一下 transformer的结构解读： https://zhuanlan.zhihu.com/p/677125915

然后下面这三个文章一定要彻底读懂

Attention is All You Need（Vaswani et al., 2017）：这是Transformers架构的开创性论文，介绍了自注意力机制和Transformer模型的细节。也许当时真的有人预见过这东西的未来，但是我想肯定没有人会想到它是现在现阶段人工智能的基石！

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding：尽管BERT是双向Transformer模型，但其训练方法和架构对于理解GPT的变种也很有帮助。或者说做Bert那批人后来都出来了，继续做GPT类似的大模型。如果当时谷歌给了足够的支持，可能GPT就不会在OpenAI出来了。

Generative Pre-trained Transformer (GPT)：GPT系列论文（如GPT-1, GPT-2, GPT-3）介绍了生成预训练变换器的基本概念、模型结构和训练方法。这个没有什么可说的，是一定要看的，但是也没有太多的东西，但是看完基本认知是足够了。

然后呢就要准备开发环境

要构建和训练GPT模型，你需要准备合适的开发环境：

硬件配置：

GPU：推荐使用Nvidia的GPU，没有足够的算力，你的手搓GPT只能是个形式的，所以推荐是A100 80G的，至少要有两块以上才更有意义。至少你也要是个RTX4090 24G的版本。

存储：需要大量的存储空间来保存数据集和训练模型。建议至少准备1TB的存储空间也是低配。如果有10TB以上是足够的。

PC：也要认真配置一下，内存至少要在64G以上，建议128G以上。硬盘要足够大，越大越好！

软件环境：

操作系统：建议使用Linux系统，例如Ubuntu吧，毕竟你前面学会了。

深度学习框架：安装并配置PyTorch 的GPU版本，如果不是GPU版本，你运行的速度就是你一个年也运行不完的结果。

编程环境：推荐使用Anaconda来管理Python环境和依赖库，同时可以使用Jupyter Notebook进行交互式开发。当然了，Miniconda可能更好一点儿，毕竟习惯命令行下的开发与应用，是IT人的标配。JupyterNotebook确实是个好东西，代码调试一类的，它挺好用哦。

VisualStudioCode：如果你习惯了IDE，建议用它，不要用别的了。

数据越来越被认可了

随着越来越多的人开始研究大模型/LLM，大家发现呢，在同等规模下的网络中，真正影响大模型能力的，其实不是结构（好像其实大家结构差不多），真正有影响的是数据。所以你有越多的数据，你就有越强大的模型。

当然了，对于个人开发者，其实是准备一个能够完成基本功能的数据是个开始吧。随后就看自己是不是有足够的精力与环境，才能做得列好吧。

这里有个问题就是，中文相关的数据其实没有特别好的，最好的方式依然是用个英文数据。所以，我推荐一下英文数据吧。 OpenWebText，这份数据核心都是来源于网络的：Reddit。

如果是其它别的数据，Wikipedia、CommonCrawl等也是非常优秀的数据集，对于真实的LLM网络，它们可以认为是完全必须的网络。

数据预处理：对数据进行清洗和预处理，例如去除无用的字符、标记化处理等。这些东西也是必须的。

对于量级，你可以看看这份数据，是不是觉得自己的硬盘不够大了？ 压缩后的 100T，解压后有多少呢？

你真的想手搓一个吗？

说实话，从头开始独立实现一个GPT模型是一项具有挑战性的任务，需要深入的技术知识和丰富的资源支持。当然你真的能完成，你至少能证明你有下面这样的素质与资源：

坚实的编程基础和深度学习知识。

足够的硬件资源，特别是高性能GPU和大量存储空间。

大量高质量的数据，以及处理这些数据的能力。

耐心和毅力，因为模型的训练可能需要很长时间，并且需要多次迭代和调试。