大语言模型入门指南

首先看看大模型自己的回答，提问：『假设我才 5 岁， 给我解释大模型是怎么工作的？』，Claude 的回答：

好的,我来用简单的方式解释一下大模型是怎么工作的。

可以想象大模型就像一个超级聪明的机器人学生。它会不停地阅读各种各样的文章、故事和书籍。

当它读这些东西的时候,它的大脑会记住所有看到的词语和句子。每读一篇新文章,它就会变得更聪明一点。

慢慢地,它看到了成千上万的句子。它开始理解词语之间的关系,哪些词经常一起出现,哪些词不会一起使用。

然后如果有人问它一个问题,它就会在存储的海量句子中找到相关的句子, 用这些句子组合出一个答案。

它也会预测接下来最有可能出现的词语,就像我们说话时脑海中会出现各种选项一样。

最后,它会从最可能的词语中选择最佳的回答,就像我们说话要思考后才开口。

所以简单来说,大模型就是一个超级大的脑容量,可以记住极多信息,并且可以像人类一样回答问题或写作!你明白了吗?如果还有不懂的可以再问我。

通俗来讲，大模型就是输入大量语料，来让计算机获得类似人类的“思考”能力，使之能够理解自然语言，来进行『文本生成』、『推理问答』、『文档摘要』等工作。

从学术上来说，LLM 是一种基于神经网络的机器学习模型，相对比之前的模型，“大”是她的主要特点，可以体现在数学公式更复杂，参数更多、计算资源需求高等方面。

为了能让计算机理解自然语言，第一步就是要对文字进行数字化，这里面有以下几个概念：

• Token，通过在对输入文本进行分词得到，它可以表示单个字符、单词或句子，这取决于所采用的分词方法。例如： cat
• 词汇表（Vocabulary），每个 token 在 LLM 中对应一个数字，比如：

• Embedding，单有一个 ID 无法表示 token 之间的联系，需要把它转成向量，这样才方便理解他们之间的联系。这里可以类比『坐标』， 通过给出经纬度（两个维度），我们就能确定一个地方，而且通过这个坐标可以确定两地的远近。对于 token 来说是类似的，只是 涉及的维度多。一般至少要成百上千个，在 GPT 3 中就用了 12,288 个。 cat 可能的向量表示：

[0.0074, 0.0030, -0.0105, 0.0742, 0.0765, -0.0011, 0.0265, 0.0106, 0.0191, 0.0038, -0.0468, -0.0212, 0.0091, 0.0030, -0.0563, -0.0396, -0.0998, -0.0796, …, 0.0002]

• 推导（Inference），根据用户的输入，LLM 生成对应回答，即完成一次推导。回答可能是对话、翻译、绘画创作等不同形式。

现在的 LLM 一般指以 Transform 为代表的神经网络模型，它们采用自注意力（Self-attention）机制来学习不同 token 之间的依赖关系，生成高质量 embedding。

大模型中的“大”，主要就是指用于计算最终的 embedding 的参数多，这里包括权重（weight）与偏差（bias）两部分，例如 GPT-3 拥有 1750 亿参数，其中权重数量达到了这一量级，而词汇表 token 数只有 5 万左右。更多细节可参考：

• How does an LLM "parameter" relate to a "weight" in a neural network?

将 16 位降至 8 位或 4 位是可能的，但不能使用硬件加速浮点运算。如果想对更小的类型进行硬件加速，就需要使用小整数和矢量化指令集。这就是量化的过程。

量化技术可以应用到现有的 32 位浮点运算模型中，通过将权值转换为较小的整数，这些整数的运算可以使用硬件加速指令集，如英特尔的 AVX。

量化模型的简单方法是，首先找出权重的最大值和最小值，然后将数值范围划分为整数类型中可用的桶数，8 位为 256 桶，4 位为 16 桶。这就是所谓的训练后量化（post-training quantization），也是量化模型的最简单方法。现在市面上主要有两类量化方法：

GPTQ (Accurate Post-Training Quantization for Generative Pre-trained Transformers)

主要针对英伟达的 GPU

GGML

侧重于 CPU 优化的量化方法，主要针对苹果 M1 和 M2 芯片做优化，macOS 用户首选

社区用户 TheBloke 已经把 Huggingface Transformers 库中的大多数 LLM 量化好，可供用户直接下载使用，这无疑极大方便了用户的使用，感谢开源社区的力量💪🏻。

早期的 LLama 主要针对 CPU 进行设计，但社区非常给力，GPU（英伟达 & 苹果）已经得到支持：

• llama : Metal inference by ggerganov #1642
• CUDA full GPU acceleration, KV cache in VRAM #1827

使用也比较简单，首先是编译，为了能够利用 Apple 的 GPU，可以用如下命令编译：

1

LLAMA_METAL=1 make

之后需要去 Llama-2-7B-Chat-GGML 中下载模型，3G 到 7G 不等，读者可以按需尝试即可。

1
2

./main -m ~/Downloads/llama-2-7b-chat.ggmlv3.q4_1.bin \
       -p "Are there any aliens on earth" -n 512 -ngl 10

得到输出

There is no definitive evidence of aliens on Earth, but many people believe that the possibility of extraterrestrial life existing in some form or another cannot be ruled out completely. Here are a few reasons why:

1. The vastness of the universe: With an estimated 100-400 billion stars in the Milky Way galaxy alone, and over 100 billion galaxies in the observable universe, the potential for life-supporting planets is immense.
2. Exoplanet discoveries: Over 4,000 exoplanets have been discovered so far, and many of these planets are believed to be located in the habitable zones of their respective stars, where conditions are suitable for life as we know it.
3. The building blocks of life: Many organic compounds, such as amino acids and sugars, have been found in meteorites and in interstellar space, suggesting that the raw materials for life are widespread in the universe.
4. The Fermi Paradox: The Fermi Paradox suggests that if intelligent extraterrestrial life exists, we should have seen some sign of it by now

. However, it's possible that advanced civilizations may be avoiding us, or that they have a different timescale for communication.

1. The Drake Equation: This equation is a mathematical framework for estimating the number of extraterrestrial civilizations in the galaxy that might be able to communicate with Earth. While the equation is highly speculative and involves many unknown variables, it does suggest that the possibility of intelligent life existing elsewhere in the universe is not entirely negligible.

In conclusion, while there is no conclusive evidence of aliens on Earth, the possibility of extraterrestrial life existing in some form or another cannot be ruled out completely. The vastness of the universe, the discoveries of exoplanets, the presence of building blocks of life, the Fermi Paradox, and the Drake Equation all contribute to this belief.

此外，llama.cpp 还提供了 WebUI 供用户使用，首先启动 server：

1

./server -m ~/Downloads/llama-2-7b-chat.ggmlv3.q4_1.bin -ngl 512

它默认监听 8080 端口，打开浏览器就可以对话了

Ollama 对 llama.cpp 提供了一层 API 封装，使用起来更加方案，并且提供了与 OpenAI 兼容的接口，方便接入。使用方式如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

# 安装
brew install ollama

# 启动 API 服务器，之后就可以用 REST API 来进行访问了
ollama serve

# 也可以使用 brew services  进行后台启动
brew services restart ollama

# 用 llama3 模型，启动一个交互式 REPL，首次使用时会进行模型下载
ollama run llama3

ollama 支持的模型可以在 library 页面找到，不同模型对内存的要求：

1
2
3
4
5

curl -s http://localhost:11434/api/chat -d '{
  "model": "llama3",
  "messages": [{"role": "user", "content": "Hello, Nice to meet you, what is your name?"}],
  "stream": false
}' | jq

{
  "model": "llama3",
  "created_at": "2024-06-02T07:03:52.329377Z",
  "message": {
    "role": "assistant",
    "content": "Nice to meet you too! I'm LLaMA, a large language model trained by a team of researcher at Meta AI. My purpose is to understand and generate human-like text based on the input I receive. I don't have a personal name, but feel free to call me LLaMA or just \"Assistant\" if that's more comfortable for you! What brings you here today?"
  },
  "done_reason": "stop",
  "done": true,
  "total_duration": 2521845291,
  "load_duration": 1234666,
  "prompt_eval_duration": 168948000,
  "eval_count": 80,
  "eval_duration": 2350576000
}

Whisper 是由 OpenAI 开源的通用型语音识别模型。和 llama 类似，采用 make 命令编译，之后去 ggerganov/whisper.cpp 下载量化好的模型，然后就可以进行音频识别。目前输入只接受 wav 格式，可以用 ffmpeg 转化，使用方式：

1
2
3
4

ffmpeg -loglevel -0 -y -i "$INPUT" -ar 16000 -ac 1 -c:a pcm_s16le "${INPUT}.wav"

./main -m models/ggml-small.bin -f "$INPUT" \
        -osrt -t 8 -p 4

下面是 Zig with Andrew Kelley :: Rustacean Station 这个播客的 srt 输出，完整版本可以在这里查看。

1 00:00:00,000 –> 00:00:10,720 [Music]

2 00:00:10,720 –> 00:00:14,880 Hello and welcome to another episode of "Restation Station" on your host Alan Weimar.

3 00:00:14,880 –> 00:00:18,480 Today I am with Andrew Kelly, the creator of Zig.

4 00:00:18,480 –> 00:00:21,120 It's really a great honor to have a language creator here.

5 00:00:21,120 –> 00:00:23,840 I like I told him before the show, I have great respect for language creators,

6 00:00:23,840 –> 00:00:27,040 especially ones that can get the language very popular.

7 00:00:27,040 –> 00:00:29,920 Also, as you guys have probably heard in different episodes,

一般来说，英文的音频使用 small 模型就有够了，但是如果是中文，最好用最大的模型。