https://niebelungen-d.github.io/tags/machine-learning/ Recent content in Machine Learning on Niebelungen's Hugo -- 0.148.0 en-us Sat, 06 Jun 2026 21:13:43 +0800 https://niebelungen-d.github.io/posts/translation-how-llms-actually-work/ Sat, 06 Jun 2026 21:13:43 +0800 https://niebelungen-d.github.io/posts/translation-how-llms-actually-work/ <p>原文：<a href="https://www.0xkato.xyz/how-llms-actually-work/">How LLMs Actually Work</a>，作者 0xkato，发布于 2026 年 6 月 1 日。本文为翻译。</p> <p>这篇文章会带你走一遍 LLM 是如何工作的。现代 LLM 基本上都是通过一层又一层堆叠 transformer block 构建出来的，所以只要理解 transformer 这套机制，就已经走完了大半段路。</p> <p>我会介绍现代基于 transformer 的 LLM 内部的核心机制，但不会塞进过多繁复的数学细节。别误会，你当然应该学习数学，但这篇文章可以作为一个入门。</p> <p>大多数现代 LLM 都共享同一套 transformer 家族的骨架。它们之间的差异来自训练数据、规模和配置选择，以及在基础模型之上做的后训练。读完之后，你应该能够阅读很多现代 LLM 论文或 model card，并知道每一节讨论的是架构里的哪一块。</p> <p>路径如下：</p> <ol> <li>Tokens：一串文本如何变成一串整数。</li> <li>Embeddings：这些整数如何获得意义。</li> <li>Positional encoding：模型如何知道 token 出现的顺序。</li> <li>Attention：token 之间如何共享信息。</li> <li>Multi-head attention：模型如何同时追踪多种关系。</li> <li>Feed-forward network：模型中很大一部分存储结构位于哪里。</li> <li>Residual stream 和 layer normalization：是什么让深层堆叠可以训练。</li> <li>Predicting the next token：模型实际输出什么，以及生成循环如何工作。</li> <li>Architecture vs trained weights：现代 LLM 中哪些东西大体共享，哪些东西彼此不同。</li> </ol> <p><figure class="align-center numbered-figure"> <img alt="Transformer pipeline" loading="lazy" src="https://niebelungen-d.github.io/images/how-llms-actually-work/transformer-pipeline.png" title="从 tokenization 到 next-token prediction 的 transformer 流水线"> <figcaption><p>从 tokenization 到 next-token prediction 的 transformer 流水线</p>