在第二句话中我们已经找不到那匹马了
Posted: Wed Jan 29, 2025 6:00 am
幸运的是，我们从知识库中知道马是一种动物。第三句话中的“它”是谁？为了稍后能够回答这些问题，必须保留上下文并将其从流程步骤传递到流程步骤（隐藏状态）。
我们的正文非常小。如果我们想要翻译整本书，转移的隐藏状态会随着每一步而增长，并且随着时间的推移变得不可预测。类似于人们根据信息与下一个过程的上下文的相关性在工作记忆和长期记忆中保存不同时间长度的信息，长短期记忆 (LTSM) 是作为一种 RNN 引入的。我们将仅传递给下一个进程的信息保持较短（隐藏状态），并将全局相关信息保持较长（单元状态）。但这也不是最佳的，并且可能会失败，尤其是对于长文本。在保持上下文的同时按顺序处理文本有缺点。即使通过 LTSM，我们设法只保留上下文中我们认为重要的内容，上下文也会变得更大，并且可能会丢失必要的信息。
为了解决这个问题，谷歌的开发者在 2017 年发表了一篇论文，题为“ Attention is all you need”。
注意——过程中缺失的元素。我们人类很少逐字阅读文本。我们密 居住者名单 切关注具体情况，并将注意力集中在当前相关的事情上。并非每个词都同样重要。有些是“飞过去”的。我们从不同的角度看待信息。由于工作记忆的限制，人类只能处理最大数量的信息块，而由于多视角关注，Transformer 的速度要快得多。这使得 Transformer 能够对每个单词的多种关系和细微差别进行编码。据 Google Brain 的阿希什·瓦斯瓦尼 (Ashish Vaswani) 称，变形金刚之所以如此命名，是因为“注意力网”太无聊了。生成人工智能体一方面尝试识别最重要的信息，另一方面提取尽可能多的上下文信息，以便能够通过适当的关联为我们提供最真实的结果。
既然我们对其工作原理有了肤浅的了解，我们就知道人类的过程是通过检索现有信息并将新的和现有的信息或模式块链接起来形成新的和潜在有用的关联（想法）。为了建立原始联系，信息不仅必须被检索，而且必须首先找到并放入明显的上下文中。
“马不吃黄瓜沙拉”是通过电话说出的第一句话。菲利普·雷斯 (Philipp Reis) 是黑森州的一名教师，他为他的学生制作了耳机的复制品。他成功了。同时，该设备可以利用电流在任何距离再现各种声音。为了证明所说的句子确实到达了另一端，并且没有被记住，他选择了奇怪的、自发说出的句子进行传输。但这句话并不那么好笑。
我们的正文非常小。如果我们想要翻译整本书，转移的隐藏状态会随着每一步而增长，并且随着时间的推移变得不可预测。类似于人们根据信息与下一个过程的上下文的相关性在工作记忆和长期记忆中保存不同时间长度的信息，长短期记忆 (LTSM) 是作为一种 RNN 引入的。我们将仅传递给下一个进程的信息保持较短（隐藏状态），并将全局相关信息保持较长（单元状态）。但这也不是最佳的，并且可能会失败，尤其是对于长文本。在保持上下文的同时按顺序处理文本有缺点。即使通过 LTSM，我们设法只保留上下文中我们认为重要的内容，上下文也会变得更大，并且可能会丢失必要的信息。
为了解决这个问题，谷歌的开发者在 2017 年发表了一篇论文，题为“ Attention is all you need”。
注意——过程中缺失的元素。我们人类很少逐字阅读文本。我们密 居住者名单 切关注具体情况，并将注意力集中在当前相关的事情上。并非每个词都同样重要。有些是“飞过去”的。我们从不同的角度看待信息。由于工作记忆的限制，人类只能处理最大数量的信息块，而由于多视角关注，Transformer 的速度要快得多。这使得 Transformer 能够对每个单词的多种关系和细微差别进行编码。据 Google Brain 的阿希什·瓦斯瓦尼 (Ashish Vaswani) 称，变形金刚之所以如此命名，是因为“注意力网”太无聊了。生成人工智能体一方面尝试识别最重要的信息，另一方面提取尽可能多的上下文信息，以便能够通过适当的关联为我们提供最真实的结果。
既然我们对其工作原理有了肤浅的了解，我们就知道人类的过程是通过检索现有信息并将新的和现有的信息或模式块链接起来形成新的和潜在有用的关联（想法）。为了建立原始联系，信息不仅必须被检索，而且必须首先找到并放入明显的上下文中。
“马不吃黄瓜沙拉”是通过电话说出的第一句话。菲利普·雷斯 (Philipp Reis) 是黑森州的一名教师，他为他的学生制作了耳机的复制品。他成功了。同时，该设备可以利用电流在任何距离再现各种声音。为了证明所说的句子确实到达了另一端，并且没有被记住，他选择了奇怪的、自发说出的句子进行传输。但这句话并不那么好笑。