<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>记忆 on 红旗下的蛋</title><link>https://blog.fallleaf.net/tags/%E8%AE%B0%E5%BF%86/</link><description>Recent content in 记忆 on 红旗下的蛋</description><generator>Hugo -- gohugo.io</generator><language>zh-cn</language><copyright>fallleaf</copyright><lastBuildDate>Fri, 13 Mar 2026 07:45:00 +0000</lastBuildDate><atom:link href="https://blog.fallleaf.net/tags/%E8%AE%B0%E5%BF%86/index.xml" rel="self" type="application/rss+xml"/><item><title>大模型也会"失忆"？用一部爱情电影讲清语言大模型的记忆机制</title><link>https://blog.fallleaf.net/p/why-llm-can-remember-you/</link><pubDate>Fri, 13 Mar 2026 07:45:00 +0000</pubDate><guid>https://blog.fallleaf.net/p/why-llm-can-remember-you/</guid><description>&lt;img src="https://blog.fallleaf.net/p/why-llm-can-remember-you/cover.webp" alt="Featured image of post 大模型也会"失忆"？用一部爱情电影讲清语言大模型的记忆机制" /&gt;&lt;p&gt;在电影《初恋 50 次》里，女主角露西因为一场车祸患上了一种罕见的记忆障碍：每天醒来，她的记忆都会自动重置回事故发生的那一天。昨天发生的事、认识过的人、甚至自己的婚姻，对她来说都会在睡眠之后全部消失。&lt;/p&gt;
&lt;p&gt;对露西来说，每一天都是&amp;quot;第一次&amp;quot;。&lt;/p&gt;
&lt;p&gt;为了让她能够继续生活，男主角亨利想出了一个办法。他每天都会让露西先看一段录像，录像里记录了她的真实生活：她已经结婚、正在旅行、身边的人是谁。看完录像后，她才能重新理解自己所处的世界，才能接着昨天的日子继续过。&lt;/p&gt;
&lt;p&gt;如果换一个角度看，这个设定其实很适合用来理解今天的大语言模型。&lt;/p&gt;
&lt;p&gt;很多人觉得 AI 聊天像是在和一个&amp;quot;记得你&amp;quot;的老朋友交流，但从技术结构上看，大模型其实更像电影里的露西——&lt;strong&gt;每一天的对话，都是从零开始。&lt;/strong&gt;&lt;/p&gt;
&lt;h2 id="每一次回复都是一次新的醒来"&gt;每一次回复，都是一次新的醒来
&lt;/h2&gt;&lt;p&gt;在很多人的直觉里，AI 聊天应该像人与人交流：说过的话会被记住，对话会逐渐积累背景，感情会随着时间加深。&lt;/p&gt;
&lt;p&gt;但大语言模型的工作方式并不是这样。&lt;/p&gt;
&lt;p&gt;这就好比露西每次醒来，大脑里并没有一个隐藏的笔记本在记录昨天。她只能根据眼前看到的景象，重新思考该怎么说话。模型也是如此，它没有隐藏的&amp;quot;后台状态&amp;quot;，每一次回答，都是看着你刚刚发给它的文字，现场重新思考出来的。&lt;/p&gt;
&lt;p&gt;对它来说，每一次请求都像是一次新的&amp;quot;唤醒&amp;quot;。如果系统不主动提供历史信息，模型其实并不知道之前发生过什么。所谓&amp;quot;记住上下文&amp;quot;，其实并不是模型真的记住了，而是有人帮它把昨天的事又重新讲了一遍。&lt;/p&gt;
&lt;h2 id="上下文窗口一盘有限长度的录像带"&gt;上下文窗口：一盘有限长度的录像带
&lt;/h2&gt;&lt;p&gt;为了让对话能够连续进行，系统通常会把之前的聊天记录一起发送给模型。这样模型在生成回答时，就可以重新读取这段历史内容，再继续往下推理。&lt;/p&gt;
&lt;p&gt;这就是所谓的 &lt;strong&gt;上下文窗口（Context Window）&lt;/strong&gt;。&lt;/p&gt;
&lt;p&gt;用电影里的情节来类比，这就像亨利为露西准备的那盘录像带：每天早晨，她通过观看录像，重新了解自己的生活，然后继续开始新的一天。&lt;/p&gt;
&lt;p&gt;不过，录像带的长度是有限的。&lt;/p&gt;
&lt;p&gt;大模型的上下文窗口也一样。目前常见的规模包括 8K、32K、128K tokens。虽然看起来已经能容纳相当长的文本，但依然存在上限。当对话内容超过这个容量时，系统就必须删除最早的一部分记录，为新的内容腾出空间。&lt;/p&gt;
&lt;p&gt;因此在特别长的对话中，模型有时会突然忘记最开始设定的规则或背景。并不是模型&amp;quot;糊涂了&amp;quot;，而是那部分信息已经像过期的录像带一样，离开了它的视野。&lt;/p&gt;
&lt;h2 id="系统提示词一直贴在墙上的纸条"&gt;系统提示词：一直贴在墙上的纸条
&lt;/h2&gt;&lt;p&gt;电影中还有一个细节：露西的家人会在家里的墙上和冰箱上贴很多提示纸条，写着她的重要信息，比如家人的名字、她当前的生活状态等。&lt;/p&gt;
&lt;p&gt;这些信息每天都会出现在她面前，不会因为记忆重置而消失。&lt;/p&gt;
&lt;p&gt;在 AI 系统中，也有类似的机制，叫做 &lt;strong&gt;System Prompt（系统提示词）&lt;/strong&gt;。这是开发者在对话开始时写入的一段固定指令，比如告诉模型&amp;quot;你是一个有帮助的助手&amp;quot;、&amp;ldquo;请用中文回答&amp;quot;或者&amp;quot;不要生成有害内容&amp;rdquo;。&lt;/p&gt;
&lt;p&gt;这些规则会在每一次请求中一起发送给模型，因此不会像普通对话那样被逐渐挤出上下文窗口。换句话说，它们相当于始终贴在模型&amp;quot;视野&amp;quot;里的提示纸条。很多 AI 产品表现出稳定的语气和行为，其实就来自这些系统提示。&lt;/p&gt;
&lt;h2 id="向量数据库一本可以随时翻阅的相册"&gt;向量数据库：一本可以随时翻阅的相册
&lt;/h2&gt;&lt;p&gt;随着生活内容越来越多，仅靠录像带显然不够。电影里，亨利后来开始整理露西的照片，把重要的经历分门别类地保存下来：旅行、家庭、朋友、工作。&lt;/p&gt;
&lt;p&gt;当露西问起某件事情时，他不需要让她重新看完整段录像，而是直接翻到对应的相册页。&lt;/p&gt;
&lt;p&gt;现代 AI 系统也采用了类似的方法。当需要保存大量信息时，系统通常会把数据转化为向量并存入向量数据库。当用户提出问题时，系统会先进行语义检索，从数据库中找到最相关的内容片段，再把这些信息发送给模型。&lt;/p&gt;
&lt;p&gt;这种架构被称为 &lt;strong&gt;RAG（检索增强生成）&lt;/strong&gt;。通过这种方式，模型不需要把所有知识都放在上下文里，却可以在需要的时候快速调用大量信息。它不用记住所有事，但知道去哪里找答案。&lt;/p&gt;
&lt;h2 id="模型参数刻在系统里的长期经验"&gt;模型参数：刻在系统里的&amp;quot;长期经验&amp;quot;
&lt;/h2&gt;&lt;p&gt;电影里有一个很有意思的细节：虽然露西每天都会失去新的记忆，但她依然保留着很多能力，比如画画、基本生活技能，以及对音乐的情绪反应。&lt;/p&gt;
&lt;p&gt;这些能力不是当天学习的，而是早已形成的习惯。&lt;/p&gt;
&lt;p&gt;大模型也有类似的部分。在预训练阶段，海量文本被压缩进了模型的参数权重里。语言规律、常识知识、代码结构等能力，都会体现在这些参数之中。这些内容并不属于对话记忆，而更像是模型的&amp;quot;长期经验&amp;quot;。无论开启多少次新对话，它们都会保持一致。&lt;/p&gt;
&lt;h2 id="看不见的亨利为什么有的-ai-更懂你"&gt;看不见的&amp;quot;亨利&amp;quot;：为什么有的 AI 更懂你
&lt;/h2&gt;&lt;p&gt;回到电影，露西之所以能过上看似正常的生活，并不是因为她病好了，而是因为亨利在背后做了大量工作。他不仅准备了录像带，还整理了相册，贴好了纸条，甚至记住了她所有的喜好。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;你在使用 AI 产品时感受到的&amp;quot;记性好&amp;quot;，其实是因为背后站着一个看不见的&amp;quot;亨利&amp;quot;。&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;不同的 AI 产品，区别就在于这个&amp;quot;亨利&amp;quot;做得够不够用心。&lt;/p&gt;
&lt;p&gt;有的产品只给了模型一盘录像带（上下文窗口），聊久了自然会忘；而有的产品则在幕后默默建了一座图书馆（向量数据库），哪怕对话再长，也能随时翻到以前的那一页。有的产品会细心地在冰箱上贴好你的偏好（系统提示词），而有的则让你每次都要重新自我介绍。&lt;/p&gt;
&lt;p&gt;模型本身只是那个每天失忆的&amp;quot;露西&amp;quot;，真正决定它是否懂你的，是背后那套记忆系统是否完整。当你觉得某个 AI 特别贴心时，其实是背后的工程师像亨利一样，替它记住了那些容易被遗忘的细节。&lt;/p&gt;
&lt;p&gt;所以，重要的不仅仅是模型有多聪明，而是谁在替它保管记忆。&lt;/p&gt;
&lt;h2 id="技术的温情即使失忆也想记住你"&gt;技术的温情：即使失忆，也想记住你
&lt;/h2&gt;&lt;p&gt;电影的结尾，露西虽然依然每天失忆，但在亨利构建的记忆系统帮助下，她过上了完整的人生。她不需要治愈，她只需要被记住。&lt;/p&gt;
&lt;p&gt;大模型的故事也是如此。&lt;/p&gt;
&lt;p&gt;本质上，它只是一个每次对话都会重置的数学模型。但通过上下文窗口、向量数据库、系统提示词以及不断进化的架构，工程师们为它搭建了一套复杂的&amp;quot;记忆外挂&amp;quot;。&lt;/p&gt;
&lt;p&gt;我们努力让它记住你的偏好，记住你们之前的约定，记住那些重要的细节。&lt;/p&gt;
&lt;p&gt;技术的作用或许就在于此：语言大模型尽管没有记忆，但通过系统设计：上下文窗口、向量检索、系统提示，我们让它拥有了可延续的记忆。每一次对话虽然都是“初次见面”，但因为这些设计，它能够调用过去的信息，让你感觉它记得你。如同亨利为露西搭建的那套生活系统，不是治愈了她，而是替她记住了该记住的事。就像亨利对露西做的承诺一样，大模型也在用另一种方式诉说：&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;即使我会失忆，我也会想办法，重新记住你。&lt;/p&gt;
&lt;/blockquote&gt;</description></item></channel></rss>