机器学习:从例子中调整规则
传统程序常由人明确写出规则。机器学习则通过训练数据与优化过程调整模型参数,让模型在某类任务上表现更好。训练好的参数与之后输入的新数据一起决定输出。
学到了规律并不意味着永远正确。训练数据的范围、质量和偏差会影响结果,还需要在没有用于训练的例子上评估表现。
训练一个猫狗分类器时,不能只问它是否记住训练图片,还要看它能否处理没见过的新照片。
带走这一点 · 模型的能力需要在实际任务和新例子上检验。
神经网络:很多可调整的计算层
神经网络由多层可调整的数值计算组成,不是真的由生物神经元搭成。训练会调整其中参数,使输出更符合目标。不同网络结构适合不同任务。
“第一层看边缘,后一层看形状”可以帮助建立直觉,但不是所有网络都能对应到清晰的人类概念。理解到“通过多层变换处理输入”已经足够继续学习。
同一张图片经过多个计算阶段,最后输出不同类别的分数。分数是模型结果,不是不可质疑的事实。
带走这一点 · 把神经网络当作可训练的计算结构,而不是一个小人脑。
大语言模型:处理与生成 token
语言模型把文本转换为 token 序列,再根据上下文产生输出。token 可能是词、词的一部分或其他文本片段,不等同于固定一个汉字或一个英文单词。
模型通过训练获得语言与其他模式,后续还可以经过不同方式的调整。它并没有读到全部互联网,也不会因为文字像专家就保证每个事实正确。
同一个词在不同分词器里可能被拆得不同。判断一段材料能否放进上下文,不能只拿汉字数当作精确 token 数。
带走这一点 · 理解 token 是处理单位即可,精确计数要使用对应模型的工具。
你发送一句话后:推理和工具调用
使用模型生成结果的过程通常叫推理。应用收集你的输入和上下文,通过本地运行或网络接口调用模型,再把结果呈现给你。训练与每次回答时的推理不是同一个过程。
应用还可以为模型提供搜索、读取文件或执行程序等工具。工具执行结果被加入上下文,模型才能依据这些结果继续。是否能使用工具,取决于应用能力和授权,不仅取决于模型名称。
一个模型声称“我已经修改文件”,并不能代替文件差异。只有实际工具动作和可检查产物,才能证明修改发生过。
带走这一点 · 分清模型生成的说法与工具真正完成的动作。
上下文与幻觉:为什么会忘、为什么会编
模型一次能处理的上下文有限。应用可能截断、压缩或检索旧内容,因此长对话不等于所有细节始终原样可见。关键背景应当整理成简短、可更新的项目说明。
模型可能生成貌似合理却错误的内容,这通常称为幻觉。接入搜索和工具可以提供更多依据,但仍不能保证每次正确。重要结论要检查来源,代码要通过实际运行与测试。
对话早期说过“只保存在本地”,后来却得到一个云端方案。先检查关键约束是否仍在有效上下文里,而不是只重复“你忘了”。
带走这一点 · 关键约束明确提供,重要结果独立验证。
看看“上下文窗口”能装下什么
往一个有限容量的示意窗口里加入消息,观察旧信息被挤出,再把关键约束放进固定说明。
继续添加消息,观察最早的约束是否还看得见。
卡片不是实际 token。本实验用简化的先进先出机制;真实应用也可能压缩或检索上下文。
AI 很有把握地说“代码已经能运行”,你还没有看到执行记录。最合理的下一步是什么?
先选一个答案,再看解释。
为自己的清单写一份简短项目背景,让新对话也能接上。
先自己想,再按需打开提示。越往后,描述越完整,验收也越明确。
带着本章的背景去问 AI。拓展是选学,不影响继续阅读。
用练习题和考试解释训练与推理,说明这个比喻不适用的地方。
参考答案,可以改成你的版本
我正在从零学习计算机与 AI 编程。本章学过: AI:区分训练和使用模型时的推理;理解 token、上下文窗口与工具的关系;知道流畅回答为什么仍然需要验证 用练习题和考试解释训练与推理,说明这个比喻不适用的地方。 请先确认我的理解,一次解释一个小问题,用具体例子并说明比喻的局限。讲完问一道情境题,根据我的回答继续。区分事实、推测和不确定内容;推荐可操作的验证方式。如果涉及具体工具,先确认版本,不要编造功能和资料。
完成这一章
标记各节已读,完成原理实验和情境题后,即可记录本章完成。随时可以直接阅读下一章。
继续查阅原始资料
正文是入门解释;下面的官方资料供你继续核对和深入。
Google · Introduction to large language models