首页 / 第 3 章
🔄 训练 = 一个巨大的反馈回路
第 2 章讲了神经元"怎么算"，本章讲它"怎么学会算"。系统思维看训练，只有一句话：训练是一个自我修正的反馈回路——模型预测 → 对照答案算错多少（损失）→ 把错误反向传回每个旋钮（梯度）→ 拧旋钮 → 再预测……《系统之美》里所有的概念：存量、流量、反馈、延迟、杠杆点，在这一个回路里全部登场。看懂这张回路图，你就理解了 80% 的深度学习。
♻️
本学科心法：不要拆碎，要看结构
系统思维第一课：单个零件再明白，也解释不了系统行为。训练的本质不在任何一步里，而在"循环"本身——错误的信号如何转一圈回来修正自己。
3.1训练的闭环：一圈 = 一个 step
整个训练过程就是一个回路，转一圈处理一批数据，转几万圈，模型就学会了。
图 3-1 · 训练闭环。这是全站最重要的一张图。四个环节首尾相接：数据 → 预测 → 损失 → 梯度 → 更新参数 → 下一批数据。系统思维看它：这是一个负反馈回路——损失升高会驱动参数调整，把损失压回去，系统自己趋于稳定（学会）。
- 回路 vs 流水线：流水线是一去不回，回路是"结果反过来影响源头"。训练是回路，所以它是动态的、自修正的。
- 更新公式（唯一要记的公式）：
θ ← θ − η · ∇L——新参数 = 旧参数 减去 学习率 η × 梯度。η 就是下一步迈多大。 - 什么叫"学会了"：损失降到足够低且稳定——也就是回路转了很多圈之后，旋钮找到了"让错误很小"的组合。
3.2前向与反向：回路里的两条路
回路里其实有两条方向相反的路：前向负责"算答案"，反向负责"传错误"。像一条双向高速公路。
图 3-2 · 双向高速公路。前向是"从左到右算答案"，反向是"从右到左算责任"。反向传播（Backpropagation）是深度学习的发动机：它让几百万个旋钮都知道"自己该往哪边拧一点"。你不需要会算链式法则，只要知道"每一层都会收到一份'错误责任单'"。
- 反向传播 = 高效的"责任分配"：没有它，就得一个个旋钮试（天文数字）。有了它，一次反向就把所有旋钮的梯度全算出来。
- 深度学习框架替你算：PyTorch 里的
loss.backward()一行，就是整条反向高速公路。
3.3梯度下降：在损失地形上"下山"
把"损失"当成一座山的高度：参数不同，损失不同。训练 = 站在山上，永远朝"最陡的下坡方向"迈一步，直到走到山谷。
图 3-3 · 下山算法。梯度 = 损失上升最快的方向，那"反方向"就是下降最快的方向。每步：算梯度 → 反方向走 η 步。这就是梯度下降，深度学习的训练引擎。山里的坑坑洼洼（局部最优、鞍点）是优化困难的大头。
- 为什么叫"梯度下降"而不是"降到最低"？因为我们只有"脚下"的信息（局部梯度），没有整张地图（全局信息）。这是典型的"近视爬山"——但实践中足够好用。
- SGD 的"随机"：一次只拿一小批（batch）数据算梯度，方向带噪声。听起来是坏事，其实是好事：噪声帮模型"抖"出局部小坑（正则化效果）。
3.4杠杆点：学习率 η 的三种命运
《系统之美》说：找到杠杆点，事半功倍。训练里杠杆效应最强的单点就是学习率——它决定回路每圈"修正的幅度"。
图 3-4 · 学习率的三种命运。系统思维的杠杆点在这里非常具体：η 太小 → 慢；η 合适 → 稳；η 太大 → 震荡或发散。调参第一件事：把学习率调到"损失曲线平滑下降"为止。
3.5存量 / 流量视角：训练系统怎么"补货"
《系统之美》的另一副眼镜：把系统看成"水池（存量）"和"水管（流量）"。训练系统里什么在累积、什么在流动，一目了然。
图 3-5 · 存量流量 + 杠杆点。系统思维最后一击：先分清"哪个是池子、哪个是水管"，再问"拧哪个阀门收益最大"。答案是数据质量——喂更干净、更丰富的"水"，比换更大的模型省得多（第 4、5 章会反复印证）。
- 延迟也是系统概念：训练回路有延迟——改一个超参数，损失曲线可能几小时后才响应。系统思维提醒：别急着下结论，给系统反应时间。
- 负反馈 = 稳定：这个回路是负反馈（自纠错），所以训练通常"越转越稳"。如果你发现损失越转越高——回路坏了（通常是 η 太大或数据有问题）。
▶配合视频：损失函数与梯度下降动画
用动画把"地形 + 下山"再走一遍，视觉记忆比文字牢。
🎬 《线性回归、代价函数、损失函数》动画讲解 —— 看懂"损失"到底是什么
在 B 站打开 ↗
★本章小结
1
回路数据 → 前向 → 损失 → 反向 → 更新 → 下一批数据。负反馈自修正。
2
两条路前向算答案，反向传责任（链式法则）。框架一行 backward() 全搞定。
3
下山损失 = 地形，梯度 = 指南针，学习率 = 步长。目标：走到谷底。
4
杠杆学习率第一优先检查；数据质量是终极杠杆；注意回路延迟，别急着下结论。