早就知道深度学习领域有一个很厉害的人物Andrej Karpathy。上周看了他2小时的building micrograd的视频，惊为天人，学到的不是知识，我觉得更多是学习方式的inspiration。
学习是规划问题，而非努力问题。我认为micrograd视频里主要展现了有两点：
- 从第一性原理出发，只关注复杂系统的一阶项。
- 当抽象系统难以理解，可以尝试专注最小例子的局部推理。
第一点，通过100行代码的autograd来理解训练神经网络的反向传播算法，计算图，递归拓扑排序和梯度下降。而micrograd的本质就是pytorch这样的库，但剥离了效率优化模块。
第二点，传统学习bp的方法是在数学上写一堆损失函数对权重的微分方式，然后链式法则展开一堆矩阵乘法。但是micrograd里andrej用手算局部梯度推导来教学bp，我觉得这种用手算复杂系统里的某一环节的学习方式十分有意义。
通过此我也能窥探通过LLM作为学习导师的局限性在哪里。因为我在遇到Andrej之前，似乎LLM并没有给我指出这条道路。
一个普通人是否能通过LLM得到Andrej一样的导师？根据信息论来看，是不能的，至少是相当有难度的。形式化证明其实已经处处都是了，这里我就不抛砖引玉了。
提问者无法描述自己未曾见过的直觉。
语言模型的最小化交叉熵损失，对于提示词，它输出的每一个词，都是在概率分布中选取那个“条件概率最高”的路径。 因此语言模型为你选择的往往是空间内最短路径，而极大可能不是意图的理想路径。
就像是在大海中寻找某个藏有金矿的小岛，可是你该如何指挥AI到达那处岛屿？如果大部分坐标都指向垃圾堆，你该如何一步步找到最佳约束？假如你给的坐标太远，自我诊断能力匮乏，表达模糊，那更有可能偏离航向。
我们所面对的LLM是一个怪物一样的存在，其内部是一个高信息熵的混乱世界，难以理解。就像是LLM能找到莎士比亚的诗歌，和香农理论的关联，只是由于信息处于高维度，它无法用自然语言表达出来。我们如何控制这种混沌的存在？
我觉得知乎上酱紫君对LLM的形容特别有意思。原文通过信息论分析不懂计算机科学的人能否写出专家级的代码：
“LLM见证了无数的垃圾代码，蕴含了此世一切之恶，成了扭曲愿望的黑圣杯。 一个不懂计算机科学的麻瓜，就如同一个没有魔术回路的凡人，妄图触碰根源，许下自己的妄想。 圣杯给出的回应只会是蕴含无穷的信息熵的精神污染，把混乱的愿望放大千百万倍，最终得到一团蠕动的肉块，看似能运行，实则毫无意义。”
但对自学者来讲，尽管永远无法通过LLM得到Andrej一样的导师，但如果你没有90分的导师，那么60分的导师也总比30分的导师好了一倍。