Tag: Machine Learning

强化学习（Reinforcement Learning, RL）是一种让智能体/Agent通过与环境交互、试错学习来获得最优行为策略的机器学习方法。本文用一个简单的 Q-learning 迷宫示例，帮助你快速理解强化学习的基本原理。 强化学习入门：从试错中学习的艺术 Reinforcement Learning 101: The Art of Learning by Trial and Error 深度解析强化学习：Q-Learning算法详解 Deep Dive into Reinforcement Learning: Understanding the Q-Learning Algorithm 机器如何学会自己做决定？强化学习告诉你答案 How …

argmax：从未来推理现在 整个机器学习(最优化)，背后的根本数学原理是下面这个公式: arg_max_{x∈X} F(x) 它的含义是：在所有可能的输入 x ∈ X 中，找出让目标函数 F(x) 最大的那个 x。这个公式返回的是最优解 x，而不是最大值本身。 这个公式代表【从未来推理出现在的最佳选择】，因为所有的x有哪些，实际上是没办法穷尽的，以及F有哪些，是未来才知道的。代表一种完全信息视角。 这个和“传统”的数学递推公式是反过来的，传统的递推公式是，利用过去的推理未来的，例如斐波那契额数列 ，假设的是F(n-1)和F(n-2)我们已经知道，我们就可以推理F(n)（这也是动态规划算法的核心）。这个是【利用过去的信息推理未来的】。 因此，机器学习/最优化，本质是预测未来。实际上，arg_max 公式，如果用编程语言来表达，非常好理解： 这个思维方式代表的是“从未来反推现在”：F(x) 是未来某种评估函数，我们假设它存在，并试图找到现在该做什么（x）才能让它最大。 def arg_max(X, F): best_x = None best_score = float('-inf') …

2025年2月，Deepseek——一家来自中国杭州的人工智能实验室——开源了一个能够比肩ChatGPT的AI模型，而其训练成本远低于当前行业标准。这一突破引发了市场震动，尤其是对GPU需求的预期发生了剧烈变化。投资者一度认为，随着AI训练成本的下降，对高性能GPU的需求可能会减少，从而导致Nvidia的股价暴跌。然而，仅仅几周后，Nvidia的股价就强势反弹，重新回到高点。 这种市场反应看似矛盾，实则可以用Jevons悖论（Jevons Paradox）来解释。 什么是Jevons悖论？ Jevons悖论由19世纪英国经济学家William Stanley Jevons提出，最早是针对煤炭消耗的观察：当蒸汽机技术进步提高了燃煤效率后，人们原以为煤炭消耗会减少，结果却适得其反——因为更高的效率让煤炭的使用成本下降，从而促进了更多行业和领域采用蒸汽机，最终煤炭消耗总量大幅增长。 同样的逻辑适用于AI和GPU市场： 训练成本下降 → AI更易普及 Deepseek的成功证明了AI训练可以以更低的成本完成，这意味着更多企业、创业公司甚至个人研究者可以负担得起大规模AI模型的训练和部署。 AI需求激增 → GPU需求扩大 低成本AI的普及不会减少GPU的需求，反而会催生更多的AI应用场景。例如，更多企业可能会投入人工智能/AI研发，个人开发者也可能利用更廉价的算力进行实验，从而推动GPU（计算机图形加速卡）需求增长。 推理需求大增 → 继续依赖高端GPU 除了模型训练，模型推理（Inference）仍然需要大量算力，尤其是面对全球范围内激增的AI应用需求，云计算平台、企业数据中心等仍然需要大量高端GPU支持高效推理。 Nvidia股价为何回升？ 市场最初的恐慌源于对GPU需求减少的误判，但随着Deepseek的开源，人们很快意识到AI生态的整体扩张才是核心趋势： AI变得更便宜 → 更多公司加入AI赛道 → 算力需求总量上升 AI的推理需求飙升，尤其是企业级和消费级市场扩展 → …