凯发k8国际官网LexFridman五小时播客实录：中美AI|破了语文课代表的那
在这个对谈中，Lex Fridman 与半导体分析专家 Dylan Patel（SemiAnalysis 创始人）和人工智能研究科学家 Nathan Lambert（艾伦人工智能研究所）展开对话，深入探讨 DeepSeek AI 及其开源模型 V3 和 R1，以及由此引发的 AI 发展地缘政治竞争，特别是中美在 AI 芯片和技术出口管制领域的博弈。
麻省理工学院人工智能研究员，播客《Lex Fridman Podcast》主持人，专注于深度学习和自动驾驶研究。
SemiAnalysis 创始人，专注于半导体、GPU、CPU 和通用 AI 硬件研究分析。
艾伦人工智能研究所研究科学家，AI 博客 Interconnects 博主。
我做了一个全文翻译，非常值得一读。但这篇翻译超 10 万字，超出了公众号文章的最大长度，所以我把它做成了一份 PDF，公众号里回复
在对话开始时，Lex Fridman 简要评价了 OpenAI 新发布的 o3-mini 推理模型，认为其性能与 DeepSeek-R1
相似，但 R1 模型具备思维链推理能力和开源特性，而 o3-mini 则不具备。Lex 认为，DeepSeek 的出现是 AI 发展史上的一个重要时刻，具有
DeepSeek 公司推出的开源混合专家 Transformer 语言模型，属于指令模型，类似于 ChatGPT。
DeepSeek 推出的推理模型，与 V3 在训练步骤上有很多重叠，但采用了全新的推理训练方法。
模型通过预测海量互联网文本数据中的下一个 token，学习语言的通用规律，得到基础模型。
在预训练模型基础上，进行指令微调、偏好微调（RLHF）和强化微调等，使模型具备更符合人类期望的行为。
应用于推理模型，通过强化学习技术提升模型在可验证领域的性能，例如数学和编程破了语文课代表的那层膜。
快速生成 token，输出类似 Reddit 或 Stack Overflow 的高质量答案。
先输出思维链过程，解释和分解问题，再给出最终答案，允许用户看到模型推理过程。
模型中不同的部分被激活处理不同任务，降低训练和推理成本。DeepSeek 模型参数量巨大 （超 6000 亿），但每次只激活一部分参数 （约 370 亿）。
DeepSeek 发明的新技术，用于减少推理过程中的内存占用，提高效率。
DeepSeek 深入 CUDA 层以下进行 GPU 优化，提高 GPU 利用效率。
主要应用于 Transformer 架构中的前馈神经网络模块，显著提高参数利用率。
采用极高的稀疏因子，从 256 个专家中激活 8 个，提高了效率和复杂性，但也增加了负载均衡和通信调度的挑战。
MoE 模型中常用的一种机制，用于平衡各个专家的使用率。DeepSeek MoE 可能改进了路由机制，摆脱了辅助损失。
在深度学习领域，最终胜出的方法是具有可扩展性的学习和搜索方法，避免引入过多的人为先验知识。
后训练领域可能会迎来更多突破，低级别优化和高级算法层面都至关重要。DeepSeek 的创新是技术突破，也可能预示着未来发展的大方向。
在进行大规模训练前，进行大量实验和消融研究，然后 All-in，进行大规模训练。2025 年可能是 YOLO 运行之年破了语文课代表的那层膜，各实验室都在全力冲刺。
DeepSeek 的母公司 High-Flyer 是一家对冲基金，长期从事量化交易，拥有大量 GPU 资源。
2021 年宣称拥有 10,000 个 A100 GPU，用于量化交易模型和自然语言处理任务。
SemiAnalysis 估计 DeepSeek 实际拥有的 GPU 数量可能接近 50,000 个，用于多种任务。
论文公开只使用了 2,000 个 H800 GPU 进行 V3 模型的预训练。
DeepSeek 的计算资源在全球范围内名列前茅，仅次于 OpenAI、Anthropic 等少数公司，但规模仍小于 Meta （约 6-10 万 H100 等效 GPU）。
为中国市场定制的 H100 版，FLOPS 性能与 H100 相当，但互连带宽降低，后被禁止出口。
H800 被禁后，Nvidia 推出新款芯片，仅在 FLOPS 方面有所削减，但互连带宽保持不变，甚至在内存带宽和容量方面有所提升，目前允许对中国出口。
减缓中国 AI 技术发展速度，限制中国获得构建 AGI 所需的大规模训练运行所需的计算资源规模和密度，限制中国 AI 应用的普及程度，而非完全阻止中国 AI 技术发展。
可能限制中国 AI 应用的普及程度，但无法完全阻止中国训练先进 AI 模型。DeepSeek V3 证明即使在有限的 GPU 资源下，中国团队仍能在 AI 前沿领域取得突破。
美国希望保持计算资源差距，以确保在 AI 领域保持领先优势。出口管制策略旨在保持技术差距，限制中国 AI 应用的普及程度，最终影响经济效益、军事能力和生产力提升。
R1 和 o1 等推理模型的出现，大幅提升推理在复杂任务中的重要性，加大对计算资源的需求。
OpenAI o3 解决 ARC-AGI 任务，每个问题计算成本约为 5-20 美元。大规模推理服务需要部署大量 GPU。
即使中国能获得一定数量的 GPU，但难以像美国公司那样拥有数十万甚至数百万 GPU 支持大规模推理服务。
某些 AGI 能力已实现，但大规模部署成本高昂，AGI 到来是一个渐进过程，可能在 2027-2028 年左右。
语言模型本身就是一种 AGI，但 AI 公司的目标是更具自主性的 AI，能够独立完成任务。
Dario 认为的超级人工智能，一旦掌握，就能对其他国家构成重大军事和地缘政治优势的技术。
达里奥担心中国可能比美国更快地将 AGI 应用于军事领域，尤其是在无人机等非对称武器领域。
中国拥有强大的工业能力，可快速建设数据中心和电力基础设施，但芯片制造更专业。
出口管制旨在阻止中国获得尖端芯片，但如果时机把握错误，可能促使中国加大芯片自主研发力度，最终超越美国。
如果中国最高层决定 all-in AI 领域，可能比美国更快地建设大规模数据中心。出口管制旨在限制中国获得最先进的美国芯片，延缓其 AI 发展速度。
全球霸主或地区霸主的存在往往带来相对和平，但权力转移过程可能引发冲突。
研发中心集中在台湾新竹、俄勒冈州希尔斯伯勒和韩国平泽，易受地缘政治风险影响。
分化可能无法避免战争，全球霸主地位的维持可能带来相对和平，但多极化格局下，世界秩序面临挑战。
美国出口管制主要限制 FLOPS，H20 在 FLOPS 方面有所削减，但在内存和互连方面与 H100 相当甚至更优，更适合推理任务。
Nvidia 大幅削减 H20 产量预期，可能预感到 H20 将受到进一步限制。
注意力机制的关键组件，存储先前 token 的压缩表示，用于加速推理。
预填充可以并行处理，成本较低；输出 token 自回归生成，成本较高，且内存需求随序列长度增加而快速增长。
长上下文推理模型对内存需求巨大凯发k8国际官网，限制了批次大小和可服务用户数量，导致推理成本倍增。
DeepSeek GPU 资源有限，API 服务能力不足，可能无法大规模盈利。
DeepSeek 可能由母公司 High-Flyer 对冲基金补贴运营。
OpenAI 声称有证据表明 DeepSeek 使用其模型进行训练，可能违反服务条款。
使用互联网数据训练 AI 模型存在版权和伦理争议，OpenAI 的指控可能存在双重标准。
互联网上 OpenAI 输出内容泛滥，模型可能学习到相关信息，导致误判。
AI 数据中心电力消耗快速增长，可能占美国总用电量的 10% 甚至更高。
GPT-4 时代集群功耗 15-20 兆瓦，现在已达 150 兆瓦，未来 Stargate 项目将达 2.2 吉瓦。
埃隆·马斯克集群规模最大 （20 万 GPU），Meta、OpenAI 集群规模约 10 万 GPU。未来集群规模将达数十万甚至百万 GPU凯发k8国际官网。
DeepSeek R1 发布引发市场对 AI 模型成本降低的担忧，导致 NVIDIA 股价下跌，但长期来看，AI 发展对 NVIDIA 仍是利好。
NVIDIA 在 GPU 硬件和软件生态方面仍保持领先优势，短期内难以被撼动。
AMD GPU 硬件有竞争力，但软件生态落后，短期内难以挑战 NVIDIA。
Google TPU 性能强劲，但主要服务于 Google 内部业务，未对外销售，无法与 NVIDIA 竞争 GPU 市场。
Google、Meta、xAI/特斯拉、OpenAI、Anthropic 等 AI 公司都在积极参与 AGI 竞赛。
OpenAI 模型技术领先，商业化走在前列，但缺乏其他业务支撑，盈利模式单一，面临被 “商品化” 的风险。
拥有庞大用户群体和广告业务，可将 AI 技术应用于现有产品和服务，提升用户体验和盈利能力。
Google 拥有基础设施优势，xAI/特斯拉可将 AI 技术应用于机器人等领域。
未来可能有多家 AI 公司并存，不同公司在 AI 领域找到各自的定位和盈利模式。
AI 聊天机器人可能成为新的广告平台，通过自然对话植入广告，带来巨大商业价值。
AI 的真正价值在于任务自动化、AI 代理、机器人技术和计算机使用自动化等领域，而不仅仅是聊天应用和 API 服务。
聊天 （Level 1）、推理 （Level 2）、Agent （Level 3）。目前 AI 正处于 Level 2 向 Level 3 过渡阶段。
特定领域自动化任务（如网站导航、数据处理）、计算机使用自动化、机器人远程操作等。
研究人员已构建网站克隆环境用于 Agent 训练，未来有望逐步扩展到更开放的环境。
程序员将从代码编写者转变为 AI 系统主管和合作伙伴，更侧重于架构设计、调试和领域专业知识。
AI 技术可应用于工业工程、化工、机械等领域，提升各行业专家工程师的工作效率。
软件工程师需求增长曲线可能趋于平缓，但不会立刻失业，未来软件工程领域将迎来变革。
艾伦人工智能研究所发布的开源后训练方案，基于 Llama 模型，目标是创建完全开源且高性能的语言模型。
首个以开源权重和商业友好许可证发布的前沿模型，推动开源 AI 运动发展。
艾伦人工智能研究所推动的完全开源语言模型项目，目标是实现数据、代码、模型权重全开源。
探索开源 AI 的商业模式，建立围绕开源 AI 的生态系统凯发k8国际官网，可能成为未来 AI 发展的重要方向。
OpenAI 和 Oracle 合作建设的巨型数据中心，第一阶段电力容量 2.2 吉瓦，服务器成本 50-60 亿美元，总拥有成本 1000 亿美元。
预示着 AI 基础设施建设进入吉瓦时代，可能引发新一轮 AI 军备竞赛。
巨型数据中心建设将成为 AI 发展的关键驱动力，电力供应、散热冷却、高速互连等技术将持续创新。
据武汉市第八医院肥胖与代谢病诊疗中心医生介绍，其实，想减肥的人除了管住嘴迈开腿，还要学会科学称体重。大家可以在早上空腹和晚上9点分别称体重破了语文课代表的那层膜，如果晚上比早上重1斤左右，说明你的状态良好，第二天还会持续掉秤；如果重2斤以上，那你就要控制饮食了。
△总台现场直击丨弹劾案通过 尹锡悦成韩国第二位被罢免总统韩国4日上午就尹锡悦弹劾案做出宣判，8名宪法法官一致认为，尹锡悦严重违反了宪法和法律，并于当地时间11时22分宣布尹锡悦被罢免。
4月4日上午，韩国就尹锡悦弹劾案作出宣判，8名宪法法官一致认为，尹锡悦严重违反了宪法和法律，宣布尹锡悦被罢免。4月4日，在韩国首都首尔，韩国代理院长文炯培宣读尹锡悦弹劾案裁决书。
当地时间4月2日，美国总统特朗普在白宫宣布对贸易伙伴征收所谓的“对等关税”措施。其中，不断讨好美国“倚美谋独”的当局被狠狠打脸——台湾地区被加征32%关税。靴子落地，台湾民众怒斥：台积电白给了，武器白买了，结果还被美国征收32%高关税凯发k8国际官网。
喜茶被投诉“23元一杯奶茶30块冰”店员回应：冰多因为有青稞（九派新闻）#喜茶#冰块
“好房子”国家新标准来了，层高不低于3米、4层及以上要设置电梯，将于5月起正式施行。
18岁首战告捷！2025年跳水世界杯全红婵预赛第一晋级决赛凯发k8国际官网，要到签名照开心到搓手手
近年来，境外间谍情报机关处心积虑，发展运用本国在华人员，大肆开展间谍情报活动，持续窃取我国国家秘密，严重威胁我国国家安全。近日，国家安全机关经缜密侦查，成功摧毁菲律宾间谍情报机关在华布建的某情报网络，依法拘捕三名涉嫌在我国境内从事间谍活动的菲律宾籍人员。凯发k8娱真人k8凯发，AG凯发K8真人娱乐，AG凯发K8真人娱乐！凯发K8旗舰厅，
