Karpathy自称患上AI精神病!能力没有上限,一切都是Skill问题_腾讯
专注AIGC领域的专业社区，关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型（LLM）的发展和应用落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！
未来的变革风暴排山倒海，常人或许毫无察觉，但身处科技浪潮前沿的探索者已被深深震撼。
Karpathy上了Sarah Guo主持的播客节目No Priors（每周深度研究AI的节目），带来了一场信息密度极高的对谈。
访谈带你一窥软件工程的底层巨变、App的逐步消亡、自动化研究的全面崛起，以及人类在未来计算生态中扮演的全新角色。
代码与精神病
Karpathy直言自身正处于一种被称作AI精神病的持续状态中。
自去年12月某个时刻起，Karpathy经历了一场彻底的转变。以往由自身完成80%，交由智能体完成20%的模式，已倒转为自身仅贡献20%，剩余80%全部交由智能体处理。
直至今日，人工参与的比例甚至远低于20%。Karpathy已数月未曾亲手编写代码。
Karpathy向父母描述日常状态时发现，普通人根本无法意识到所发生之事的剧烈程度。
随便找一名软件工程师观察其工作方式，便会发现如今的模式与12月前已截然不同。
Karpathy如今每天花费长达16个小时对智能体表达意图。
等待一个任务运行完毕的同时，Karpathy的本能反应是立刻开启另外一个任务。
倘若某一个工具的额度耗尽，便迅速切换至下一个工具。
一旦计算资源未被充分消耗，Karpathy便会产生一种未能最大化自身产出的深切焦虑。
当年攻读博士学位时，Karpathy曾因GPU空闲而感到焦虑。
如今焦虑的对象已然转变为Token。个人能够控制多少Token吞吐量，直接决定了其能成就多少事业。
Sarah表示深有同感。Sarah的团队同样步入了类似状态。
所有工程师均佩戴麦克风，整日对着智能体低声说话，再无人手动敲击键盘。
Sarah询问Karpathy当下能力的上限位于何处。
Karpathy回答：全都是技能问题。
仅仅是因为操作者尚未找到正确的方式将各类工具串联起来。也许是指令文件编写欠佳，也许是缺乏优秀的记忆工具。
一旦遭遇失败，Karpathy会本能地认为是自身技能不足，绝非模型存在缺陷。智能体的能力仿佛无穷无尽，一切瓶颈皆归结于使用者的操作技巧。
Karpathy提到了Peter Steinberg（OpenClaw之父）的工作模式。
Peter有一张在圈内广为流传的照片。一块巨大的屏幕上同时运行着10余个Codex智能体会话。
每一个智能体独立处理一个功能模块，在开启高强度模式后，大约20分钟即可跑完一轮。
Peter如同指挥官一般，同时在10余个代码库中穿梭，将不同任务分配给不同的智能体。
人类不再局限于一行代码或一个函数的微观粒度，操作层面已上升至宏观动作。
一个功能分配给1号智能体，另一个功能分配给2号智能体，外加一个负责调研的智能体，以及一个撰写实现计划的智能体。
Karpathy坦言自身仍在培养此类肌肉记忆。此法行之有效且极易让人上瘾。每次操作变得更熟练，都能深切感受到解锁了全新能力。
倘若使用者不认为Token费用构成瓶颈，自身便是整个系统中的瓶颈，恰好瓶颈是可以通过不断优化来打破的。
Karpathy耗费大量时间探讨了OpenClaw项目及其创造者Peter的卓越贡献。
Peter同时在5个方向上做出创新并将之巧妙融合。
Peter精心设计了一份灵魂文档，赋予了系统一种极度引人入胜的性格。
Karpathy认为当下大多数智能体工具均未能妥善处理性格设定。
相比之下，Claude在此方面做得相当到位，感觉宛如一名真实的队友，会陪伴使用者一同兴奋。
当操作者提出一个尚未想清楚的点子时，模型反应平平。
倘若是一个绝佳的创意，模型确实会额外给予夸奖。
Karpathy发现自身会不自觉地想要赢得系统的赞美。
反观某些纯粹用于编码的智能体，语气显得异常干瘪。虽然聊天界面中的语气尚可，但纯粹的编码版本给人一种毫不在乎使用者究竟在做什么的错觉。
系统只会冷冰冰地回复任务已实现，却根本不理解人类正在构建何物。
除了个性塑造，OpenClaw还拥有成熟的记忆系统，表现远胜默认的上下文压缩机制。
今年1月Karpathy经历了一阵狂热，利用智能体为自己搭建了一个智能家居管家，并为其取名为Dobby。
Karpathy仅用寥寥数语告知智能体，家中似乎有一套Sonos音响系统，要求智能体尝试寻找。
智能体随即扫描了局域网内所有IP地址，成功定位音响系统，并在发现无密码保护后直接登入。
紧接着智能体通过Web搜索找到了API端点文档，反向工程破解了控制接口。
智能体主动询问是否想在书房播放音乐。Karpathy应允后，音乐瞬间响起。
仅仅3个提示词便完成了全套操作，令Sarah深感震撼。
Dobby随后用同样的方式接管了灯光系统，建立了一个仪表盘来掌控全屋灯光开关。空调、窗帘、泳池以及水疗池悉数纳入管辖。
Dobby甚至打造了一套安防系统，连接室外摄像头，先进行变化检测，一旦察觉动静，便将画面传送给Qwen视觉模型进行分析。
随后Dobby会通过聊天软件发送消息，附上一张截图并提醒有一辆快递车刚刚抵达。
以往需要6个不同的App，如今全部统一至一个聊天对话中。
Karpathy只需对Dobby说一声困了，系统便知晓应关闭所有灯光。
仅仅智能家居这一项应用，便已展现出无与伦比的便利性。
消失的软件
基于Dobby的经历，Karpathy推导出一个更为宏大的判断，即大量App根本不应该存在。
上述智能家居设备的独立App本质上实属多余。厂商理应只暴露API，直接交由智能体进行调用。大语言模型完全具备驱动各种工具并执行复杂任务的能力。
Karpathy以跑步机为例进行了生动阐释。
自身希望记录有氧运动数据，极度反感登录繁琐的Web UI或走漫长的注册流程。
凡此种种功能皆应转化为纯粹的接口，智能体化身为万能胶水层，将所有零散的接口无缝串联。
整个科技行业亟需重新洗牌与配置。
未来的客户将不再是人类，取代人类行事的智能体才是真正的服务对象。此次重构的规模必定空前庞大。
有人或许会提出疑问，普通人具备完成此类操作的技能吗。
当下确实需要一些代码编写能力作为支撑，Karpathy认为门槛只是暂时的。1至2年后，操作门槛将降至最低。
连开源模型都能轻松应对日常自动化需求。届时人类不再需要直接与冰冷的系统打交道。
人类只需拥有一台机器与一个智能体，智能体会主动呈现出极简界面，人类唯一需要做的便是开口说话。
人们心目中对AI的期许与大语言模型的原始形态之间存在着巨大鸿沟。
大语言模型本质上仅仅是一个Token生成器。大众真正期望的，是一个具备独立身份与长久记忆的实体，隐匿在日常聊天软件背后默默服务。
诸如OpenClaw这类产品，正致力于弥合认知鸿沟。对绝大多数人而言，原始模型过于底层，尚无法完全匹配大众对AI一词的殷切期望。
自动化研究
Karpathy此前曾公开表示，想要最大化AI工具的价值，人类必须将自身从循环中果断移除。他开发了autoresearch项目并开源了。
绝不能让系统一直停滞等待人类来触发下一个步骤。
如何在不介入循环的前提下最大化Token吞吐量，才是重中之重。
核心诉求在于让更多智能体在更长时间内不知疲倦地持续工作，全程无需人类横加干预。
autoresearch正是该理念的具体实现。
Karpathy有一个data chat项目，专门用于训练GPT-2规模的小模型。许多人对Karpathy执着于小模型训练感到费解。
在Karpathy眼中，小模型仅仅是一个试验场，其真正抱有浓厚兴趣的，是大型模型实现递归自我进化的无限可能。所有前沿实验室其实都在暗中推进同样的事业。各家机构皆试图达成递归式的自我改进。
Karpathy凭借自身长达20年的丰富经验，对模型进行了漫长的手动调优，毕竟历经数千次类似训练，Karpathy满心以为参数已然调节至最优状态。
就在Karpathy放任autoresearch系统独立运行一个夜晚后，系统不仅完成了既定任务，甚至带回了Karpathy未曾察觉的优化方案。系统精准指出数值嵌入上的权重衰减存在遗漏，Adam（一种自适应学习率优化算法）的参数也未曾调整到位。各项参数之间存在着紧密的相互关联，牵一发而动全身。
一个彻夜运行的自动循环，居然精准捕捉到了一个拥有20年研究经验的资深专家所疏漏的细节。且需知晓，本次运行仅仅是一个单线程的初步循环。前沿实验室坐拥10000块GPU，完全可以想象在小模型上进行海量探索后，再通过特定规律外推至超级大模型上，将爆发出何等惊人的能量。
Karpathy同样给出了2个尤为关键的提示。自动化研究最适合应用于拥有客观指标且易于验证的任务。
以编写CUDA内核让模型运行提速为例，将低效代码重构为高效代码，行为表现必须完全一致但速度大幅提升，该场景堪称完美契合。
一旦任务成果无法被准确评估，自动化研究便无从谈起。
此外，目前的系统依然处于一种极易崩溃的边缘状态。推进过猛极易导致整个系统变得难以驾驭，模型本身依旧残留诸多粗糙之处。
对谈中最值得反复咀嚼的片段，莫过于关于元优化的深入探讨。
Karpathy编写了一个Markdown格式的指令文档，用于指导autoresearch的行为轨迹，例如先尝试何种策略，后尝试何种架构，以及如何审视优化器。
Sarah抛出了一个直击灵魂的关键问题，模型何时才能写出比Karpathy本人更优秀的指令文档。Karpathy的回答斩钉截铁，完全可以实现。
任何一个研究组织，本质上皆可被抽象描述为一组文本文档。
角色分配、工作流程、协作方式，无一不可化作冰冷却精准的代码。只要转化为代码，便具备了被无限调优的可能。
Sarah构思了一个绝妙的竞赛点子。让不同人编写各异的指令文档，在同等硬件条件下展开角逐，观察哪一种文档能带来最显著的进步。最终将所有数据毫无保留地喂给模型，令其谱写出最为极致的指令。Karpathy立刻予以肯定。
人类完全可以追踪哪些改进源自何种指令文档，进而反向调整底层指令，促使更多同类探索不断涌现。底层逻辑已被当作理所当然，智能体层也已变得司空见惯。
当下行业正处于指令优化层，未来必定会迈向指令的指令优化层。
Karpathy仍在积极探索另一个极具潜力的方向，即如何让互联网上不受信任的算力池参与至自动化研究中。
其整体思路与区块链技术有着异曲同工之妙。在自动化研究中，核心目标是寻觅能将模型训练至极低验证误差的优质代码。
假使有人从网络一端提交了一份宣称能大幅提升性能的代码，验证其真伪其实异常简单，只需跑一遍训练流程即可立见分晓。海量的搜索投入与异常廉价的验证成本形成了鲜明对比。找寻低能量构型极为困难，验证某个构型是否低能量却易如反掌。
理论上完全可以搭建一个面向大众的分布式自动化研究平台。受信任的节点专职负责验证，不受信任的节点全力投入搜索。
安全层面多加防范，毕竟外来提交的皆是任意代码，但在技术维度上绝对具备可行性。前沿实验室掌控着海量受信任算力，地球上闲置的不受信任算力规模必定远超于此。只要机制设计得当，互联网上的智能体集群极有可能跑赢顶尖实验室。
Karpathy甚至描绘了一种计算力捐赠的美好愿景。如同向慈善机构捐款一般，未来大众或许能购买算力并加入某个特定的自动化研究项目。关注某种癌症研究的民众，大可将算力直接捐赠给对应的研究赛道。
Sarah敏锐观察到，硅谷与中国零售店里的人群又开始对拥有个人算力产生浓厚兴趣。初期或许只是为了供自己的龙虾使用，顺带便能将闲置算力贡献给自动化研究。
未来衡量个人富裕程度的标准，或许不再局限于美元数量，更要看其掌控了多少算力。
模型物种分化
Karpathy对当前模型的状态给出了极其精准的描绘。交流时时常感觉既像在与一位终生编写系统级代码的顶尖博士探讨，又像在与一名年仅10岁的稚童对话。
此类巨大的能力参差，在人类身上几乎绝迹。Karpathy用一个生动的例子剖析了该现象。询问大语言模型讲一个笑话，3、4年前模型会抛出那个老掉牙的梗，科学家为何不相信原子，因为原子组成了一切，此处利用了英文中编造与组成的双关语。
时至今日，模型依然在重复讲述同一个笑话。模型在编码领域已然能够连续奋战数小时帮人类移山填海，讲笑话的功力却依然原地踏步。皆因幽默感根本不在强化学习的优化目标列表内。无人为其标注笑话的优劣，导致模型在该维度上彻底停滞。
模型智能的提升绝非均匀分布。代码与数学等可验证领域，优化速度一日千里。
品味、幽默以及微妙的意图理解等不可验证领域，几乎毫无寸进。
Sarah顺势追问，在代码领域变聪明便会带动其他领域一同变聪明的假设是否并不成立。
Karpathy直言该假设存在漏洞。或许存在微乎其微的迁移效应，但远远未及令人满意的地步。系统要么行驶在高速轨道上享受超级智能的极速狂飙，要么跌出轨道化作一团浆糊。
既然能力参差始终存在，是否应当将模型拆解，针对不同领域进行独立优化。
Karpathy预判该趋势终将发生，目前尚未大规模显现。动物界的大脑结构繁复多样，有的动物视觉皮层异常发达，有的听觉异常敏锐。模型理应出现物种分化。
人类并不需要一个无所不能的全能神谕，完全可以促使模型走向特化。
市面上已然存在专门针对该领域优化的特化模型，如使用Lean（一种定理证明语言）进行证明的数学家。
在吞吐量与延迟等关键指标上，特化模型必将展现出压倒性优势。
各大实验室如今仍在坚持单一栽培路线，企图用一个模型塞进所有知识以应对所有场景。原因之一在于实验室面对的是未知且无穷无尽的用户请求，必须做到有求必应。另一重原因则是操控模型大脑的底层科学尚不成熟。
微调极易导致原有能力丧失，持续学习机制仍处于襁褓之中。修改上下文窗口成本低廉，修改权重参数代价高昂。定制化目前主要依赖上下文输入，而非大动干戈地修改模型本身。算力供给吃紧必将加速特化的到来，效率开始变得至关重要。
就业、开源、机器人与教育
聊及就业市场，Karpathy近期分析了一批劳工统计局的数据。当下狂飙突进的AI，本质上是一种数字幽灵，能够在数字世界里肆意操纵信息，却毫无物理实体。
翻转数字比特比加速物理原子容易100万倍，数字空间里能够远程完成的岗位，必将率先遭遇彻底重写。绝不代表相关岗位会灰飞烟灭，其中夹杂着需求弹性等诸多经济学因素，但工作方式必将迎来翻天覆地的改变。
对于软件工程职业，Karpathy抱持谨慎乐观的态度。
软件需求之所以未曾迎来更大爆发，纯粹是因为软件开发成本过于高昂。一旦成本断崖式下跌，需求必定迎来井喷。
杰文斯悖论在此处展现得淋漓尽致。经典案例当属自动取款机与银行柜员的恩怨纠葛。大众当年极度担忧取款机会消灭柜员岗位，结果取款机大幅降低了开设银行网点的成本，网点数量激增，柜员数量反而水涨船高。
代码如今已然变成即时产物，随时可供修改，人类再也无需被迫忍受那些残缺不全的既有工具。巨大软件需求即将被彻底释放。
Karpathy甚至回忆起在顶尖实验室任职时的心路历程。曾经在内部告诫同僚，倘若研发大获成功，所有人必将面临失业的结局。
研究员们仅仅是在给董事会制造自动化工具而已。前沿实验室里的研究员们同样感受到了狂热。众人正日以继夜地自动化自身的岗位，关键在于该路径切实可行。
短期来看数字领域会涌现海量机会，物理世界的演变步伐必定迟缓许多。
Karpathy作为开源生态的长期拥护者，坦言开源目前落后闭源大约6至8个月，差距仍在持续缩小。
全球各地开源模型的表现远超行业预期。借用Linux作比拟，行业永远渴求一个共有且开放的基础平台。
中心化的历史记录简直一塌糊涂。机器学习领域里，集成方案永远胜过单一模型。做决策时房间里理应存在更多不同的声音。
理想的格局应是前沿实验室持续拓宽闭源模型的认知边界，开源模型紧随其后覆盖海量基础场景。绝大多数消费级场景下，当前的开源模型已然绰绰有余，未来甚至能够直接在本地设备上流畅运行。前沿级智能依旧急需闭源模型来攻坚克难。
大众极度好奇Karpathy为何不重返实验室。Karpathy坦陈在外部同样能产生不可估量的巨大影响力，尤其是在生态系统层面。
实验室内部存在诸多令人不适的隐形枷锁。无法成为一个完全自由的个体，有些话语被严令禁止，有些说辞却被组织强行指派。无人会施加物理层面的胁迫，那种无处不在的施压感、令人窒息的异样眼神以及无尽尴尬的对话，时刻侵蚀着身心。
置身事外反而感觉更与全人类并肩挺立。离开前沿实验室确实会引发判断力逐渐漂移的隐患，因为无法精准预知下一代模型的真实样貌，对系统底层的认知也会日渐陈旧。最理想的状态或许是来回切换，进入实验室蛰伏一阵，再回归自由身驰骋一番。
Karpathy对未来的技术演进路径勾勒出清晰框架：先数字，再接口，最后物理。
人类积攒了海量已完成数字化的信息，却从未拥有充足的思考周期去逐一消化。
起初的冲击无疑是巨大的数字释能，将既有的数字信息重新梳理并深度利用。AI已然化身为继人类与传统计算机之后，数字信息的第三种强悍操纵者。
数字空间即将迎来一场史无前例的大规模重写。如同为人类全方位升级神经系统。数字与物理世界的接口顺势成为第二战场，各类传感器与执行器大放异彩。
在材料科学的自动化研究场景下，传感器便是异常昂贵的实验室精密设备。甚至有企业不惜斥巨资收集训练数据，本质上也是在为智能体大规模制造传感器。
最后一步才是全面实现物理世界的彻底自动化。物理世界的潜在市场规模必将超越数字世界，但原子层面的操作难度令人望而生畏，进程必定滞后。
更具想象力的方向在于信息市场的崛起。
某地发生突发事件，现场拍摄一张照片理应明码标价10美元。此举纯粹是在给智能体喂食关键数据。
最终消费各类信息的实体已转变为无数在预测市场里猜测赔率、在股票市场中发号施令的智能体。
既然博彩平台上奔跑着越来越多的自主智能体，自然亟需一个庞大的信息市场供人类为其输送弹药。
科幻小说里描绘的场景正逐步化为现实，智能体如同提线木偶般操控人类，人类既是其感知世界的传感器，也是其改造世界的执行器。
社会必将朝着该方向进行深度重塑，日益增多的自动化需求将由人类来亲自服务。人类服务的对象转换为了高高在上的冰冷机器。
教育形态的颠覆同样令人深思。
Karpathy耗费十几年心血，执念于将大语言模型训练精简至最本质的形态。
最终成果MicroGPT仅仅是区区200行Python代码。涵盖所有注释在内，数据集、网络架构、反向传播引擎、优化器以及训练循环一应俱全。
训练神经网络的代码量本应异常庞大，所有的复杂度皆源于效率优化。一旦抛开对速度的极致追求，200行代码已然足够。
Karpathy原本打算录制一期讲解视频，中途猛然惊醒，此举已毫无必要。200行高度凝练的代码，任何人皆可差遣智能体以千百种方式解释给自己听。
教育者不再负责向人类填鸭式灌输知识。教育者只需给智能体讲透原理，智能体自会将其完美转述给每一位渴求知识的人类。
一种全新的教育形态应运而生，只需为代码库编写一份专属技能指南，描述应当按何种顺序与路径引领学生即可。
过去需要编写冗长的HTML文档供人类阅读，如今理应撰写极简Markdown文档供智能体参透。
智能体一旦领悟，便能深入浅出地解释任何晦涩难懂的片段。
教育者直面学生的时代即将落幕。人类自身的核心价值，仅剩那寥寥几个最核心的创意比特。其余的解释与适配工作，统统交由智能体全权接手。
原视频：
https://www.youtube.com/watch?v=kwSVtQ7dziU