大模型解决不了英伟达的难题，AI新范式必将出现：专访安克创新CEO阳萌
Vložit
- čas přidán 9. 05. 2024
- 阳萌或许是我接触过的最懂技术的CEO：他是北大本科，但博士读了一半就跑了；他是百亿营收大厂安克创新的创始人兼CEO，也曾在谷歌做搜索算法的研发；他的公司主要做的是充电宝、扫地机器人这些消费类电子产品，但我们聊的是人工智能、芯片等等硬科技。
本集是我们交流的第一集，他帮我梳理了人工智能的过去、现在、以及未来的发展方向，我深受启发，相信肯定会对你有所帮助。下集，我们会讨论AI的落地、应用、以及为何阳萌和安克会对AI有这么深入的思考。关注我，下期见。
------------------------------------------------------------------------------------------------------------------------------------------------
关于我：
大家好，我是芯片工程师老石，欢迎关注我的频道“老石谈芯”。
欢迎订阅👉reurl.cc/8ob9Ej
敲响小铃铛🔔，可以第一时间收到我的频道动态。
我会持续带来更多专注于芯片的科普、硬核知识、以及偶尔极度硬核的技术分析与解读。我也会不断分享高效工作和学习的方法与技巧。更多内容，也欢迎关注我的微信公众号、微博。也欢迎加入我的知识星球，和我进一步交流。
🎵 我使用的音乐/BGM：go.shilicon.com/epidemicsound
📚 我写的书：go.shilicon.com/book
📝 个人网站：www.shilicon.com
📚 公众号：老石谈芯
🏮微博：老石谈芯的老石
🌍知识星球：老石谈芯 - 进阶版
#老石谈芯 #科技 - Věda a technologie
第二期在这里：czcams.com/video/d1dGmqovyaU/video.html 关注我，带你看更多内容
从分治法到端到端。从training/inference分开，到training/inference同步进行。居于上述两点，再谈到计算机架构的未来演变。我看到很多新颖同时非常合理的愿景。真的是让我醍醐灌顶的一集！
大厂很多模型都是可以做到所谓online training, training/inference几乎是同时的，做了很多年了。
@@b.a7859能展开讲一讲吗
實作上應該自然從分治法下 的端到端 而端對端內包含記憶單元實作
@@b.a7859 那个不一样
你可以把它当作一种看法，但这种taxonomy不是AI研究范式的主流，这样的理解相当于把我们想要AI解决的问题的维度oversimplify了。简单来说只要是问题就有divide & conquer，跟端到端不是一个取舍的关系，CoT就可以理解为大语言模型的divide & conquer。
长见识！这是近两年看到/听到的最精彩的AI讨论。
看到這個留言 才打算繼續看下去😂
果真有料
大开眼界！不光对计算机硬件和AI算法从过去到未来的发展有非常深刻的理解，还能以普通人能听懂的方式娓娓道来，对这位CEO肃然起敬了
虽然听不懂，但是好博学的样子
因为这些都是比较简单的，高端的他也不会。research前沿不follow new results 半年就跟不上了
有料的影片總是不知不覺就看完了
徹底把書念懂的人 真的很佩服
分治法觀念都講錯，叫做讀書都讀透？
@@JKD357大問題拆分成子問題，哪裡錯？
太棒了！ 期待下一期！
这期节目真的太棒了 受益颇丰 从分治法到端对端的解决问题的转变 以及未来AI发展的方向和仿生，和我对AI的思考不谋而合，并且大佬还提供了可能的发展思路！学习了很多新的想法！期待下期
The best talk about AI I heard this year. Very insightful!
我觉得我总体上面还是能听懂他说讲的概念的，我个人只对硬件层有研究，我觉得他硬件层很多讲的都是其实是有问题的如果严谨的看，虽然从某种角度上讲这可能并不影响他的结论。但是知识跨度广专业性深这类的科普确实难做，感谢老石这期视频。
视频做的真好，感谢！
与很多“对未来ai发展的期待”之类访谈相比，这位真的是大师，把从硬件到算法到解决问题的底层逻辑融会贯通。和这种牛人交换观点总能让人耳目一新
非常啟發，感謝！
謝謝分享！好影片真的不知不覺就看完了
精彩!!!由淺入深,期待下一期
精彩！图片做的也很用心！
真的是很有洞见，很有启发，感谢分享
第一次观看你的视频就收获了满满的惊喜！很喜欢这期视频中理性又有趣的交流氛围！感谢！期待更新！
很棒的内容！阳博士思路与表达非常清晰，将智能计算趋势用浅显易懂的方式让非专业的我们理解。我非常期待下期的访谈。
这一期讲的非常好，冯若依曼到端到端，再到存算训一体的概念，浅而易显的讲出来发展的趋势。也为做大模型应用和创新提供的了思路。
這集訪談的品質真的很高, 大推!!
太精彩了，二刷，感谢
对大多数博士最有价值的是两三年的高强度独立研究训练，那种学习思考和解决问题的能力，博士最好用最短时间做完，四年比较理想，超过五年就不值了
it's really opened my mind in the way of thinking in AI
哇！長知識了！真是精彩
非常精彩的讨论，很有启发！
Computing and memory occur in the same place seems logical to save energy and time, especially when the data is from a distributed environment linked by a network. Great insights! Bravo!
非常棒！大佬能开一期讲存内计算的不？
精彩！
真的是很第一性原理的思考，感謝分享~
好久没看到这么高质量的AI采访了，赞！
超级有启发性！！感谢！
感谢支持！
厉害！非常精彩，谢谢分享！
感謝分享！
耳目一新的一期节目，非常感谢
不错，这个讨论很有意思
谢谢，非常有启发性！另外可以帮我问问MAMBA是他理想中的存算一体的机器学习架构吗❤
我也完全认可，数据一直在那里，很多算法其实也一直存在，只有硬件的发展才能将你的想法变为现实
非常有深度的内容。分治法是逻辑推理(离散数学)。端到端是解析和统计(连续)。线性规划用分治法是NP-Complete问题，而用解析法就是P问题。今天的AI是建立在数字信号(离散)处理之上的，而人脑是建立在模拟信号(连续)上的。等到AI有效建立起数字信号和模拟信号的桥梁，才会看到AI大爆发的那一天。从泛函的角度来看，神经网络是否与傅立叶变换，泰勒级数一样，具有普遍适用性？神经网络是否有对应的有限算法，就象有限傅立叶变换相对于傅立叶变换一样。有限傅立叶变换，是今天图像处理实用性的关键之一。图像处理又是AI的关键。真正的瞎猫撞上了死耗子。
聽不懂 但點讚
就如同我不知道存算一體是什麼
但絕對很棒的idea
可以回到影像辨識貓狗 聲音的意義去討論
是不是反过来才对？
The general class of questions that some algorithm can answer in polynomial time is "P" or "class P". For some questions, there is no known way to find an answer quickly, but if provided with an answer, it can be verified quickly. The class of questions where an answer can be verified in polynomial time is NP, standing for "nondeterministic polynomial time".
二位先生！謝謝！聽得懂！
非常有深度的talk。最近也在接触neuromorphic computing。感觉上还是一个很有前景的领域不过目前生态还没有。不知道在crazy on GPU的时代这一脉怎么生存下去
非常高屋建瓴的看法，感觉会是很有趣的路径
有意思，谢谢分享
谢谢您们的分享，有用！
感谢分享，这真的是未来，如果 5 年后 10 年后再看这个视频，不知道会是怎么样的想法。
我觉得算法层面的发展也同样重要。我们人脑中是不会做gradient decent或者backpropagation的，所以把人脑中真实进行中的运算数学化并模拟出来非常有意义。
很棒的對談，關於分治法跟端到端我還滿有體驗的，分治法最大的問題在於試圖幫一個相對未知的領域定義個規則，所以透過這個規則就可以為之使用。簡單來說，我定義一個數學方程式，然後期待輸入的數據後都能符合期待的答案。當然，如果有個已知的曲線，那透過趨近法總能得到接近的方程式，但是這個方法的關鍵是已知曲線，如果曲線很複雜，如語言模型，或是僅獲取部分曲線的數據，那分治法就很難適用。比較以前的谷歌翻譯跟ChatGPT翻譯就可以很明顯看出區別。
求下集!
看完这期视频 推荐可以再听下 Geoffrey Hinton - Two Paths to Intelligence 的这个演讲，提供了对计算，编程和计算设备一种新的认识，和这个视频还挺相关的。
嶄新的想法
根據歷史推演有脈絡的推測
有價值的訪談
博主老石老师专业背景主持了生动的一课，每位研究AI的年轻人都应该好好研读每一句对话。对那些埋头只专研一方面的研究员犹如暮鼓晨钟，要看清前进的方向。❤❤❤
我在2010年左右时，就知道IBM和HP在实验室都已经研究存算一体技术十多年了，每年都在更新延续研发项目计划，拿到几百万到几亿的研发投资，按照当时的预估，这项技术大概在2018到2020年左右就可以实际量产了，可是到现在也没有什么突破，不知道遇到了那些瓶颈。
瓶颈？ 因为他们是使用字母表音文字的低阶文明。
他们根本无法理解 一幅“飞流直下三千尺，疑是银河落九天”的字画。
就像二维文明无法理解三维文明一样
所以，信息传递的效率不一样
他们bb大半天，我一个汉字就给他表述明白
確實是, 這等於是從硬件到算法的全部推倒從新發展, 太遙遠了
存算一体，学术界重点是 新材料新器件，这还是很难突破的。
传统冯诺依曼架构里 靠近计算的sram(常见的cache)很难做大(一般就是kb 大的就mb)，而现在llm 需要的内存量 是 GB级 TB级。
现在ai芯片内存设计的方式是 很多个core，每个core是 计算单元+sram(kb mb级别)+简单的控制单元），然后 几百个core在连接 GB级别的HBM，就是相当于 core内sram和 core外的hbm构成 二级 or三级缓存结构。
本质上是 缺乏新的适用于存内计算的存储器件，所以 内存只能用sram+hbm，同时 加大带宽吞吐量。
你个栽麦子，还知道这些？这与我种田有什么关系吗？
這種影片是很棒的學習模式，製作很精良
感觉存算一体就是将大模式的特定的参数集（数据）和通用的transformer计算方法（程序），直接转化为可微调烧写的专用硬件？这样就不存在程序结合参数和系数进行组合计算了，而是直接运算出来。
清晰、精炼！深刻！
讲的太好了，给我很多启发
相當精彩
感谢分享
两个人都很专业
思路特别清晰 厉害了
高性能计算很多时候瓶颈就在于数据传输上，大量算力花费在矩阵运算上面。现在有个方向是用模拟电路去做矩阵算法，据说会大规模降低功耗
从分治法和端到端的角度看架构问题，强
內容很精彩概念很明確
功耗改善，還看時間上工藝發展
这让我想到了不久前看到的一篇报道，国内一研究团队研发/改善了一种计算结构。该结构没有cache，没有计算单元，只有memory。所有计算都在memory里完成。好处就是，它不用频繁调动数据。节能，高效
Great talk!
分治法是人类大脑总结的部分数据的系数表达，人类设计小函数的过程就是确定函数系数和次方的过程，次方也是缩减系数的过程。深度学习是用多维一次函数和多个隐层来表达高次函数和多个分治集合的过程。未来的深度学习不仅是通过net来训练model系数，还会自己调整net，不再需要人类设计net。
讲的很好啊， 尤其是动态优化模型这个部分，确实非常好，一边学习，一边进化
两位聪明家伙的对话，赞一个！！！
像在看一部推理严密的科幻小说，非常精彩！
动态学习可以用已知概率和正在发生的事件来预估未来概率分布， 再用新概率算预测某事件。再对比预测结果和实际结果，回头评价和修正原预测过程的bug。 再循环。 瞎想的，不知道理解是否正确
学习了，我认为降低未来模型的计算功耗是真的很大的挑战，而这个才是计算的终极天花板。现在的硅基架构哪怕是完全不要数据搬运，功耗也没法和碳基生物相比。
VonNeumann架構指的是運算單元有限的CPU架構，當然不適合需要巨量平行運行單元的架構的Transform,但任何一個程式仍然需要CPU才有辦法運行起來，這就是為什麼雖然VonNeumann架構並非針對Transform做優化，目前仍然繼續被使用，但來賓後半段的論述其實是在打臉老石前面提到『GB200針對Transform做優化』
謝謝二位先生！能聽懂
难得的有思想的一期节目 而不是照本宣科的堆砌高端。当然开阔眼界追逐state of the art也是需要不求甚解的传递高端
其實即使transformer 依舊是divide ＆conquer 後的產物，也只解決部分問題，所以後續一定會有新的做法，只是我們一般人不是大佬級別，只是follower, 或看戲的...
他們都是divide& conquer
但一個是concurrent一個是parallel
所以真正的區別是算法本身能不能parallel
有意思，谢谢，我突然想到一个问题，如果有伪信息进入存算一体模型，学习完了会局部更新参数，这样可能对整个模型会造成伤害，或者说即使是真的信息，但是跟原来模型不匹配，也有可能对模型造成伤害，这样其实是挺危险的，这种情况在人的认知上面其实是经常发生的，就是说我们可能会被错误信息蒙蔽，从而误解，作出错误的判断，我们无法保证所有的信息都是准确的
這個一早有專家說了, 模型訓練過了幾代之後會用了自己以前的資料訓練導致越練越蠢.
LINUX的模式其实可以参考一下 。他们的做法是提升优先级。程序级优先。然后部分做到内核级支持（内核级优先）然后提升到芯片内部（芯片）。。估计以后会出现不同出来级别的芯片（优先级）视觉的。 运动的（平衡或者感知）。语言（语言模型）。图像识别与判断（逻辑思维）
确实很有启发。
现在最流行的基本都是不可解释的。人类解释不了中间层的输出，但是从逻辑上讲，如果知道决策的对错，你总能让机器往正确决策的方向进化一点点，所以中间层的输出不一定是可解释的，但这不影响从整体上是可解释的。
安克创新股价就反应出来了。厉害👍🏻
这期视频访谈的人员很有Insights.
可以再出几集视频详细谈谈存算一体芯片，谢谢
非常深刻的见解。但其中一点可能有些许可讨论的点。人脑的推理和自我更新功耗可能的确是不高很经济的，但是学习（训练成本并不是很低）。到达当前成年人的知识水平，这是一个historic的视角，从小孩到成人，假设取消中间吃饭，等等时间环节（但这些环节也同样参与着学习与参数迭代），可能所需要的时间也是不短的。
生物腦似乎較擅長用經驗、數據的形式。用分析式性（歸納法、極端原理、分治法很多很多。。。）等常用的數學、物理等解題套路較適合一個有清晰無含糊性的系統. 如果宇宙有定律的話，自然界生物腦跟人造的定性式的計算機的優劣在現今仍是黑暗時代在探索中、本質是什麼的平衡. 三角定律
如果你把计算机 从芯片到板卡等等所有时间都算进去，还要能走路 视觉等等，估计时间也不短。
因为人脑获取知识太难了
以逐步归纳相似因素，达到减少因子进入矩阵模型的反复计算。
太讚了
高人 很精彩的访问 存算训一体也是很合理的推测 但现阶段 似乎需要无数的科技技术创新 还是有点科幻小说的味道
存算一体的概念也有段时间了。。。。目前一个是制造问题（目前存储器的制造和逻辑电路不一样）， 一个还是算法（生态）问题吧。。。。
请问up, 有没有用FPGA能模拟的demo？
非常精彩。比看Sam Altman， Jensen Huang 等所谓顶级大咖的访谈更受启发。
後面講的東西真的很厲害
最後 AI 的進展還是出現在演算法的創新跟優化
軟體工程師又要頭痛了 XDXDXD
mutli-level cache與一致性就是為了解決存儲與運算分離的問題. 也發展的很成熟了. CIM要想取代這套再來個幾十年吧
目前基於阻憶器存算一體無法在數據中心實現 工作溫度下可靠度/穩定性 類比訊號線性天性 都是技術應用的限制。 而目前廣泛應用實現張量計算 systolic array (tensor core) 是廣義的存算一體 不屬於馮紐曼架構 在輝達Volta 架構及之後開始採用
非常同意，Computing In Memory and Near Memory Computing 的想法也不是第一天有了，没有大规模应用是有原因的。Tensor core 不止有Systolic Array 一种形式。
虽然听不懂，但是感觉你们俩都是人才。
讲得太好了
老石的采访越来越专业了，很多时候嘉宾讲的内容听不懂，老石多问一句让嘉宾稍做解释就变的很容易懂了。
很震撼，观注了
AI 方法分析很好，我覺得，以分治法而言，AI 回答顧客提問前可以先將顧客提問分成數個問題，讓顧客選擇要回答哪個問題，也可以全選。其實人類提問有時問的不清楚，要把自己問題釐清。有時人類只是想聊一聊天，AI太認真工作啦。不過別像某公司客服AI, 聽不懂人話,轉來轉去讓人等…等…等…
很棒的视频！学到很多
要推翻Von Neumann架構得推翻以硅為載體的計算機架構了，量子電腦也許是個希望。
可以讲下systolic array这种架构距离存算一体的差距吗
Graphcore 架構挺好 顛覆馮諾依曼，最近怎麼回事 被 Sequoia 給 0 估值，老石有空 follow up 一下 再出個視頻？
端到端是怎么回事还是云里雾里，感觉还是需要抓取输入的特征值，只不过这些特征不再是人工预设的，而是由一套算法去自动选择和抓取。