从Sora展开，全面解读AI视频大模型发展史（上）
Vložit
- čas přidán 19. 06. 2024
- Sora，OpenAI的人工智能AI生成式视频大模型，在2024年2月15日一经发布就引发了全球关注。Sora好在哪里？GAN、VAE、扩散模型、LLM技术生成AI视频的优劣势都是什么？OpenAI的视频模型一定是正确的路线吗？这期视频，我们通过与硅谷一线AI从业者的采访，深度聊聊生成式AI视频大模型的不同派系发展史，相关争议和未来发展路线。
你会看到：
00:00-03:18 AI视频：Sora来了
03:19-08:00 Sora进步在哪里？
08:01-14:25 扩散模型：原理解释、Runway和Imagen模型举例
14:26-16:16 扩散模型优劣势
16:17-19:30 LLM模型：原理解释、VideoPoet模型举例
19:31-24:41 LLM模型优劣势
24:42-34:33 Sora：扩散+LLM模型，1+1大于2吗？
【关于硅谷101】
我们是由海内外一线媒体记者/主持人创办的栏目，深度解析硅谷创新趋势，以轻松的风格分享科技行业的最新动态。我们采过顶级科技大佬，积累了数万小时的媒体经验，做过调查性报道，操盘过千万级传播量的知名深度稿，引发全国讨论和微博热搜；致力于将最专业的媒体素养和信息搜集能力转化为易传播的新媒体力量。
关注我们，从这里驶向未来。
联系我们：video@sv101.net
【往期精彩内容】
【深度】聊聊AI机器人为什么发展如此缓慢【有彩蛋哟🎉】
• 【深度】聊聊AI机器人为什么发展如此缓慢【有...
【深度】OpenAI成长史：顶级资本的冲突与科技大佬们的理想主义
• 【深度】OpenAI成长史：顶级资本的冲突与...
【硬核】在诉讼与骂名中崛起的英伟达GPU：从未停止过战斗，也没有永远的朋友
• 【硬核】在诉讼与骂名中崛起的英伟达GPU：从...
【深度】聊聊科技四巨头的研发与XR行业的兴衰沉浮
• 苹果Vision Pro来了，聊聊科技四巨头...
拉斯维加斯百亿网红球Sphere，承载着"纽约恶人"豪门富二代的继承枷锁与救赎
• 拉斯维加斯百亿网红球Sphere，承载着"纽...
生成式AI这一年：从群雄混战到生态确立，世界已被改变
• 生成式AI这一年：从群雄混战到生态确立，世界...
代糖致癌？深聊在禁令、政治和金钱之间反复游走的甜蜜革命｜生物科技特辑（2）
• 代糖致癌？深聊在禁令、政治和金钱之间反复游走...
为马斯克减重30磅的“司美格鲁肽”：毒蜥蜴，琵琶鱼，41年和数十亿美元｜生物科技特辑（1）
• 为马斯克减重30磅的“司美格鲁肽”：毒蜥蜴，...
Sam Altman回归！聊聊“叛变者”的恐惧与信念：OpenAI技术灵魂人物Ilya Sutskever
• Sam Altman回归！聊聊“叛变者”的恐...
“全球市值第三车企”VinFast：越南首富的美国梦，惊叹和荣耀只有16个交易日
• “全球市值第三车企”VinFast：越南首富... - Věda a technologie
如果大家对视频最后提到的GenAI Summit SF感兴趣、想面对面与OpenAI，xAI，英伟达，Mistral AI等最热门AI公司的顶级科学家线下交流，可以关注这次大会。
购票链接：genaisummit.ai/#/
我们也为硅谷101的观众准备了一些*小福利*：
使用优惠码【SV10150】购买大会三日门票，可以享受50美元购票优惠；
单日门票也可使用优惠码 【SV10120】购票，享受20美元购票优惠；
使用优惠码【SV101】购票，可享受10%的购票优惠。
讲的真清楚！兼顾了专业性和科普性，让我这个外行也能完全听懂
如果这技术完美 每个作家都变成导演
真的是很用心製作的節目 超讚
目前全网看到最深度 最前面 最硬核的Sora讲解 ❤ 期待下集
一如既往，你们的节目把硬核和趣味性balance 得特别好！
😊😊 感谢支持！
非常精彩的内容、清晰连贯的讲解，对无论是专业还是非专业人士都能立刻被吸引并一直看到结束。赞！
墨水扩散这个例子解释扩散模型实在太赞了，将复杂得原理用简单得例子表述，一讲就懂。专家很赞！
你们团队做了很硬核的内容，继续加油，会一直关注你们频道。
非常詳盡，表達得又清晰，感謝
101的视频真棒，有内容质量，有深刻解读
😊 我们会继续加油！
加油硅谷101 感谢这个团队
目前看到最好的讲解
请制作“GenAI Summit SF大会” 的节目，期待！
Ai Sora
總是讓我聯想到
Aoi Sora
謝謝團隊的分析解釋，收穫很多。👍👍👍🥹🥹🥹
时间轴来咯（下期讲世界模型，也非常精彩，美国时间周日上线❤）
你会看到：
00:00-03:18 AI视频：Sora来了
03:19-08:00 Sora进步在哪里？
08:01-14:25 扩散模型：原理解释、Runway和Imagen模型举例
14:26-16:16 扩散模型优劣势
16:17-19:30 LLM模型：原理解释、VideoPoet模型举例
19:31-24:41 LLM模型优劣势
24:42-34:33 Sora：扩散+LLM模型，1+1大于2吗？
终于等到你 还好我没放弃
非常优质的节目！加油！
讲得很详细，很硬核，关注了
I love your videos, excellent explanation: logical and clear
thank you :)
Thanks!
🎉 精彩！
謝謝，感謝
Good stuff!
太硬核了，听的我云里雾里的，全程都在看着漂亮主持人发呆流口水..
这期节目太及时太棒了，正需要了解这方面知识👏👏👏
amazing👍
选题紧跟大语言模型技术前沿，产品原理分析透彻，案例讲解通俗易懂，这是科了个大谱！期待（下）！
This channel deserves more views
至今才真的明瞭 聽君一席話勝讀十年書 的意思, 以後不逛Amazon買書了,看你視頻就好
感謝, 受教了
雖然不明白你在説什麼，但好像很厲害的樣子。👍👍🙌🙌
老師你好，由於一個影片至少要5分鐘，可能會到20分鐘，如果sora分多次生成，這也能一致性嗎？
这么长一期视频，认真看完了。技术细节很难懂，但是也很有
Part 1):
任何一條神經網路也是一個多變數廻歸分析，也是統計學迴歸分析的一環。我在40年前攻讀數理統計就涉及這些人工智能及多變量（含時間變量）的廻歸分析（向量/ 矩陣/ 線性代數/ 機率/ 取様….）, 以便對一些事件做出精准智能的預測。
所謂自我學習或機器學習也只是用後面收集或模擬出的更新的資料去修正原先迥歸分析的杈重或係數參數而已。
而深度學習也只是處理巨量變數時，為了避免僅用單層機器學習進行巨量變數而需要解大矩陣導致對巨量平行計算的需求，進而變換設計成每層適量變數，建立多層次的機器學習修正。
40 年前人工智慧就是數理統計的一大課題。馬斯克說得一點都沒錯-目前的人工智慧全部建立在數理統計的基礎上。從那時開始就不斷有各行各業的數據分析專業人士來我們數理統計這參與並學習迥歸分析。他們回去後就不斷建立了屬於他們行業內的多條神經網絡（行業內的迥歸模型）。
在那時從事這類研究工作的數理統計的博士生全部被限制在晚上12 時過後才能使用國家級的超級計算機，否則我們兩三𠆤人一上線全部就大當機。我們那時也發展出一套類似挖礦機的方式，利用所有大量閒置的𠆤人電腦來提供其微小的算力，進而整合這些龐大的所謂分散型算力，但受限那時網路的不發達，很難把規模擴大。
近幾十年隨計算機能力不斷提升，目前市面AI 所謂大模型，主要是著力於面對”服務大衆需要”的所謂生成式/ 語言等等的智能協作服務。就是把百行百業各個領域等等數以千萬千億計資料進行迥歸模型的建立及修正（所謂自我深度學習）而形成龐大的神經網絡。
因此也不用太誇大眼下的AI , 這些早在40 年以前都已建構了理論基礎，而智能恊作早在各專業領域都已發展的非常完善，只是因過去算力不足只能在各自專業領域進行中小規模（變量數較少）的神經網絡建構。例如氣象預報就是早期最明顯的利用氣象專用超高速大電腦發展為成熟預測能力（AI)的例子，股票買賣決策也是智能恊作(AI/CIC)的典型。
”把簡單數學上使用即存的規模資料或電腦模擬資料進行所謂的㢠歸分析/模型建構並藉此模型做可行的智能預判或恊作，包裝成醫學上複雜尚未完全掌握的神經網路的機制及作用原理”，不但瓢竊了數理統計在AI 發展的絕對地位，實在也是在誤導整𠆤AI 的發展。也會造成眼下一般人的過度期待和焦慮。應將AI 改稱作” CIC:Computer Intelligent Collaboration , 電腦智能恊作， 更為恰當。
何謂知識？ 由經驗總結後（ 抽象具體化） ，就形成知識（用數字分析的表達方式就是去建構知識模型）。 形成知識後就可複製/ 傳承/ 預測/ 擴展。因此目前的AI 發展，就是在循人類文明發展至為重要的其中的一𠆤過程-只是採用了數位化的方式，將經驗知識化了。
目前的AI 只是以數理統計為手段及方法論，以資訊及計算機工程為工具，進行數位型的經驗知識化的過程。
人類有許多其他不同型態非常複雜的知慧，這種僅止於知識數位化的智慧， 其實離人類多型態的智慧還有非常巨大的距離。
另外， 眼下AI 服務於大衆的大模型的各種數學理論及所謂的機器學習（參數修正）及深度學習（參數及變數的多層次增加及修正）。 早在40 年前相應的數學理論都已完備（但落實到實際應用上，如何解1 億 by 1 億的聯立方程組( 行列式計算）， 這需要極其龐大的平行計算能力，在那時期是完全不可能的） 。
其實AI 最重要最關鍵的是各行各業各領域的專家組，而不是這些AI 編程的公司（ 他們只是依需求用已完善的數學統計理論加以電腦編程後，利用巨大算力去幫忙找出合適的模型並不斷予以完善）。
只有各行各業各領域的專家組才知道在茫茫大海中的資料及訊息中，那些因素才是其所涉領域的関鍵變數，那些變數資料才是可做為他們收集分析建立模型的。例如氣象學/經濟學/股票買賣智能決策/ 醫學/ 藥學/ 農業生產/ 基因工程/ 化學工程/自動駕駛/飛彈防空系統/圖像識別及處理/ 建築結構力學/小樣品模擬模型（核爆/飛機失事）………..等等。
此外服務大衆的語言學也是極度複雜的一門學課，其可能的變量變因會高達幾千萬𠆤， 再加上多層級過濾學習修正的模式，因此其涉及的變數算力就以億計， 所以才稱做大模型。 要取那些因素進行那一層分析，主要都是語言學家在主導。
而這些眼下的AI 應用的公司， 只是利用已發展完備的數學統計理論在不同領域專家組的指導下，去有效的進行數拈收集整理分析並進而建立一個特定領域的模型，作為該特定領域的電腦智能恊作工具。
我認為深度學習比較偏向工程而不是理論。沒錯深度學習就是統計，四十年前就有了，但有正確的數學公式不代表有正確的解釋，懂得怎麼應用才是關鍵。現在AI就是人們發現有大模型加大數據，神經網路可以學會任何東西，這才是算力會那麼重要的原因，這是以前的人不知道的會不確定的，即便所用的數學是一樣的。還有我覺得大模型很有可能可以通向真正的智慧，打個比方，生物是為了生存不斷進步，卻演化出了大腦、智慧，因為智慧可以幫助我們生存；同樣的，有沒有可能，在訓練神經網路時，為了更好預測人類語言，神經網路開始真正理解世界？也許人腦就是個超級統計模型，而人腦智慧也不是唯一的，有不同方式可以達到？
@@user-ih2ue4bw5q 您看一下part 2) 專家組才是関鍵。 現在大模型最大的資料來源是傳統搜索引擎提供者google 及bing 。 而他們的database 都己經辻幾十年專家組的維護梳理而分門別類並數位註記好了。 所以現在喂予AI 的資料不是亂取亂捉的， 是那些在過去已存在並經專家組審定分類數位註記好的。 而目前AI 只是在這些有序資料裏進一步完善優化達到接近人們最終需要。因此其一大部分関鍵工作是建立在人類專家組的事前的智慧及準備的。
其實最簡單的例子，對股票決策模式，其所需資料都是專業的， 就能明白，專家組才是最関鍵的， 沒有這些專家組，過去到現在甚至未來AI 都不可能很健康正確的發展。專家組在AI 發展的比重最起碼是60% 以上， 怎麼不見這些台面所謂AI 專家提及各領域的專家組們的智慧及貢獻呢？
佩服大佬，受教了。請問你也寫了part 2嗎？如果有的話，還想再了解
@@JasonBong123 請往下看part 2)
請問生成式視頻最後想要解決什麼痛點？有什麼最終用途？盼賜教
英伟达大会相关节目会有吗？期待
我们会参会，应该会出一期 :)
Sora里面一个巨大的发现就是用游戏模拟引擎模拟生成视频，弥补现实世界视频有限质量不高的缺陷。
类似的例子是自动驾驶，Waymo团队95%-98%是模拟驾驶，而不是路跑数据。
AI新王，破解量子算法、破译古老语言、用几个小时给出科学家花费数月才能得到的研究方案……自 AI 初创公司 Anthropic （由几位前open ai 重要科研专家组成）于太平洋时间 2024 年 3 月 4 日发布 Claude 3 大模型以来，全世界网友正在对其进行广泛测试，并得出科研领域正在被该模型颠覆的观点，在科研领域胜于Open AI sora
กราบกราบกราบ กราบ กราบบุญบารมีบุญ กราบกราบกราบ กราบ
(กราบสาธุ)(กราบสาธุ)(กราบสาธุ) กราบกราบกราบ กราบครับ
有没有 Sound AI, 或者 music AI？
现在不是有了吗，suno ai
素颜也这么美
茜茜真好看啊
应该是加了美颜了。你看你看有一个画面没有加。
美颜是标配，只要不P即可😂
茜茜也是你叫的？😂
已經有新的機器人發表了
这用陕西口音讲AI，挺有趣的
这个节目怎么充钱？在内地用不了感谢❤
你的点赞和留言就是对我们最大的支持了，感谢🙏
@@TheValley101 加油加油～我认为AI科普视频发展空间巨大，你们的视频应该被更多人看到～做为AI基础设施从业者，常常要自己写材料做科普，工作量巨大，你们团队做的视频非常全面，讲解却深入浅出，很有价值！
陈茜一定要赞！ 从来就不会让听众失望！！！
屁
这女的挺带劲儿的
@@loohooi6545不吹不黑😊
其实这里并不是传统的transformer，而是ViT
emergence->scale law->cuda->just buy nvidia🙈
有人被狗突然拉扯跌倒，頭撞上水泥地，腦受傷。 從那以後就臥床不起。牽狗時要極小心。
感謝您的精彩視!。它凸顯了我堅信人類正面臨巨大風險的原因。鑒於這些令人興奮的AI進步，我擔心人類文明最終可能會讓位給基於矽的文明。這個比喻，就像是享受花生醬卻不知道它是陷阱的一部分，描繪了我們當前危險的處境。正如我在視頻中所概述的。人類，我們正處於極其危險的邊緣！czcams.com/video/Q1rAZRNQwpo/video.html
素颜也很美
说说open ai+Figure机器人吧
只需一年就轉變...
15:40 他說話時我還以爲自己按了2x 速度😂
個人也是覺得是後製的時候刻意調快了語速嗎？但看多一陣子又覺得不是啊....😅😅
因为视频时长关系，确实加快了一丢丢，但感觉配合字幕来看速度也还能理解 😁
@@TheValley101 原來是沒有看錯啊，確實是沒有問題，但你講話的語速又蠻正常的，所以我們好奇他講話真的是那麼快嗎😆😆
文字生成与视频生成是2不同概念 有现成的文字而视频属二次生成/制作 存在着大量的逻辑/计算 比如：店铺遮阳布却成了雨伞 这说明视频的生成还处在极其低级阶段
讲的过于专业
据别人说借用了UE5的东西
理解物理世界，你確定？ 我看到openai 官網才寫到無法理解，而且這種預測，根本無法知道模型是真的理解 blackbox的東西
等周一的【下】集吧，会对世界模型和“理解”有更详细的探讨。
其實不太理解顯存限制無法生成視頻的說法，最簡單的方式難道不就是流媒體的方式嗎？比方說，我要生成一個5分鐘的視頻，而每次只能生成5秒的視頻，那麼我只要每5秒的視頻片段打包為一個視頻保存到硬碟，甚至可以壓縮保存，然後取這個視頻的最後一幀作為圖生視頻的開始，並沿用之前的提示詞，我就可以繼續生成下一個5秒的視頻，以此類推，那麼5分鐘的也不過只是60個片。實際流媒體的分片可比這個細多了。以此生成任意長度視頻都完全是可行的。
最後輸出只要加一個合併操作即可。
甚至說都可以利用 生成圖片=>生成下一幀=>保存上一幀並繼續生成下一幀 這樣的序列幀生成模式就可以讓顯存始終只保留最多2幀的畫面。而已生成的通過jpeg等圖片壓縮算法保存到硬碟，那麼這樣原始序列幀的大小生成10分鐘的視頻佔用硬體也就幾百G，這對硬碟來說壓力不大，最後序列幀合併為視頻，視頻通過VP H264 H265等方式再二次壓縮封裝為MP4之類的不就好了麼？
1) 目前transformer架構的模型是全部(1分鐘)一起生成的，這是因為attention mechanism所需，不是只需要前一個frame。要不然一個物體被遮擋超過五秒如何卻保物體再出現時還是一樣的？
2) 模型光是參數跟運算量就超大了，還要動態從硬碟load資料的話，生成一次大概要等個十天。
@@user-ih2ue4bw5q 或许可以尝试这样做？生成5秒（一片）后利用总结技术对影片进行总结，补充关键词甚至提取必要图片碎片，然后再继续生成？类似文本续写。不管怎样，我始终认为分片操作是必然的，也是唯一的解决方案。一次性生成是不可能实现的，就看看现在才能生成几秒，一部电影就90分钟，5400秒，按现在5秒极限，差了整整1080倍，要等显卡提升1080倍，AI是不是都凉透了？要是按现在每年才20%-30%提升，三年提升一倍，那么能一次性生成一部电影的显卡要在3000多年后才会出现，更何况到那时，电影都多少K了？现在生成的分辨率也不可能有实际用处了，以那时的电影分辨率生成，还是远远不够，这是一个死路。
就像用毛笔画动画很难一个道理。
没有化妆也一样漂亮
大陸人工智能的發展不止受限於高級芯片的取得，也缺乏世界級的资料用於大模型的訓練。維基百科，Google，及其它數以萬計的網站都被政府禁止連接。而且政府還規定AI 的研究必須符合「社會主義」。
@gaoJerry-ts1dd 這些網站是被隔絕的。用巧門連接是犯法的。
感觉这样的内容观众不会多，很生涩，我虽然一直很关注这方面的信息，看了几遍也没有充分理解transformer的模型是怎么完成视频的，又怎么能在硬件投入够大的时候进一步增强能力，不知道是我的水平问题还是视频里确实没有花时间去解释明白这一部分的基本原理
视频时长有限，我们省略了一些细节，在LLM生成视频在VideoPoet论文中有详细描述，如果有兴趣可以读读：arxiv.org/abs/2312.14125
@@TheValley101 我们这种非IT行业的显然不希望去读原文也很难读懂啊，愿意看中文自媒体而不是英文的更加没有几个会考虑读原文。我这样的关注应该主要是希望了解一些很基础的原理，哪怕是打一些不是特别合适的比方来帮助理解，也是会有不少信息量的，一方面满足了对未知的好奇心，一方面多少有可能把这些人类科技最前沿的东西对我们自己专业的东西进行一些参考
我一般讀維基百科補足缺乏的知識。@feifeishuishui
不就未来将进入影“骗”时代
我比較好奇這裡面的人有幾個會把技術偷回中國？讓我們拭目以待
大可不必，Sora刚出来几天中国有程序员把code都写好了，模型和技术根本不是问题，中国缺的是算力和参数，当然，还有输出的审核😂
Si，矽，不是硅
矽谷，不是硅谷
二逼一个，没通网吗？自己去查查去吧
可看維基百科對這點的解釋
日本人把silicon 這個字先譯成矽後譯成硅。中華民國採用矽，中華人民共和國採用硅，因為已經有很多元素音和矽相近。
第一次看本頻道，先不說內容，只覺得跟小Lin说的風格也未免太相近了吧，有必要致敬成這樣嗎?
为什么不说内容？要说风格，那也是致敬Vox等一众explainer video天花板，也推荐给你。:)
这就是油管上很流行的explainer形式，Vox, cnbc, Bloomberg, yahoo finance都有这种类型的节目，甚至很多youtuber都在做，只华语届很少有这种制作精美的后期视频，你们多看看外面对世界吧 😅😅😅
而且茜姐的视频很多都是贴纸或者pop art的剪辑，后期非常用心，跟小林风格完全不一样，况且内容有深度得多，人家当主持人10多年，致敬谁呢😂😂😂
主持人比小Lin漂亮，小Lin的风格有点疯癫，大家都有自己的特色，没必要踩一个捧一个，水军另说
当然先不说内容了，小lin说的那玩意给白痴都能听懂，这个你就看不懂了，你也就这个水平
這女主持人的眼睛看不出在看讀稿機 若是背好的 也太順了吧 天生就是來講話的
賣臉就賣臉裝個什麼學識逼啊？ 這腳本跟知識肯定請工具人幫妳寫的吧。不要這麼不自愛
不好意思，这篇还真是茜姐本人写的，你倒是也不用这么酸，这篇稿件也不难写。每个视频最后有职员表，分工很清楚。
哈哈哈哈哈，瞧你这破防的酸样儿😂😂😂 我茜姐就是厉害又漂亮，怎么你了？