【2023 RISC-V Taipei Day】Extending RISC-V Intelligence From Cloud To Edge

Equipped with RISC-V's powerful Vector ISA and automated customer extension framework, Andes solutions have been adopted in over a dozen innovated datacenter AI/ML accelerators such as Meta’s MTIA first generation silicon.
On October 12, (RISC-V Taiwan Association) RVTA hosted the 2023 RISC-V Taipei Day forum that explored how the RISC-V open source processor architecture can empower complex IC systems and AI computing architectures in the AI era. In his speech titled [Extending RISC-V Intelligence from Cloud To Edge], the President and CTO of Andes Technology, Dr. Charlie Su discussed the rising demands for intelligence everywhere, and illustrate existing solutions for the Cloud AI and how they are being adopted in the edge applications.
The need for intelligence or more intelligence is fast rising in many edge applications such as ADAS, AR/VR, 5G base stations, SSD Storage, and even general-purpose MCU/MPU. Today, AI/ML is used to improve existing features such as noise reduction for earbuds and picture enhancement for image sensor processors as well as to apply to new areas such as 5G network optimizations.
RISC-V Taiwan Alliance (RVTA)
RVTA aims to introduce RISC-V’s open architecture to Taiwan through cross-ecosystem cooperation among industries, academia, and research institutes both local and abroad. By enabling AIoT integration in Taiwanese industries from R&D, design, and application processes; they will be able to leverage 5G communication trends and business opportunities and enhance Taiwan’s industrial competitiveness.
--------------------------------------------------------------------------------------------------------------
( 演講內容重點提要 ) 蘇泓萌：晶片內建AI/ML運算已成為市場設備未來趨勢 CIM技術可加速晶片AI運算效率
晶心科技總經理暨技術長蘇泓萌博士，在「Extending RISC-V Intelligence from Cloud to Edge」專題演講中表示，LLM（大語言模型）透過開源方式快速成長，不僅帶來多樣化的LLM應用服務，也把終端裝置的AI/ML運算與雲端的LLM應用相結合的晶片設計需求推上檯面，甚至終端裝置也要開始內建生成式AI運算，以迎合無所不在的AI運算需求。終端裝置的ML運算，也因為Transformer模型的加入，讓晶片應用場景更多元化，包括5G/6G基站的訊號選擇調整、AR/VR裝置、ADAS模組、SSD晶片控制等環境，但是仍有不少終端裝置用AI晶片，還是以CNN模型為主。
蘇泓萌指出，終端裝置內建AI運算功能，能有效提升執行效率。舉例來說，瑞薩的R9A06G150語音控制人機介面ASSP解決方案，透過晶心D25F RISC-V核心，可以提升50%執行效率；Spacetouch的SPV60音效處理晶片，可用AI加強在智慧語音裝置、智慧耳機與專業語音設備的降噪、回音消除與聲音即時處理。
為了加速提升AI在終端晶片上面的運算能力，晶心科技推出以RISC-V架構為基礎所研發的Compute-in-Memory（CIM）技術，以Houmo H30晶片來說，由SRAM與CIM技術所組成的AI加速運算線路，可以提供高達256 TOPs（Int8）的運算能力。TetraMem的Analog In-Memory-Compute MX200晶片可以在8bit 256x256 MAC Engine提供超過30 TOPS/W的表現能力，而且降低AI運算過程中所產生的記憶體資料搬遷傳輸瓶頸問題。
由於在越來越多的場域會使用到AI運算晶片的需求，包括光通訊運算環境的光收發晶片與控制器，Meta即將在2025年推出的AI加速晶片MTIA等，再加上RISC-V架構可依照不同運算環境需求增加指令集，因此晶心科技除了提供不同功能的指令集讓客戶選擇之外，也推出AndesAIRE（Andes AI Runs Everywhere）開發工具，包含AI/ML硬體加速器AndesAIRE AnDLA I350，以及神經網路軟體開發套件 AndesAIRE NN SDK，加速開發者設計支援AI/ML功能的AI晶片。
關於台灣RISC-V聯盟
致力於產、學、研三方合作，共同協助將RISC-V開放架構導入台灣，並串聯海內外生態系資源，讓台灣產業從研發、設計到應用，都能具備AIoT整合能力；搭上5G通訊趨勢與商機，進而提升台灣產業競爭力。
www.twiota.org/RISC-V/default....
#AI #Automotive #LLM #RISC-V