【SEMICON Taiwan 2024】AI 跑太快，硬體跟不上！大師論壇：三星、微軟、imec怎麼解？
SEMICON Taiwan 2024 今（4 日）正式開幕，展期中最受矚目的大師論壇於下午登場。由來自 Applied Materials（應用材料）、Google、imec、Marvell、Microsoft、SK hynix、Samsung Electronics 及台積電等重量級公司的執行長與技術領袖擔任演講者，探討 AI 影響全球半導體產業的方向與未來趨勢。
地緣政治分散了原有生產規模，必須匯集各方優勢、全球合作
imec 執行長 Luc Van den hove 博士認為，全球應該共同努力，確保晶片生產據點的分散化不會致使晶片產業的脫鉤。 他強調，為了應對 AI 時代的技術挑戰，全球需要結合最優秀的人才和資源。
Van den hove 博士指出，在地緣政治下，全球各處分別產出因應的「晶片法案」、以及新增晶片生產據點，如果運用得當，將有助於建立更具韌性的供應鏈。然而，他也警告這些措施不應該導致全球晶片產業的脫鉤，而應該成為促進全球優勢互補的動力。
Van den hove 博士進一步解釋，全球各區域在半導體產業中各有優勢，例如某些地區擅長先進製造，而其他地區則在研發方面表現出色。為了在 AI 技術競賽中保持領先，全球需要匯集各方優勢，共同推動創新。
AI 時代硬體與基礎設施成為瓶頸，「全球合作」已儼然成為本次論壇的共識之一。 例如，Applied Materials 執行長 Gary Dickerson 認為沒有任何一家公司能夠單獨解決所有問題，強調「高速共同創新（high velocity co-innovation）」的重要性，而 Microsoft 企業副總裁 Rani Borkar 則呼籲產業加速研發創新、加大資本支出，以克服 AI 發展瓶頸。
AI 為半導體產業帶來的瓶頸與挑戰是什麼？
呼應本次 SEMICON Taiwan 主軸「賦能 AI 無極限」，大師論壇講者不約而同討論到 AI 為產業帶來的瓶頸與挑戰。
Gary Dickerson (Applied Materials, Inc. 總裁兼執行長)：
能源效率： Dickerson 認為 AI 技術發展的最大瓶頸在於能源效率。他指出，AI 模型訓練需要消耗大量能源，例如 ChatGPT 從 GPT-2 發展到 GPT-4，訓練模型所需的能源消耗增加了 250 倍。
Dr. Jung-Bae Lee (Samsung Electronics Co.,Ltd 記憶體業務總裁)：
能源效率： 隨著 AI 模型規模越來越大，記憶體系統的能源消耗也隨之增加，如何降低記憶體系統的功耗成為一大挑戰。
記憶體頻寬瓶頸： Lee 博士指出，處理器效能快速提升，但記憶體效能提升速度相對緩慢，導致記憶體頻寬成為 AI 發展的瓶頸。
儲存空間限制：為了應對生成式 AI 模型中為避免幻覺而引入的向量資料庫，對大容量、高效能儲存的需求正在增加。
Noam Mizrahi (Marvell 執行副總裁暨技術長)：
連結 AI 加速器： Mizrahi 指出，隨著 AI 模型規模不斷擴大，需要連接大量的 AI 加速器才能滿足運算需求，而光學模組可望解決這些問題。
Rani Borkar (Microsoft Azure 硬體系統與基礎架構部門企業副總裁)：
AI 基礎設施創新速度： Borkar 指出，AI 發展速度飛快，AI 模型對運算、記憶體和網路的要求越來越高，但現有的硬體技術的創新速度還跟不上，以至於 AI 基礎設施難以滿足 AI 模型發展的需求。
高耗能需求：AI 技術的快速發展需要更強大的運算能力，但這也導致了能源消耗的急劇增加。為此，微軟設計了「sidekick cooling system」的資料中心冷卻系統。他認為業界需要不斷創新，開發更節能的 AI 運算技術，資料中心的冷卻系統也要更節能。
AI 加速器產能： AI 加速器是 AI 發展的關鍵硬體，但目前 AI 加速器的產能供應不足，成為 AI 發展的瓶頸。產業必須持續投資先進的封裝解決方案。
Justin Kim (Kim, Ju-Seon) (SK hynix 總裁)：
電力：Kim 提到，AI 的發展趨勢是朝向更高的運算能力，但這也意味著更高的電力消耗。例如說，預計到 2028 年，資料中心將會非常耗電，現有的電力供應系統將不足。Kim 認為，發展 AGI 需要解決電力消耗過高的問題，否則將會限制 AGI 的發展規模和速度。
冷卻：電力消耗過高會導致晶片溫度升高，影響效能和穩定性，因此需要更強大的冷卻系統。因此，發展 AGI 不僅需要研發更節能的 AI 晶片，還需要同步提升冷卻系統的效率。
記憶體頻寬：AGI 需要處理比現有 AI 模型更大量的資料，並執行更複雜的運算。因此必須快速存取、及處理海量資料，而現有的記憶體技術在頻寬方面還無法滿足需求。因此需要更高容量、更高頻寬、更低延遲的記憶體技術，才能滿足資料處理的需求。
AI 的未來產值，值得花多少「資本支出」以克服瓶頸與挑戰？
Gary Dickerson（應用材料）認為，預計到 2030 年，AI 市場規模將達到 10 兆美元。
Rani Borkar（微軟）則預估，在未來 20 年內，AI 技術將帶來 20 兆美元的市場機會。 他也預測，到 2030 年，半導體市場規模將超過 1 兆美元。
根據 Borkar 指出，科技巨頭（微軟、AWS、Google 與 Meta） 2025 年將花費在 AI 基礎設施的資本支出，就高達 1900 億美元，相當於 S&P 500 總資本支出的 21%（十年前僅為 4%）。
在論壇最後的「AI晶片世紀對談」當中，主持人吳田玉博士對與談來賓進行靈魂拷問。經營層承受痛苦，增加資本支出，但如何看待回收？又是否可能無意間成為加劇貧富差距的推手？與談來賓卻異口同聲表達對 AI 未來的正面樂觀態度。
Google 應用 AI 副總 Hamidou Dia 認為，現在有很多公開取得的資源，門檻大幅降低，未來樂見很多人會因為推論機器人模型而受益，讓 AI 民主化、成為大眾都可以使用的資源。
而包含台積電執行副總米玉傑、三星電子 Jung-Bae Lee、以及 Google Hamidou Dia 都認同，不少企業不願（將資料）上傳雲端，但又想受惠於 AI，包含這些商機，都會在邊緣裝置（包含智慧型手機、PC 等）上出現。目前需求仍大於供給。
更進一步，當未來如特斯拉（Tesla）真的轉型為機器人公司時，可能 5~10 年內就可能實現工業型機器人、甚至往後照護高齡族群的家用機器人等，應用規模將更加龐大。
吳田玉主張，許多供應商對於如今要下注在哪一個領域，已必須做出選擇。如果大部分資料是由美國所控制，創新的速度也是由美國所主導，第一波創新的國家、也就是受惠最多的國家將會是美國。供應商必須依此考量優缺點並做出決策。
特別是台灣與韓國提供的是非常特定的服務、也承擔了最大的資本支出負擔，但是在 AI 龐大商機之下，台灣也不得不開放、跟韓國坐下來談合作。在當前的巨大機會下，必須採取的策略也與過去截然不同，資訊的透明化、與合作夥伴共享，將有利更快找出瓶頸，克服挑戰。
留言