跳至主要內容

從HBM到HBF,在AI分層架構中的角色分工 | 三建產業資訊

技術文章

從HBM到HBF,在AI分層架構中的角色分工

從HBM到HBF,在AI分層架構中的角色分工

HBM 之父預測:HBF將超越HBM

AI伺服器相關產能供不應求,具備高頻寬與低能耗特性的HBM,已成為AI加速器的核心配置。然而,擁有「HBM 之父」稱號的韓國科學技術院教授金正浩近日提到,隨著AI發展,所需數據量急劇增加,現有HBM已難以滿足未來需求,產業將加速轉向採用HBF技術。他更預言,HBF需求將在2038年超越HDM。

HBF、HBM與SSD的角色分工

HBF 的出現並不是要取代HBM,而是相輔相成的共生關係。在高階AI伺服器中,三者皆有其重要性。

比較項目

HBM(High Bandwidth Memory,高頻寬記憶體)

HBF(High Bandwidth Flash,高頻寬快閃)

SSD(Solid-State Drive,固態硬碟)

主要材料

3D 堆疊DRAM

3D堆疊NAND Flash

3D NAND Flash

技術定位

極速、小容量

大容量、中速

巨量、低速

反應速度

奈秒級

微秒級

毫秒級

儲存容量

較小(約24GB-64GB)

極大(512GB以上)

8TB-128TB

成本

較高

中等

最低

資料揮發性

斷電即消失

資料可永久保存

資料可永久保存

主要用途

AI即時運算、模型訓練

可一次放得下大型模型權重與海量資料

冷數據儲存、模型備份

HBM雖然速度極快,但受限於高昂成本與物理容量上限,難以獨立承載兆級模型;傳統SSD雖然便宜,但速度太慢不適合AI運算使用。HBF既可向上承接HBM因價格與容量限制而溢出的運算數據,也能向下解決SSD速度過慢無法支撐即時運算的瓶頸,讓AI運算不僅速度變快,成本也變得更親民。

HBF量產進程與台灣供應鏈機會

從產業發展階段觀察,HBF目前仍處於標準定義與生態系建立的早期階段。全球HBM市場龍頭SK海力士(SK Hynix)近期與美國記憶體大廠Sandisk合作,雙強聯手將HBF打造為產業標準。根據規劃,最快要到2027年才會推出首批HBF樣品。

在HBF邁入量產的過程中,控制晶片、先進封裝與高頻測試等周邊供應鏈的價值將顯著提升,在上述領域,具備成熟半導體製造與封裝測試實力的台灣供應鏈,被市場認為具有切入機會。

整體而言,HBF的意義並不在於是否全面取代HBM,而是讓AI記憶體架構首次具備以效能、容量與成本分層設計的可行性。在此架構下,HBM負責高速即時運算資料,HBF則承擔大規模但存取頻率較低的資料,讓AI系統在效能與成本之間取得更佳平衡。未來AI伺服器的設計,也將朝向這種更有效率的分層架構發展。