SPHBM4: Teknologi Memori Baru untuk Pusat Data AI dengan Biaya Lebih Rendah

Kebutuhan bandwidth memori yang tinggi terus mendorong evolusi teknologi. High Bandwidth Memory (HBM) telah berkembang dengan antarmuka paralel yang sangat lebar, sebuah pilihan desain yang menentukan kinerja dan batasan biaya.

Batasan HBM3 dan Inisiatif SPHBM4

HBM3 menggunakan 1024 pin, angka yang sudah mendorong batas interposer silikon padat dan pengemasan tingkat lanjut. JEDEC Solid State Technology Association mengembangkan alternatif yang dikenal sebagai Standard Package High Bandwidth Memory 4 (SPHBM4), yang mengurangi lebar antarmuka fisik sambil mempertahankan throughput total.

Spesifikasi HBM4 dan Tantangannya

Spesifikasi HBM4 standar menggandakan lebar antarmuka HBM3 menjadi 2.048 pin, dengan sinyal digital melewati setiap kontak untuk meningkatkan throughput agregat. Peningkatan bandwidth ini meningkatkan kompleksitas routing, permintaan substrate, dan biaya manufaktur, yang menjadi perhatian para perancang sistem.

SPHBM4: Solusi dengan Pin Lebih Sedikit

Perangkat SPHBM4 yang direncanakan menggunakan 512 pin dan bergantung pada serialisasi 4:1 sambil beroperasi pada frekuensi pensinyalan yang lebih tinggi. Dalam hal bandwidth, satu pin SPHBM4 diharapkan membawa beban kerja yang setara dengan empat pin HBM4.

Pendekatan ini mengalihkan kompleksitas dari jumlah pin ke teknologi pensinyalan dan desain logika dasar. Mengurangi jumlah pin memungkinkan jarak yang lebih lebar antara kontak, yang secara langsung memengaruhi opsi pengemasan.

Keunggulan Substrat Organik

JEDEC menyatakan bahwa bump pitch yang lebih renggang ini memungkinkan koneksi ke substrat organik daripada interposer silikon. Substrat silikon mendukung kepadatan interkoneksi yang sangat tinggi dengan pitch di atas 10 mikrometer, sedangkan substrat organik biasanya beroperasi lebih dekat ke 20 mikrometer dan lebih murah untuk diproduksi.

Interposer yang menghubungkan tumpukan memori, die logika dasarnya, dan akselerator akan beralih dari desain berbasis silikon ke desain substrat organik.

Kapasitas Memori dan Tata Letak SPHBM4

Perangkat HBM4 dan SPHBM4 diharapkan menawarkan kapasitas memori per-stack yang sama, setidaknya pada tingkat spesifikasi. Namun, pemasangan substrat organik memungkinkan panjang saluran yang lebih panjang antara akselerator dan tumpukan memori.

Konfigurasi ini memungkinkan lebih banyak tumpukan SPHBM4 per paket, yang dapat meningkatkan total kapasitas memori dibandingkan dengan tata letak HBM4 konvensional. Mencapai hasil ini memerlukan desain die logika dasar yang didesain ulang, karena tumpukan memori SPHBM4 melibatkan pengurangan jumlah pin empat banding satu relatif terhadap HBM4.

Fokus pada Aplikasi HPC dan AI

HBM bukanlah memori tujuan umum dan tidak ditujukan untuk sistem konsumen. Penggunaannya tetap terkonsentrasi pada akselerator AI, komputasi kinerja tinggi, dan GPU di pusat data yang dioperasikan oleh hyperscaler. Para pembeli ini bekerja pada skala di mana bandwidth memori secara langsung memengaruhi efisiensi pendapatan, yang membenarkan investasi berkelanjutan dalam teknologi memori mahal.

SPHBM4 tidak mengubah model penggunaan ini, karena mempertahankan bandwidth dan kapasitas kelas HBM sambil mengoptimalkan struktur biaya tingkat sistem yang terutama penting untuk penerapan hyperscale.

SPHBM4 Bukan untuk Konsumen

Meskipun ada referensi untuk biaya yang lebih rendah, SPHBM4 tidak menunjukkan jalan ke pasar RAM konsumen. Bahkan dengan substrat organik, SPHBM4 tetap menjadi memori bertumpuk dengan die logika dasar khusus dan keterikatan yang erat dengan akselerator. Karakteristik ini tidak sesuai dengan arsitektur memori konsumen berbasis DIMM, ekspektasi harga, atau desain motherboard. Setiap pengurangan biaya berlaku dalam ekosistem HBM itu sendiri daripada di seluruh pasar memori yang lebih luas.

Dukungan dari Pemasok Utama Dibutuhkan

Agar SPHBM4 menjadi standar yang layak, diperlukan dukungan dari pemasok utama.

Keterlibatan Anggota JEDEC

“Anggota JEDEC secara aktif membentuk standar yang akan menentukan modul generasi berikutnya untuk digunakan di pusat data AI…” kata Mian Quddus, ketua Dewan Direksi JEDEC.

Pemasok utama, termasuk Micron, Samsung, dan SK Hynix, adalah anggota JEDEC dan telah mengembangkan teknologi HBM4E.

Solusi Interkoneksi Eliyan

“Solusi interkoneksi #NuLink D2D/D2M kami telah menunjukkan kemampuan untuk mencapai bandwidth 4TB/dtk dalam pengemasan standar, yang hingga 2x bandwidth yang dibutuhkan oleh…standar HBM4, jadi kami berharap dapat memanfaatkan pekerjaan yang telah dilakukan JEDEC dengan SPHBM4…” kata Eliyan, sebuah perusahaan semikonduktor die logika dasar.