AMD membuat Custom CPU Epyc dengan Memori HBM3 untuk Microsoft Azure AMD crafts custom EPYC CPU, Bisa mencapai 7TB Perdetik?
CPU ini terbatas hanya untuk Microsoft Azure
Microsoft Mengumumkan Mesin Virtual HPC (Komputasi Berperforma Tinggi) terbaru mereka yang ditenagai dengan Custom CPU dari AMD yang sebelumnya dinamakan MI300C
Seri terbaru HBv dari Azure VM terfokus untuk memberikan Bandwith Memori yang besar
sebelumnya Microsoft menggunakan CPU Server Milan-X dan Genoa-X dengan 3D V-Cache dari AMD untuk memberikan Bandwith yang lebih besar, tapi dengan HBv5 VM, Microsoft masih menginginkan Performa yang lebih cepat
Custom CPU AMD yang digunakan untuk HBv5 VM
memanfaatkan kecepatan dari HBM3, yang sudah menjadi standard memori untuk GPU sekelas Data Center seperti AMD MI300X, dengan bandwith 6.9TB/perdetik CPU ini hampi Sembilan Kali lebih cepat dari Genoa-X CPU digunakan Microsoft pada HBv4 VM, dan hampir 20 Kali lebih cepat dari Milan-X pada HBv3 VM
Ketika dipasangkan dengan sebuah CPU, HBM3 mengisi peran untuk menjadi pengganti dari 3D V-Cache. daripada membesarkan ukuran dari L3 Cache, dengan efektif ini menambahkan L4 Cache dengan Bandwith yang lebih besar namun memiliki Latensi yang lebih buruk untungnya latensi bukanlah hal yang penting dalam penggunaan seperti Virtual Machine
setiap VM HBv5 mendapatkan empat dari Custom CPU ini, satu VM HBv5 mendapatkan 450GB dari Memori HBM3, 352 Core dari Zen 4 yang bisa mencapai 4GHz, dan menggandakan bandwidth Infinity Fabric normal yang tersedia pada CPU Epyc biasa. namun tidak bisa menggunakan SMT (hyperthreading)
Virtual Machine ini juga memiliki kinerja 800Gb/perdetik dari Nvidia Quantum 2 InfiniBand untuk perpindahan Jaringan
Dengan 352 core di empat CPU, berarti setiap CPU memiliki 88 core, meskipun kemungkinan tidak semua core di prosesor tersebut diakses oleh VM. Setiap CCD Zen 4 memiliki delapan atau 16 core, tergantung pada apakah itu Zen 4 atau Zen 4c; CPU khusus menggunakan 11 CCD Zen 4 atau enam CCD Zen 4c, dengan delapan core pada satu CCD dinonaktifkan. Kemungkinan besar CPU yang memiliki 96 core akan berfungsi penuh, dengan delapan di antaranya dicadangkan untuk mengoperasikan VM, mungkin dalam peran hypervisor.
CPU AMD “custom” ini mungkin tidak terlalu spesial, karena sangat mirip dengan chip MI300C yang dirumorkan tahun lalu. CPU ini diharapkan pada dasarnya menjadi APU MI300A tetapi dilengkapi secara eksklusif dengan CCD Zen 4 daripada grafis CDNA 3, memungkinkan CPU 96-core dengan HBM3. Core CPU MI300A memiliki clock hingga 3,7GHz, tidak jauh berbeda dari CPU yang digunakan untuk HBv5, menunjukkan bahwa prosesor Azure khusus dan MI300C mungkin sama.
Namun, meskipun CPU HBv5 mungkin tidak khusus secara teknis, tetap saja merupakan CPU eksklusif Microsoft. “Hanya tersedia di Azure,” kata insinyur Microsoft Glenn Lockwood di Bluesky, menanggapi pengguna yang bertanya-tanya apakah CPU AMD akan pernah tersedia sebagai CPU Epyc biasa.
Jika prosesor HBv5 sebelumnya adalah MI300C, AMD mungkin awalnya ingin menjualnya ke publik umum tetapi kesulitan menemukan pasarnya, menurut Engineer memori AMD Phil Park.
“Mengapa kita belum melihat EPYC+HBM lebih cepat? EPYC telah difokuskan pada pasar volume tinggi, itulah sebabnya Kalian tidak melihat EPYC dengan lebih dari 2 soket,” tulis Park di Bluesky. “Anda tidak dapat mengganti controller DDR5 Anda dan menambahkan pengontrol/tumpukan HBM dan menyebutnya sehari. HBM memaksakan pilihan desain tertentu (misalnya, setiap HBM3 memerlukan enam belas Channel 64-bit).
“Fleksibelitas: dengan HBM, Anda tidak dapat meningkatkan kapasitas atau memiliki versi biaya lebih rendah dengan lebih sedikit saluran yang diisi,” tambahnya. “Secara umum, CPU tidak memerlukan bandwidth sebanyak itu.”
Penjelasan ini sejalan dengan sejarah singkat CPU yang dilengkapi HBM sejauh ini. Intel telah meluncurkan CPU yang diinfus HBM berdasarkan Sapphire Rapids, disebut Xeon Max, yang digunakan di superkomputer Aurora dan juga umumnya tersedia.
Namun, Intel mengkonfirmasi tahun lalu bahwa tidak akan ada versi Xeon Max berdasarkan Emerald Rapids, dan tidak jelas apakah Granite Rapids akan mendapatkan varian Xeon Max juga, yang mungkin menunjukkan bahwa mereka belum menjadi kesuksesan komersial yang besar. Keputusan pragmatis bagi AMD mungkin adalah mengamankan kesepakatan dengan Microsoft dan memfokuskan produksi MI300C untuk Azure.
