Agentic AI mengubah bentuk infrastruktur. Seiring perusahaan beralih dari eksperimen AI yang terisolasi menuju sistem agentic AI yang digunakan dalam produksi, infrastruktur CPU pendukung menjadi sangat penting: layanan orkestrasi, basis data, front-end web, cache, middleware, API, dan layanan control plane semuanya harus dapat diskalakan secara efisien dalam batas daya dan termal rak. Pelanggan tidak menerapkan sistem berdasarkan headline benchmark; juga menerapkan rak yang dibatasi oleh daya, pendinginan, ruang lantai, kompatibilitas software, dan kesiapan operasional.
Melihat perspektif tersebut, prosesor AMD EPYC™ menunjukkan kepemimpinan tingkat rak. Dalam skenario model rak 100 kW, AMD EPYC™ 9965 memberikan estimasi throughput tingkat rak sebesar 2,37 kali dibandingkan baseline NVIDIA Vera dan sekitar 1,6 kali dibandingkan Intel Xeon 6980P. AMD EPYC generasi berikutnya, “Venice”, diperkirakan memperluas keunggulan tersebut menjadi 3,30 kali dibandingkan Vera. [1] Pentingnya, hal tersebut adalah infrastruktur yang dapat dibangun pelanggan saat ini pada platform standar x86, bukan arsitektur masa depan yang masih harus ditunggu.
Agentic AI Membutuhkan Infrastruktur yang Kaya CPU
Mudah untuk melihat pembangunan infrastruktur AI sebagai cerita tentang GPU. Namun sistem agentic AI yang digunakan dalam produksi bukan hanya tentang inferensi model; sistem ini merupakan lingkungan layanan yang luas dan berjalan terus-menerus. Setiap agen bergantung pada logika orkestrasi, basis data transaksional, endpoint web dan API, penyimpanan key-value, cache dalam memori, serta middleware yang mengoordinasikan pekerjaan, menyimpan status, dan mengelola permintaan di seluruh sistem. Layanan-layanan ini sebagian besar dibatasi oleh CPU, dan skalanya meningkat seiring jumlah agen yang berjalan secara bersamaan, bukan berdasarkan ukuran model tunggal.
Ketika implementasi agentic AI beralih ke lingkungan produksi, volume infrastruktur pendukung ini juga meningkat. Platform prosesor yang menjalankan layanan-layanan tersebut menjadi faktor utama yang menentukan berapa banyak agen yang dapat dijalankan perusahaan secara nyata dan dengan biaya berapa. Pada lapisan inilah kapasitas CPU serbaguna, bukan performa puncak akselerator, yang menentukan batas kemampuan sistem.
Mengapa Performa Tingkat Rak Merupakan Metrik yang Tepat
Benchmark komponen menggambarkan sebuah chip. Namun benchmark tersebut tidak menggambarkan apa yang dapat diterapkan pelanggan. Data center dibangun dalam rak, dan rak dibatasi oleh anggaran daya dan termal yang tetap, ruang lantai yang terbatas, persyaratan kompatibilitas software, serta kesiapan operasional. Pertanyaan yang menentukan kapasitas nyata bukanlah “seberapa cepat satu soket”, melainkan “berapa banyak pekerjaan yang bermanfaat yang dapat dimasukkan ke dalam rak 100 kW”.
Itulah perspektif yang digunakan dalam analisis ini. Semua konfigurasi dinormalisasi ke rak 100 kW yang dimodelkan dan dibangun menggunakan platform 2P (dua prosesor), sehingga perbandingan mencerminkan kapasitas layanan yang benar-benar dapat diterapkan, bukan puncak prosesor secara terisolasi. Konfigurasi dengan kepadatan yang lebih tinggi secara langsung menghasilkan kapasitas layanan yang lebih besar per rak. Inilah yang mendorong efisiensi investasi, pemanfaatan ruang lantai, dan operasional yang sederhana.
Kepemimpinan Performa Tingkat Rak AMD EPYC
Di seluruh beban kerja yang dievaluasi—komputasi umum, server-side Java, layanan web, key-value store, cache in-memory, dan basis data relasional—AMD EPYC memimpin hasil performa tingkat rak yang dimodelkan. AMD EPYC 9965 (“Turin”, 192C) memberikan keunggulan rata-rata geometrik yang dinormalisasi sebesar 2,37 kali dibandingkan NVIDIA Vera (“Olympus”, 88C), sementara Intel Xeon 6980P (“Granite Rapids-AP”, 128C) mencapai 1,46 kali dibandingkan NVIDIA Vera. Ketika AMD EPYC “Venice” (256C) hadir, keunggulan AMD diperkirakan meningkat menjadi 3,30 kali. Peningkatan ini terlihat di seluruh rangkaian beban kerja dan tidak bergantung pada satu benchmark yang menguntungkan.
Polanya konsisten: seiring meningkatnya kepadatan corevdalam batas daya yang tetap, throughput layanan agregat juga meningkat. Untuk lapisan transaksi, layanan web, dan middleware yang mengelilingi sistem agentic AI, hal ini berarti tingkat konkurensi dan responsivitas yang jauh lebih tinggi per rak—faktor yang pada akhirnya menentukan berapa banyak agen yang dapat didukung oleh suatu lingkungan.
Normalized Rack-Level System Performance
Normalized Rack-Level System Performance by Workload at 100kW
| Parameter | NVIDIA Vera | Intel Xeon GNR-AP 6980P | AMD EPYC (Turin) 9965 | AMD EPYC (Venice) |
| Cores Per Socket | 88 | 128 | 192 | 256 |
| Core Per Socket (Normalized) | 1.0 | 1.45 | 2.18 | 2.90 |
| 2P System Power (Normalized) | 1.0 | 1.18 | 1.18 | 1.41 |
| Nodes Per Rack (Normalized) | 1.0 | 0.85 | 0.85 | 0.71 |
| Rack Power Budget | 100 kW | 100 kW | 100 kW | 100 kW |
Kepadatan Saat Ini, Bukan Janji Proprietary
Kepadatan rak telah menjadi metrik utama, dan memang demikian karena merupakan indikator langsung dari nilai yang benar-benar dapat diterapkan. Di sinilah solusi AMD yang tersedia saat ini menonjol. Implementasi AMD EPYC “Turin” dalam Dell PowerEdge IR7000, atau rak berpendingin cair serupa, mendukung lebih dari 27.000 cores CPU per rak saat ini. AMD EPYC “Venice” generasi berikutnya dirancang untuk dapat berkembang hingga lebih dari 36.000 cores CPU dalam kelas rak yang sama. Sandbox dan cores CPU tidak dapat dibandingkan secara langsung, namun sebagai ukuran arah mengenai kepadatan komputasi tingkat rak, gambarnya jelas: kepadatan yang diposisikan sebagai visi masa depan sudah terlampaui oleh infrastruktur standar yang tersedia saat ini.
Rack Density Comparison
| Configuration | Cores / Sandboxes per Rack |
| AMD EPYC Venice (256C × 2P) | >36,000 |
| AMD EPYC Turin (192C × 2P) | >27,000 |
| NVIDIA Vera (88C × 2P) | 22,500 |
Implementasi AMD ini berjalan pada peralatan data center berpendingin cair standar dan ekosistem software x86 yang sudah digunakan perusahaan saat ini, tanpa memerlukan arsitektur rak baru. Hal ini menjaga kelanjutan software, mengurangi hambatan migrasi, dan mempercepat waktu menuju produksi.
Metodologi dan Detail Beban Kerja
Rangkaian beban kerja mencakup dimensi infrastruktur yang paling relevan untuk lingkungan layanan agentic AI, menggunakan benchmark sebagai representasi:
- Komputasi umum: SPEC CPU 2017 Integer Rate
- Server-side Java: Beban kerja berbasis SPECjbb2015 yang mengukur throughput dan eksekusi logika bisnis yang sensitif terhadap latensi
- Layanan web : NGINX dengan alat WRK di bawah beban permintaan bersamaan yang berkelanjutan
- Key-value store: redis-benchmark, untuk operasi dalam memori berkecepatan tinggi
- Caching/analitik dalam memori: Memcached dengan memtier_benchmark
- Basis data relasional: TPROC-C, representasi OLTP berbasis TPC-C, menggunakan MySQL
Rangkaian ini tidak memodelkan keseluruhan pipeline agentic AI dari ujung ke ujung, melainkan mengisolasi lapisan infrastruktur yang menjadi ketergantungan pipeline tersebut. Perbandingan dilakukan pada tingkat rak menggunakan referensi rak 100 kW dengan platform 2P. Daya sistem dan jumlah node per rak dinormalisasi terhadap NVIDIA Vera. Karena angka untuk “Venice” dan Vera mencerminkan konfigurasi yang dimodelkan dan diproyeksikan, hasil disajikan sebagai estimasi dalam batas daya rak yang ditentukan.
Performa Single-Thread
Selain performa tingkat rak dan efisiensi energi, performa per core tetap menjadi pertimbangan penting untuk beberapa beban kerja. AMD secara konsisten memimpin metrik ini untuk beban kerja yang menuntut seperti basis data, analitik, simulasi, dan pemrosesan host dalam lingkungan server multi-GPU. CPU “Venice” 64core diperkirakan memberikan keunggulan performa per core sebesar 27% dibandingkan prosesor Vera 88 core. Bahkan pada jumlah core yang lebih tinggi, CPU “Venice” 96 core masih diproyeksikan memberikan performa per core 11% lebih tinggi dibandingkan Vera 88 core.
Kesimpulan: Performa yang Dapat Diterapkan Adalah Pemenangnya
Infrastruktur agentic AI seharusnya direncanakan pada tingkat rak, bukan berdasarkan klaim komponen yang terisolasi. Berdasarkan hal tersebut, kesimpulannya jelas: AMD EPYC memberikan throughput CPU yang lebih tinggi dan dapat diterapkan secara nyata, kontinuitas software x86, serta jalur berbasis standar menuju infrastruktur padat yang mendukung AI. Dan semuanya tersedia saat ini pada platform yang sudah dipasarkan. Bagi perusahaan yang ingin memperluas implementasi menuju agentic AI produksi, kombinasi kepadatan, kompatibilitas, dan kemudahan penerapan inilah yang mengubah performa menjadi kapasitas nyata.
Detail lebih lengkap dapat diakses disini: https://docs.amd.com/v/u/en-US/Perf-Methodology.
[1] Results are based on modeled rack-level configurations using publicly available and internal benchmark data. Results may not reflect actual deployed system performance.
