MALANG – Perkembangan pesat kecerdasan buatan (AI) generatif telah mengubah cara orang berkreasi dan berinteraksi dengan konten digital. Namun, peningkatan kompleksitas model AI juga menuntut kebutuhan hardware yang semakin tinggi. Model seperti Stable Diffusion 3.5 Large, misalnya, membutuhkan VRAM lebih dari 18 GB untuk beroperasi optimal, sehingga membatasi akses bagi pengguna dengan perangkat kelas bawah. Kabar baiknya, NVIDIA dan Stability AI berkolaborasi untuk mengatasi masalah ini.
Kolaborasi ini menghasilkan pendekatan efisiensi baru melalui proses quantization, seperti yang dilaporkan NVIDIA. Dengan mengurangi presisi pada lapisan model yang tidak kritikal, mereka berhasil memangkas kebutuhan VRAM hingga 40% tanpa mengorbankan kualitas visual. Dukungan GPU NVIDIA GeForce RTX 40 Series dan RTX PRO generasi Ada Lovelace yang mendukung format FP8, serta dukungan FP4 pada GPU NVIDIA Blackwell terbaru, menjadi kunci keberhasilan ini.
Berkat optimasi melalui TensorRT SDK, pengguna kini dapat menghasilkan gambar dua kali lebih cepat dibandingkan sebelumnya. Lebih dari 100 juta pengguna PC dengan GPU RTX sekarang dapat menikmati proses AI image generation yang lebih ringan, cepat, dan hemat daya. Inovasi ini membuka pintu bagi lebih banyak orang untuk merasakan manfaat AI generatif tanpa perlu investasi besar pada hardware.
Salah satu langkah penting dalam kolaborasi ini adalah men-quantize model Stable Diffusion 3.5 Large ke format FP8. Hasilnya sangat menggembirakan, kebutuhan VRAM turun drastis dari 18 GB menjadi hanya 11 GB. Ini berarti, model yang sebelumnya hanya bisa dijalankan di satu GPU kelas atas, kini dapat dijalankan paralel di lima GPU GeForce RTX 50 Series sekaligus.
Selain penghematan memori, peningkatan kecepatan juga sangat signifikan. Dalam pengujian internal, Stable Diffusion 3.5 Large versi FP8 dengan TensorRT memberikan peningkatan performa hingga 2,3 kali lipat dibandingkan model BF16 yang berjalan di PyTorch. Bahkan pada versi Medium, peningkatan kecepatannya mencapai 1,7 kali lipat.
Performa luar biasa ini tidak lepas dari kemampuan TensorRT sebagai backend AI yang secara cerdas mengoptimalkan bobot (weights) dan alur instruksi model (graph) agar sesuai dengan Tensor Core pada GPU RTX. Ini memastikan setiap tugas inferensi berjalan seefisien mungkin dari segi waktu, daya, dan sumber daya komputasi.
TensorRT kini tersedia sebagai SDK mandiri, siap diunduh dan digunakan oleh para pengembang. Sebelumnya, developer harus membuat engine TensorRT yang spesifik untuk tiap kelas GPU, proses yang memakan waktu dan menyulitkan integrasi lintas perangkat. Namun, versi terbaru TensorRT mengubah pendekatan tersebut.
Kini, developer cukup membuat engine generik yang bisa dikompilasi secara just-in-time (JIT) langsung di perangkat pengguna. Proses ini dapat dilakukan secara otomatis di latar belakang saat instalasi atau saat pertama kali fitur digunakan. Dengan ukuran paket 8 kali lebih kecil, SDK ini jauh lebih ringan dan mudah diintegrasikan ke sistem berbasis Windows ML.
TensorRT untuk RTX dapat diakses melalui situs resmi NVIDIA Developer atau langsung dicoba dalam versi preview dari Windows ML. Kemudahan ini membuka peluang bagi lebih banyak pengembang untuk menerapkan teknologi AI di aplikasi mereka tanpa harus khawatir tentang kompatibilitas GPU atau kebutuhan VRAM yang tinggi.
Optimasi ini tidak hanya menguntungkan para pengembang, tetapi juga para kreator visual dan pengguna umum. Dengan versi terbaru Stable Diffusion 3.5 yang tersedia di halaman Stability AI di Hugging Face, siapa pun dapat mencoba membuat gambar berkualitas tinggi tanpa memerlukan PC super mahal. Ini adalah langkah besar menuju demokratisasi akses AI generatif.
NVIDIA dan Stability AI juga tengah menyiapkan versi Stable Diffusion 3.5 dalam bentuk layanan mikro (NIM microservice), yang rencananya akan dirilis pada bulan Juli mendatang. Layanan ini akan mempermudah integrasi model ke berbagai platform dan aplikasi secara real-time.
Bagi mereka yang ingin melihat langsung teknologi terbaru dari NVIDIA, GTC Paris masih berlangsung hingga 12 Juni. Di acara ini, CEO NVIDIA Jensen Huang telah menyampaikan presentasi utama mengenai terobosan dalam infrastruktur cloud AI, agentic AI, dan physical AI. Tayangan ulangnya tersedia bagi yang ingin mendapatkan gambaran lebih luas tentang masa depan AI.
“Kami sangat senang dapat berkolaborasi dengan NVIDIA untuk menghadirkan teknologi AI generatif kepada lebih banyak orang,” ujar perwakilan dari Stability AI. “Optimasi ini akan membuka peluang baru bagi para kreator dan pengembang untuk berinovasi dengan AI.”
