Oracle đưa 150.000 CPU NVIDIA Vera lên OCI, mở rộng hạ tầng cho Agentic AI

Oracle Cloud Infrastructure (OCI) công bố cung cấp dịch vụ OCI Compute sử dụng CPU NVIDIA Vera, với kế hoạch triển khai ban đầu 150.000 CPU trên các khu vực hạ tầng của Oracle. Được thiết kế chuyên biệt cho các tác vụ AI tác tử (Agentic AI), NVIDIA Vera bổ sung năng lực xử lý CPU cho các hoạt động như điều phối tác tử, thực thi mã, gọi công cụ và truy xuất dữ liệu.

Động thái này đánh dấu bước mở rộng hạ tầng AI của Oracle, bên cạnh các hệ thống tính toán tăng tốc bằng GPU.

CPU ngày càng quan trọng trong kiến trúc Agentic AI

Khi các ứng dụng AI phát triển từ mô hình hỏi đáp sang hệ thống có khả năng suy luận, thực thi mã và sử dụng nhiều công cụ, vai trò của CPU ngày càng được chú trọng.

Trong kiến trúc AI, GPU đảm nhiệm phần lớn công việc tính toán phục vụ huấn luyện và suy luận mô hình. Tuy nhiên, với Agentic AI, hệ thống còn phải xử lý nhiều tác vụ khác giữa các lần suy luận, chẳng hạn như điều phối các tác tử, thực thi lệnh, truy xuất dữ liệu và xử lý kết quả từ những công cụ bên ngoài.

Những công việc này phụ thuộc đáng kể vào năng lực CPU. Nếu CPU xử lý chậm, các tác vụ tiếp theo có thể phải chờ, làm tăng độ trễ và ảnh hưởng đến hiệu quả vận hành tổng thể.

Theo Oracle, việc bổ sung NVIDIA Vera giúp OCI mở rộng năng lực CPU chuyên dụng cho các dịch vụ vận hành xung quanh mô hình AI, đồng thời bổ trợ cho hạ tầng GPU hiện có.

NVIDIA Vera: Kiến trúc CPU được thiết kế cho Agentic AI

NVIDIA Vera kết hợp các lõi NVIDIA Olympus tùy chỉnh, tương thích với kiến trúc Arm, cùng hệ thống bộ nhớ băng thông cao. Bộ xử lý được thiết kế để đáp ứng các tác vụ đồng thời với cường độ cao, bao gồm điều phối tác tử, thực thi mã và hỗ trợ các dịch vụ suy luận AI.

Mỗi bộ xử lý NVIDIA Vera có các thông số kỹ thuật chính:

• 88 lõi Olympus và 176 luồng xử lý, sử dụng công nghệ NVIDIA Spatial Multithreading.
• Băng thông bộ nhớ lên đến 1,2 TB/s, phục vụ các tác vụ xử lý dữ liệu chuyên sâu.
• NVIDIA Scalable Coherency Fabric thế hệ thứ hai, với băng thông hai chiều cắt ngang (bisectional bandwidth) đạt 3,4 TB/s.

Theo NVIDIA, Vera mang lại hiệu năng CPU cho các tác vụ Agentic AI nhanh hơn tới 80% so với các CPU x86 hàng đầu. Kết quả này dựa trên benchmark nền tảng do NVIDIA công bố, không phải thử nghiệm trực tiếp trên các phiên bản OCI Compute. Hiệu năng thực tế có thể thay đổi tùy theo workload và cấu hình triển khai.

Cấu hình OCI Compute sử dụng hai CPU NVIDIA Vera

Oracle triển khai NVIDIA Vera trên OCI Compute với cấu hình hai bộ xử lý, hướng đến các tác vụ Agentic AI và ứng dụng doanh nghiệp có yêu cầu cao về năng lực tính toán.

Cấu hình OCI Compute được Oracle công bố có tổng cộng 176 lõi CPU và 352 luồng xử lý, kết hợp với 1 TB bộ nhớ hệ thống LPDDR5X và 7,68 TB lưu trữ NVMe cục bộ. Hệ thống còn được trang bị kết nối mạng Acceleron 200 Gbps, phục vụ nhu cầu truyền dữ liệu thông lượng cao.

Đây là cấu hình kết hợp năng lực xử lý CPU với dung lượng bộ nhớ lớn, lưu trữ NVMe và kết nối mạng băng thông rộng. Các thành phần này hỗ trợ những workload AI cần xử lý nhiều phiên làm việc đồng thời, truy xuất dữ liệu liên tục và thực thi quy trình nhiều bước.

Hỗ trợ triển khai Bare Metal và Flex Virtual Machine

NVIDIA Vera trên OCI được cung cấp thông qua hai hình thức: Bare Metal và Flex Virtual Machine.

Với Bare Metal, khách hàng có thể triển khai workload trực tiếp trên máy chủ vật lý. Trong khi đó, Flex Virtual Machine cung cấp môi trường máy ảo linh hoạt hơn, cho phép lựa chọn và mở rộng tài nguyên theo nhu cầu.

Cách tiếp cận này giúp doanh nghiệp lựa chọn mô hình triển khai phù hợp với yêu cầu hiệu năng, dung lượng và quy mô vận hành của từng ứng dụng AI.

Oracle cũng nhấn mạnh rằng Vera có thể hoạt động như một nền tảng CPU độc lập, cho phép triển khai các dịch vụ Agentic AI mà không cần phụ thuộc trực tiếp vào hạ tầng GPU. Đồng thời, CPU này vẫn có thể bổ trợ cho các môi trường tính toán tăng tốc bằng GPU.

Tăng tốc xử lý tác vụ và cải thiện hiệu quả sử dụng GPU

Trong các hệ thống Agentic AI, nhiều tác vụ phụ thuộc vào CPU cần hoàn thành trước khi mô hình bắt đầu bước suy luận tiếp theo. Việc rút ngắn thời gian thực thi mã, gọi công cụ và truy xuất dữ liệu có thể cải thiện thời gian phản hồi tổng thể.

Đối với các workload học tăng cường (Reinforcement Learning – RL), tốc độ thực thi môi trường nhanh hơn cũng có thể rút ngắn vòng lặp phản hồi và tăng thông lượng huấn luyện.

Một lợi ích khác được Oracle đề cập là khả năng cải thiện mức độ sử dụng GPU. Khi CPU xử lý nhanh hơn các tác vụ phụ trợ, GPU có thể giảm thời gian chờ và dành nhiều thời gian hơn cho quá trình tạo token.

Ngoài ra, việc duy trì ngữ cảnh trong bộ nhớ đệm KV-cache có thể hạn chế tính toán lặp lại, góp phần nâng cao hiệu quả xử lý của hệ thống.

Các ứng dụng chính của NVIDIA Vera trên OCI

Theo Oracle, kiến trúc CPU NVIDIA Vera phù hợp với nhiều nhóm workload Agentic AI và suy luận:

• Điều phối tác tử và cung cấp công cụ: Quản lý phiên làm việc, thực thi công cụ và xử lý kết quả từ nhiều tác tử AI hoạt động đồng thời.
• Thực thi sandbox và học tăng cường: Chạy mã, kiểm thử, mô phỏng và xử lý phần thưởng trong các môi trường được cách ly.
• Truy xuất dữ liệu và phân tích trong bộ nhớ: Hỗ trợ tìm kiếm vector, truy xuất dữ liệu, kho đặc trưng (feature store) và phân tích thời gian thực.
• Quản lý cụm GPU và dịch vụ vận hành: Thực hiện lập lịch, định tuyến yêu cầu, thu thập dữ liệu giám sát, vận hành API và các đường ống dữ liệu trong môi trường tăng tốc bằng GPU.

Các ứng dụng này cho thấy phạm vi sử dụng của CPU Vera không chỉ giới hạn ở việc hỗ trợ GPU, mà còn bao gồm nhiều dịch vụ tính toán độc lập trong kiến trúc AI hiện đại.

Oracle cho biết một số khách hàng đã bắt đầu sử dụng NVIDIA Vera thông qua chương trình tiếp cận sớm trên OCI. Trong đó, OpenAI đang đưa nền tảng này vào môi trường vận hành thực tế để hỗ trợ các workload sandbox dành cho Agentic AI ở quy mô lớn.

Uday Ruddarraju, Giám đốc công nghệ phụ trách mảng tính toán tại OpenAI, cho biết CPU NVIDIA Vera trên OCI cung cấp hiệu năng cần thiết để thực thi mã và vận hành công cụ trong các workload Agentic AI đang tăng trưởng nhanh của công ty.

Oracle mở rộng danh mục hạ tầng AI với NVIDIA Vera

Việc đưa NVIDIA Vera vào OCI bổ sung một nền tảng CPU chuyên dụng bên cạnh các hệ thống GPU của Oracle. Theo công bố, ban đầu Oracle sẽ triển khai 150.000 CPU Vera trên các khu vực hạ tầng của mình.

Nền tảng này dự kiến được cung cấp tại một số khu vực được lựa chọn trong quý IV/2026, thông qua các dịch vụ OCI Compute Bare Metal và Flex Virtual Machine.

Trong bối cảnh Agentic AI ngày càng đảm nhiệm những quy trình phức tạp, hạ tầng AI cần đáp ứng đồng thời nhiều yêu cầu: năng lực tính toán GPU, hiệu năng CPU, dung lượng bộ nhớ, tốc độ lưu trữ và băng thông mạng. NVIDIA Vera là một bước mở rộng của Oracle nhằm bổ sung năng lực xử lý cho những workload mới này.

Nguồn tham khảo:

• Oracle Cloud Infrastructure – Announcing General Availability of OCI Compute with NVIDIA Vera CPUs
• NVIDIA Newsroom – NVIDIA and Oracle Expand NVIDIA Vera Rubin