Trong thời gian gần đây, hai xu hướng kỹ thuật đang hội tụ và làm thay đổi cách chúng ta nghĩ về việc triển khai trí tuệ nhân tạo: khả năng chạy mô hình AI trên CPU thông thường nhờ bộ công cụ tối ưu OpenVINO của Intel, và sự phát triển mạnh mẽ của NPU (Neural Processing Unit) trên điện thoại di động. Cả hai đều hướng tới cùng một đích đến – đưa AI lại gần người dùng hơn, giảm phụ thuộc vào máy chủ trung tâm và hạ tầng GPU đắt đỏ.

1. OpenVINO: Chạy AI trên chip Intel mà không cần GPU

OpenVINO (Open Visual Inference and Neural Network Optimization) là bộ công cụ của Intel giúp tối ưu và triển khai mô hình AI trên các phần cứng Intel, đặc biệt là CPU. Điểm đáng chú ý nhất là khả năng thực hiện suy luận (inference) hiệu quả ngay trên bộ xử lý trung tâm, không nhất thiết phải có card đồ họa rời hay máy chủ AI chuyên dụng.

Thông qua các kỹ thuật tối ưu như lượng tử hóa mô hình (quantization), chuyển đổi định dạng và tận dụng tập lệnh chuyên dụng, OpenVINO cho phép nhiều mô hình AI – từ thị giác máy tính đến các mô hình ngôn ngữ kích thước vừa và nhỏ – chạy được trên máy tính phổ thông. Điều này mở ra khả năng triển khai AI tại chỗ trong môi trường có hạn chế về chi phí, điện năng hoặc không gian, đồng thời giảm độ trễ và tăng cường kiểm soát dữ liệu.

Tất nhiên, OpenVINO không thay thế hoàn toàn GPU trong mọi tình huống. Các tác vụ huấn luyện mô hình lớn hay suy luận với mô hình rất nặng vẫn cần phần cứng mạnh hơn. Tuy nhiên, với nhiều ứng dụng thực tế, việc chạy AI trên CPU đã đủ đáp ứng và mang lại lợi thế rõ rệt về chi phí cũng như tính linh hoạt.

2. NPU trên điện thoại: Kiến trúc chuyên dụng cho AI tại thiết bị

Song song với xu hướng tối ưu trên CPU, điện thoại thông minh ngày càng được trang bị NPU – khối xử lý chuyên biệt cho các tác vụ trí tuệ nhân tạo. Khác với CPU (mạnh về xử lý tuần tự) và GPU (mạnh về xử lý song song đồ họa), NPU được thiết kế tối ưu cho phép nhân-cộng ma trận (MAC), thao tác cốt lõi của mạng nơ-ron.

Kiến trúc NPU điển hình bao gồm:

• Hàng nghìn đến hàng chục nghìn đơn vị MAC bố trí dạng mảng chuyên dụng.
• Các khối xử lý scalar, vector và tensor.
• Bộ nhớ tích hợp (shared memory) ngay trên chip để giảm truy xuất bộ nhớ ngoài.
• Hỗ trợ các định dạng số có độ chính xác thấp (INT8, INT4, FP8…) nhằm tăng tốc độ và tiết kiệm điện năng.
• Ở một số thế hệ mới, xuất hiện thêm các khối tăng tốc chuyên cho kiến trúc Transformer và cơ chế Attention.

Các hãng lớn đang theo đuổi hướng đi riêng:

• Apple phát triển Neural Engine, tăng mạnh số nhân và tích hợp sâu với hệ sinh thái phần mềm.
• Qualcomm với Hexagon NPU chú trọng hỗ trợ mô hình Mixture-of-Experts và các tác vụ Agent nhiều bước.
• MediaTek và Google cũng đẩy mạnh NPU/TPU riêng, tối ưu cho hiệu năng trên mỗi watt và các mô hình on-device.

Xu hướng chung là NPU không còn chỉ phục vụ nhận diện ảnh hay giọng nói, mà hướng tới việc chạy các mô hình ngôn ngữ và trợ lý AI ngay trên thiết bị.

3. Hướng tới AI Agent mang theo bên người

Khi NPU trên điện thoại đủ mạnh và các công cụ tối ưu như OpenVINO giúp tận dụng tốt phần cứng sẵn có, ý tưởng mỗi người mang theo một AI Agent cá nhân trở nên khả thi hơn bao giờ hết. Agent không còn phụ thuộc hoàn toàn vào kết nối máy chủ, mà có thể xử lý nhiều tác vụ ngay trên máy, bảo vệ dữ liệu cá nhân tốt hơn và giảm độ trễ.

Tuy nhiên, thực tế triển khai vẫn cần phân tầng rõ ràng:

• Điện thoại với NPU phù hợp cho Agent cá nhân, hỗ trợ công việc hàng ngày, tương tác nhanh và luôn sẵn sàng.
• Các thiết bị có CPU mạnh hoặc GPU vẫn cần thiết cho những tác vụ phức tạp hơn, mô hình lớn hơn hoặc yêu cầu xử lý kéo dài.
• Máy chủ và hạ tầng đám mây tiếp tục đóng vai trò với các mô hình frontier và bài toán quy mô lớn.

Điều quan trọng không phải là thay thế hoàn toàn hạ tầng tập trung, mà là xây dựng khả năng linh hoạt: AI có thể chạy gần người dùng nhất có thể, chỉ khi thực sự cần mới gọi đến tài nguyên mạnh hơn.

4. Ý nghĩa đối với chuyển đổi số

Sự phát triển của OpenVINO và NPU di động đang dịch chuyển trọng tâm của AI từ “chạy trên máy chủ mạnh” sang “chạy được trên thiết bị người dùng đang cầm”. Điều này mang lại vài hệ quả quan trọng:

• Giảm rào cản chi phí tiếp cận AI.
• Tăng khả năng kiểm soát và bảo vệ dữ liệu.
• Mở rộng không gian ứng dụng AI vào các môi trường thực tế, không chỉ trong phòng máy chủ.
• Thúc đẩy tư duy thiết kế hệ thống phân tán: đâu chạy local, đâu cần trung tâm.

Đối với tổ chức và doanh nghiệp, đây là lúc cần nhìn lại chiến lược triển khai AI: không chỉ hỏi mô hình nào mạnh nhất, mà còn hỏi mô hình nào chạy được ở đâu, với chi phí nào, và mang lại giá trị gì ngay trên thiết bị của người sử dụng.

Kết luận

OpenVINO cho thấy AI không nhất thiết phải gắn với GPU đắt tiền. NPU trên điện thoại cho thấy AI có thể đi cùng người dùng mọi lúc mọi nơi. Khi hai xu hướng này kết hợp, trí tuệ nhân tạo đang từng bước trở thành lớp năng lực sẵn có trên chính những thiết bị phổ biến nhất, thay vì chỉ tồn tại trong các trung tâm dữ liệu.

Tương lai của AI không chỉ là mô hình lớn hơn, mà còn là mô hình được đưa đến gần hơn với người sử dụng cuối – ngay trong túi áo của họ.

Viện Sáng tạo và Chuyển đổi số (ICDT)