Cloud Networks hợp tác với Kong phân phối AI Gateway tại Hàn Quốc

| NBNTV = Phóng viên Ju Hyeon-ung | Sản phẩm AI Gateway, giúp quản lý các lượt gọi mô hình và luồng dữ liệu phát sinh trong quá trình doanh nghiệp ứng dụng trí tuệ nhân tạo (AI) tạo sinh, sẽ chính thức được cung cấp tại thị trường Hàn Quốc. Phương thức này cho phép quản lý nhiều mô hình ngôn ngữ lớn (LLM) trong một hệ thống thống nhất, đồng thời áp dụng các chức năng xác thực, bảo mật và giám sát.

Vào ngày 18, Cloud Networks thông báo đã ký kết quan hệ đối tác với Kong, công ty kết nối API và AI toàn cầu, để bắt đầu phân phối 'Kong AI Gateway' tại Hàn Quốc.

Hai bên có kế hoạch hỗ trợ xây dựng quản trị và quản lý lưu lượng AI cho các doanh nghiệp đang áp dụng AI tạo sinh và LLM vào công việc cũng như dịch vụ thực tế. Họ sẽ cung cấp một hệ thống quản lý tập trung các khâu cần thiết như xác thực, bảo mật và giám sát trong quá trình gọi LLM.

LLM chủ yếu được gọi thông qua API và thường được sử dụng cùng với nhiều nhà cung cấp mô hình, RAG, MCP và các lượt gọi giữa các tác nhân (A2A). Kong AI Gateway được thiết kế để quản lý lưu lượng API và lưu lượng giữa các tác nhân (A2A) phát sinh trong môi trường như vậy.

Kong AI Gateway sử dụng cùng một runtime với Kong Gateway hiện có và quản lý các lượt gọi đến nhiều nhà cung cấp LLM khác nhau thông qua một giao diện tiêu chuẩn duy nhất. Các chính sách như xác thực và ủy quyền, giới hạn lưu lượng, nhật ký kiểm tra vốn được áp dụng cho API truyền thống cũng có thể được áp dụng cho các lượt gọi AI.

Ở cấp độ gateway, sản phẩm cũng cung cấp các tính năng lọc thông tin định danh cá nhân (PII), kiểm soát prompt, bộ nhớ đệm dựa trên ngữ nghĩa và quan sát lưu lượng. Đặc điểm nổi bật là cho phép doanh nghiệp quản lý nhiều mô hình AI và lưu lượng liên quan tại một nơi duy nhất.

Cùng với việc cung cấp sản phẩm, Cloud Networks dự kiến sẽ cung cấp các dịch vụ thiết kế kiến trúc phù hợp với môi trường của từng doanh nghiệp, xây dựng hệ thống, liên kết với các hệ thống hiện có và hỗ trợ kỹ thuật. Công ty cũng sẽ thúc đẩy các dự án liên kết hệ thống quản lý dựa trên gateway vào môi trường vận hành AI hiện tại.

Jeong Heung-gyun, Giám đốc điều hành của Cloud Networks, cho biết: "Khi AI tạo sinh được áp dụng vào công việc thực tế, các doanh nghiệp đang đứng trước tình huống phải cân nhắc không chỉ về hiệu suất mô hình mà còn về cách kiểm soát và quan sát các lượt gọi AI. Dựa trên kinh nghiệm xây dựng môi trường vận hành AI, Cloud Networks sẽ cung cấp Kong AI Gateway để hỗ trợ hệ thống quản trị AI cho các doanh nghiệp trong nước."

David Carless, Phó Chủ tịch khu vực Châu Á - Thái Bình Dương, Ấn Độ và Nhật Bản của Kong, phát biểu: "Năm nay là thời điểm quan trọng khi việc triển khai Kong AI Gateway sẽ trở nên mạnh mẽ, tập trung vào các doanh nghiệp lớn tại Hàn Quốc thuộc các lĩnh vực như tài chính, sản xuất và phân phối."

────────