Ứng dụng AI tạo sinh

Khi các doanh nghiệp đẩy nhanh việc áp dụng trí tuệ nhân tạo tạo sinh (GenAI), việc lựa chọn một kiến trúc kỹ thuật phù hợp trở thành một quyết định chiến lược quan trọng. Lựa chọn đúng phụ thuộc vào các yếu tố then chốt, bao gồm quản lý chi phí, tính nhạy cảm của dữ liệu, mức độ sẵn sàng về năng lực nội bộ và phạm vi các mô hình AI mong muốn có sẵn. Bài báo này khám phá ba cấu hình triển khai cốt lõi — API được quản lý hoàn toàn, máy chủ riêng ảo được lưu trữ trên đám mây và phần cứng riêng tại chỗ — nêu bật những hàm ý của mỗi cấu hình trên các khía cạnh này.

Các nhà lãnh đạo cấp cao sẽ có cái nhìn rõ ràng về những đánh đổi thực tế liên quan, giúp định hướng các quyết định sáng suốt về kiến trúc, quy mô và phân bổ nguồn lực để tích hợp GenAI thành công.

Chúng tôi cũng sẽ tìm hiểu một số tùy chọn phần cứng và đám mây hiện có trên thị trường.

Lưu ý: Công nghệ xung quanh LLM và GenAI đang phát triển nhanh chóng. Đây là phân tích của chúng tôi tại thời điểm viết bài báo này.

Việc triển khai AI tạo sinh (GenAI) trong doanh nghiệp đòi hỏi việc lựa chọn kiến trúc kỹ thuật phù hợp. Có ba tùy chọn kiến trúc cốt lõi: truy cập các mô hình GenAI qua API, lưu trữ các mô hình trên máy chủ riêng ảo (trên đám mây) và triển khai các mô hình trên phần cứng thuộc sở hữu riêng (tại chỗ).

Các mô hình đóng như OpenAI, Claude, Gemini, Grok... không thể triển khai cục bộ. Các cuộc thảo luận về việc triển khai LLM lên máy chủ cục bộ hoặc máy ảo riêng tư chủ yếu xoay quanh các Mô hình mở như Llama, DeepSeek, Mistral...

• Các dịch vụ dựa trên API (Quản lý toàn bộ)

Các doanh nghiệp kết nối với các mô hình GenAI được lưu trữ bên ngoài thông qua giao diện lập trình ứng dụng (API). Phương pháp này sử dụng các dịch vụ dựa trên đám mây được quản lý hoàn toàn bởi các nhà cung cấp bên thứ ba, với các ứng dụng doanh nghiệp tương tác trực tiếp với các API bên ngoài.

• Máy chủ Riêng Ảo (Các phiên bản Riêng được lưu trữ trên đám mây)

Trong cấu hình này, các doanh nghiệp triển khai các mô hình GenAI trong các máy chủ riêng ảo (VPS) chuyên dụng do nhà cung cấp đám mây cung cấp. Các doanh nghiệp tự quản lý các phiên bản mô hình, thiết lập cơ sở hạ tầng và phân bổ tài nguyên của mình trong môi trường dựa trên đám mây.

• Triển khai phần cứng riêng tư (Tại chỗ)

Các doanh nghiệp triển khai và vận hành các mô hình GenAI trên phần cứng vật lý do họ sở hữu và quản lý trong trung tâm dữ liệu hoặc cơ sở của riêng mình. Cấu hình này bao gồm việc kiểm soát hoàn toàn phần cứng, phần mềm và cơ sở hạ tầng liên quan.

Việc lựa chọn kiến trúc tối ưu để triển khai AI tạo sinh trong doanh nghiệp đòi hỏi sự cân bằng giữa nhiều yếu tố chiến lược. Bảng dưới đây phác thảo các yếu tố chính — bao gồm chi phí, bảo mật dữ liệu, nhu cầu bảo trì và khả năng sẵn có của mô hình — nhằm định hướng cho việc ra quyết định sáng suốt qua ba cấu hình triển khai cốt lõi.

Bảng 1: Các yếu tố chính nổi bật

Chi phí của các dự án GenAI thay đổi đáng kể, do đó, việc hiểu rõ các yếu tố thúc đẩy Tổng chi phí sở hữu (TCO) là rất quan trọng. Một yếu tố chính là chi phí suy luận liên quan đến việc sử dụng các LLM khác nhau.

Để minh họa điều này, chúng tôi đã mô phỏng một kịch bản về một ứng dụng dựa trên API xử lý 5 tỷ token đầu vào và 2,5 tỷ token đầu ra mỗi tháng, tương đương khoảng 10 triệu trang văn bản đầu vào và 5 triệu trang văn bản đầu ra.

Chi phí suy luận hàng tháng ước tính dao động đáng kể, từ 1.350 USD cho LLM kinh tế nhất trong mô phỏng của chúng tôi (LLaMa 3-8B) đến 262.500 USD cho mẫu Opus 4 cao cấp.

Do đó, việc lựa chọn đúng mô hình cho mỗi nhiệm vụ là một năng lực quan trọng để quản lý chi phí hiệu quả.

Phụ lục 1: Tổng chi phí sở hữu

Nhưng chi phí của các dự án GenAI không chỉ phụ thuộc vào việc lựa chọn mô hình. Sự phức tạp bổ sung phát sinh từ kiến trúc cơ bản, mỗi kiến trúc đưa ra các cân nhắc về chi phí riêng biệt ảnh hưởng đến tổng chi phí sở hữu (TCO):

• Dịch vụ dựa trên API:
  Cấu trúc giá đơn giản nhất, rõ ràng; tối thiểu hóa sự phức tạp.
• Máy chủ riêng ảo (trên nền tảng đám mây):
  Độ phức tạp vừa phải; bao gồm chi phí cơ sở hạ tầng đám mây được xác định rõ ràng và chi phí vận hành có thể quản lý được.
• Phần cứng Riêng tư (Tại chỗ):
  Độ phức tạp cao nhất; nhiều khía cạnh chi phí (phần cứng, cơ sở hạ tầng, nhân viên vận hành, chi phí chung của cơ sở, cấp phép) đòi hỏi ước tính cẩn thận và quy hoạch dài hạn.

Các hạng mục chi phí chính trên ba cấu hình giải pháp được nêu bật dưới đây.

Bảng 2: Các loại chi phí

Các cân nhắc về Bảo mật Dữ liệu

Dù phần lớn các doanh nghiệp quản lý một số dữ liệu nhạy cảm, một số lĩnh vực nhất định phải đối mặt với các mối lo ngại về quyền riêng tư riêng biệt với AI tạo sinh, ví dụ:

• Bán lẻ Các nhà bán lẻ phải đối mặt với những mối quan ngại nghiêm trọng về việc bảo vệ dữ liệu khách hàng, đặc biệt nếu họ đang sử dụng AI để phân tích nhân khẩu học, phân khúc và cá nhân hóa khách hàng. Nếu họ không có ý định che giấu đầy đủ dữ liệu khách hàng trong môi trường đám mây, họ nên thực hiện các bước để đảm bảo dữ liệu được lưu trữ an toàn.
• Chăm sóc sức khỏe Các mối quan tâm chính bao gồm việc vô tình tiết lộ thông tin sức khỏe được bảo vệ (PHI), tuân thủ các quy định nghiêm ngặt như HIPAA và đảm bảo tính chính xác để tránh các sai sót gây hại.
• Tài chính Các tổ chức tài chính nhấn mạnh việc bảo vệ thông tin nhạy cảm của khách hàng và thông tin độc quyền, tuân thủ quy định và ngăn chặn rò rỉ hoặc lạm dụng dữ liệu.
• Chính phủ Các cơ quan khu vực công ưu tiên chủ quyền dữ liệu, an ninh quốc gia, tuân thủ các luật riêng tư nghiêm ngặt và ngăn chặn việc vô tình tiết lộ dữ liệu công dân nhạy cảm.
• Pháp lý: Các công ty luật phải đối mặt với những lo ngại quan trọng về việc duy trì bí mật luật sư - khách hàng, bảo vệ thông tin vụ án được ưu tiên, tuân thủ các tiêu chuẩn đạo đức nghề nghiệp và tránh tiết lộ thông tin vô tình thông qua các dịch vụ AI bên ngoài.

Khi các yêu cầu quy định dữ liệu và chi phí không tuân thủ trên các khu vực có khả năng tăng lên, việc công ty tiết lộ nơi lưu trữ dữ liệu cho ban giám đốc, cổ đông và khách hàng sẽ trở nên quan trọng hơn. Do đó, quyết định về nơi lưu trữ dữ liệu và ai có quyền truy cập sẽ trở thành một điểm quyết định quan trọng cho mô hình kiến trúc genAI được chọn.

Hiện tại, Bảo mật dữ liệu bao gồm cả bảo mật LLM vì rủi ro với LLM nằm ở cách dữ liệu được sử dụng cho mục đích huấn luyện. Tuy nhiên, khi LLM ngày càng trở nên phổ biến, sẽ có các quy định cụ thể cho LLM.

Tóm lại, nhóm kiến trúc, bảo mật và rủi ro của doanh nghiệp/tập đoàn sẽ cần xem xét các yếu tố này trước khi đưa ra quyết định về kiến trúc.

Các Khía Cạnh Cần Xem Xét Về Năng Lực Đội Nhóm

Triển khai LLM tại chỗ mang lại cho tổ chức quyền kiểm soát và bảo mật dữ liệu cao hơn nhưng đòi hỏi phải nắm vững một bộ kỹ năng riêng biệt so với các dịch vụ dựa trên API.

Bất kể kiến trúc nào được chọn, các khả năng AI nền tảng phải được phát triển khi mở rộng quy mô các ứng dụng GenAI. Các khả năng này được dán nhãn là GenOps và liên quan đến việc tích hợp và tối ưu hóa các thành phần ứng dụng GenAI như kỹ thuật gợi ý, rào cản và phân tích chi phí.

Việc lựa chọn kiến trúc tại chỗ còn đòi hỏi phải phát triển các khả năng được gọi là LLMOps. Những kỹ năng này bao gồm các khả năng riêng biệt bao gồm phục vụ mô hình nâng cao, quản lý cơ sở hạ tầng GPU và tối ưu hóa cơ sở hạ tầng. Quan trọng hơn, các khả năng LLMOps không chỉ đơn thuần là sự mở rộng của các kỹ năng GenOps. Kỹ năng LLMOps đòi hỏi chuyên môn sâu, gần với các nhóm nền tảng, trong khi các nhóm GenOps thì gần hơn với các kỹ sư ứng dụng. Do đó, các tổ chức quyết định chạy các mô hình mã nguồn mở tại chỗ phải phát triển thêm một năng lực và đội ngũ AI bổ sung.

Hình dưới đây mở rộng các khả năng cần thiết cho cả GenOps và LLMOps.

Phụ lục 2: Khả năng Kỹ thuật AI

Xem xét về tính sẵn có của mô hình LLM

Việc lựa chọn các mô hình có sẵn cho các triển khai tại chỗ thường hạn chế hơn so với các giải pháp API dựa trên đám mây. Trong khi các nhà cung cấp API đám mây cung cấp quyền truy cập tức thời vào nhiều loại mô hình độc quyền (như dòng GPT của OpenAI hoặc Gemini của Google) và các mô hình mã nguồn mở thông qua các dịch vụ API của bên thứ ba, các triển khai tại chỗ thường chỉ dựa vào các mô hình mã nguồn mở hoặc các mô hình được cấp phép thương mại với trọng số công khai. Các mô hình độc quyền, được đánh giá là tiên tiến nhất, thường không thể được lưu trữ nội bộ do các hạn chế cấp phép và chính sách của nhà cung cấp. Do đó, các doanh nghiệp áp dụng phương pháp tại chỗ có thể đối mặt với phạm vi lựa chọn mô hình hẹp hơn, có khả năng ảnh hưởng đến tính linh hoạt và khả năng.

Tuy nhiên, tốc độ thay đổi trên thị trường LLM là cực kỳ nhanh và với các mô hình mã nguồn mở mới ra mắt và sự phát triển ngày càng tăng của các mô hình hiện có, khoảng cách này có thể sẽ được rút ngắn theo thời gian. Với kiến trúc phù hợp, khả năng thay thế/cập nhật mô hình có thể được quản lý để tránh việc triển khai lại.

Các bảng sau bao gồm ba loại mô hình – Mô hình Hiệu suất Cao, Mô hình Tầm Trung và Mô hình Ngôn ngữ Nhỏ. Thông số đại diện cho kích thước của mô hình, nhà phát triển là viện đã phát triển mô hình ban đầu và tính năng chính cho thấy đặc điểm quan trọng của mô hình.

Bảng 3: Các mô hình có hiệu quả cao (Tốt nhất cho máy chủ nhỏ)

Bảng 4: Các Mẫu Tầm Trung (Yêu Cầu Máy Chủ Nhỏ Vừa Phải)

SML Models (Yêu cầu Máy chủ Vừa Phải)

Các Mô hình Ngôn ngữ Nhỏ (SML) đang ngày càng được ưa chuộng cho các trường hợp sử dụng cụ thể. Chúng dễ triển khai hơn và hoạt động tốt cho các trường hợp sử dụng cụ thể. Khi chúng trở nên tiên tiến hơn, chúng có thể tốt hơn cho việc triển khai trên các thiết bị EDGE hoặc các trường hợp sử dụng rất đặc thù.

Bảng 5: Các mô hình SML (Yêu cầu máy chủ nhỏ vừa)

Các mô hình được đề cập ở trên là tại thời điểm viết bài. Đây là một lĩnh vực phát triển nhanh chóng và cần được theo dõi chặt chẽ.

Việc lựa chọn LLM ảnh hưởng trực tiếp đến các yêu cầu về cơ sở hạ tầng và chi phí. Chi phí cơ sở hạ tầng và hiệu suất phụ thuộc vào một loạt các tham số đa dạng, chẳng hạn như bộ nhớ GPU, sức mạnh tính toán (Tflops) và băng thông bộ nhớ. Mặc dù việc tính toán toàn diện các chi phí này nằm ngoài phạm vi của bài báo này, chúng tôi sẽ thảo luận ngắn gọn về việc lựa chọn LLM ảnh hưởng đến yêu cầu bộ nhớ GPU như thế nào, vì đây là một trong những yếu tố chính thúc đẩy chi phí cơ sở hạ tầng.

Có một quy tắc thực tế đơn giản để tính toán nhu cầu RAM của GPU dựa trên số lượng tham số của mô hình ngôn ngữ lớn (LLM). Đối với quá trình suy luận, cần 2 byte RAM cho mỗi tham số, cộng thêm 20% để bù đắp chi phí hệ thống. Hãy áp dụng quy tắc này cho mô hình LLama nhỏ nhất và lớn nhất hiện có:

• Llama 3.1 – 405B yêu cầu khoản đầu tư 280.000 USD vào GPU. Mô hình này cần 972 GB RAM. Cấu hình 8 GPU NVIDIA H200 (mỗi GPU 141 GB) cung cấp dung lượng đủ để chạy suy luận cho mô hình. Với chi phí 35.000 USD mỗi GPU, tổng chi phí là 280.000 USD.
• TinyLlama yêu cầu khoản đầu tư GPU chỉ 300 USD. Với 1.1 tỷ tham số, nó cần 2.64 GB RAM. Card đồ họa NVIDIA RTX 4060, được trang bị 8 GB RAM, hỗ trợ thoải mái yêu cầu này với mức giá khoảng 300 USD.

So sánh này nhấn mạnh tác động của việc lựa chọn LLM đến cơ sở hạ tầng và chi phí. Khi các tổ chức quyết định triển khai cơ sở hạ tầng GenAI tại chỗ, điều quan trọng là phải xác định các LLM phù hợp với nhu cầu của họ đồng thời kiểm soát chi phí.

Nhiều nhóm bắt đầu hành trình về GenAI mà không có mục tiêu rõ ràng. Họ có thể đang ở chế độ khám phá, có ý tưởng về trường hợp kinh doanh hoặc đang sử dụng các giải pháp sẵn có cho doanh nghiệp, nhưng cũng muốn “xem thử” trước khi cam kết đầu tư toàn diện vào GenAI.

Ngay cả khi nhóm đang ở chế độ “quan sát và chờ xem”, họ vẫn nên hiểu lộ trình cho kiến trúc genAI mở rộng vì điều này sẽ giúp ích cho khoản đầu tư và cách tiếp cận ban đầu.

Nơi đơn giản nhất để bắt đầu là dùng đối tác đám mây hoặc tùy chọn phần cứng tại chỗ nếu dữ liệu được coi là cực kỳ nhạy cảm.

Đối với các triển khai dựa trên đám mây, đây là một quy trình tương đối đơn giản để cung cấp và triển khai trường hợp sử dụng.

Đối với lựa chọn phần cứng, cần xem xét sự phát triển trong tương lai của việc sử dụng. Trong trường hợp này, hãy xem xét khả năng mở rộng từ một máy POC duy nhất sang kiến trúc 3 tầng được mở rộng quy mô nếu cần (máy chủ GPU, máy chủ ứng dụng, máy chủ dữ liệu).

Cho mục đích đưa ra một ví dụ về cách tiếp cận của nhà cung cấp – chúng ta hãy xem xét giải pháp LLM của Oracle, các tùy chọn đám mây và các tùy chọn phần cứng tại chỗ.

Sau đây là chi tiết quy trình mô hình LLM có sẵn trên đám mây Oracle OCI.

Trình bày 3: Quy trình mô hình LLM có trên đám mây OCI của Oracle

Một số chú thích:

• Khả năng hỗ trợ - Nếu lựa chọn là mô hình triển khai tại chỗ (On-premise), cần xem xét mô hình hỗ trợ như LLM Ops, ví dụ: tài nguyên, độ trễ, nâng cấp, v.v.
• GenAI OPs – bất kể lựa chọn nào, lớp ứng dụng nên xem xét GenAI OPs để quản lý ứng dụng. Điều này sẽ tạo nền tảng vững chắc và quản lý cho sự phát triển trong tương lai.
• Bảo mật/Quyền riêng tư – Nếu các lĩnh vực được quản lý chặt chẽ như Y tế, Pháp lý, v.v., doanh nghiệp nên bắt đầu xem xét một nhóm cho LLMOps với tùy chọn bắt đầu triển khai tại chỗ (On-Prem). Điều này cho phép nhóm xây dựng kiến trúc triển khai để có thể mở rộng quy mô hoạt động đồng thời bảo toàn bảo mật dữ liệu.

Có ba loại Trường hợp sử dụng chính mà chúng ta cần xem xét khi đưa ra quyết định về loại LLM sẽ sử dụng.

• Danh mục 1 – Sử dụng LLM để tương tác với Dữ liệu: Các LLM này sẽ được sử dụng cho các trường hợp mà LLM chỉ đơn thuần tương tác với dữ liệu. Các LLM này có thể được huấn luyện trước và không yêu cầu nhiều tham số. Chúng có thể được triển khai cục bộ bằng Mô hình Mở trên một máy nhỏ tại một cơ sở cụ thể. Máy có thể được mở rộng để bao gồm nhiều CPU/GPU hoặc triển khai trên máy ảo riêng. Đây là một lựa chọn tốt để triển khai tại một cơ sở nơi bảo mật dữ liệu

• Danh mục 2 – Sử dụng LLM để tăng cường ngữ cảnh trước khi tương tác với dữ liệu: Các phương pháp này sẽ sử dụng các lệnh gọi API tới các LLM lớn hơn để có được ngữ cảnh tốt hơn và sau đó tương tác với dữ liệu. Chúng có thể được sử dụng khi các tham số rộng hơn và không phải là các tương tác đơn giản với người dùng. Mối quan tâm về quyền riêng tư cần được giải quyết bằng cách đảm bảo rằng không có dữ liệu nhạy cảm nào được gửi qua lệnh gọi API. Lệnh gọi API chỉ nên dùng để tăng cường ngữ cảnh và không tương tác với dữ liệu nhạy cảm.

• Hạng mục 3 – Tác nhân AI sử dụng LLM để tương tác với dữ liệu: Hạng mục này tương tự như Hạng mục 2. Tuy nhiên, người dùng/ứng dụng doanh nghiệp tương tác với các Tác nhân AI. Các tác nhân AI sẽ xác định hướng hành động có thể là LLM để tăng cường ngữ cảnh trước khi tương tác với dữ liệu.

Trong cả ba hạng mục, bản thân dữ liệu nhạy cảm sẽ nằm trong mạng được bảo mật và dữ liệu này không được sử dụng để huấn luyện các mô hình.

Loại LLM đầu tiên đơn giản và rẻ hơn để bắt đầu, nhưng hoạt động cho các trường hợp sử dụng cụ thể. Việc đào tạo cũng được thực hiện cho các trường hợp sử dụng cụ thể và do đó, số lượng tham số mà LLM được xây dựng dựa trên là có hạn. Tuy nhiên, chúng có thể hoạt động rất tốt cho các trường hợp sử dụng mà chúng được đào tạo.

Loại thứ hai sử dụng kết hợp LLM nhỏ, cục bộ được triển khai trong mạng đồng thời sử dụng LLM lớn hơn thông qua lệnh gọi API để tăng cường ngữ cảnh. Chi phí cao hơn được xác định bởi số lượng người dùng, lệnh gọi API, v.v. Điều này cũng mang lại sự linh hoạt lớn trong cách các trường hợp sử dụng đơn giản có thể được nâng cao khi cơ sở người dùng và độ phức tạp tăng lên.

Việc lựa chọn kiến trúc triển khai GenAI tối ưu đại diện cho một khoản đầu tư chiến lược, cân bằng giữa nhu cầu vận hành trước mắt và các mục tiêu chuyển đổi số dài hạn. Bằng cách đánh giá các ưu điểm và hạn chế riêng biệt của dịch vụ API được quản lý, máy chủ riêng ảo trên đám mây và các giải pháp phần cứng tại chỗ, các tổ chức có thể điều chỉnh lựa chọn cơ sở hạ tầng của mình với các yêu cầu cụ thể về hiệu quả chi phí, quản trị dữ liệu, năng lực tổ chức và tính linh hoạt của mô hình. Khi bối cảnh GenAI tiếp tục phát triển, các nhà ra quyết định được trang bị kiến thức rõ ràng về các đánh đổi về kiến trúc này sẽ có vị thế tốt hơn để đưa ra các khoản đầu tư sáng suốt về cơ sở hạ tầng, nhân tài và quan hệ đối tác.

Sự liên kết chiến lược này đảm bảo rằng việc triển khai AI không chỉ giải quyết các thách thức kinh doanh hiện tại mà còn thiết lập một nền tảng có khả năng mở rộng, có thể thích ứng với các công nghệ mới nổi và nhu cầu thị trường thay đổi. Các tùy chọn phần cứng và đám mây được chi tiết trong bài báo này cung cấp một điểm khởi đầu cho hành trình này, mang đến những con đường thực tế để tích hợp AI thành công vào doanh nghiệp, bất kể quy mô tổ chức hay mức độ trưởng thành về kỹ thuật.

Để biết thông tin hoặc yêu cầu giấy phép tái bản, vui lòng liên hệ SẴN SÀNG tại info@readyms.paolosamontanez.com hoặc ARCFUSION tại info@arcfusion.ai

Để tìm mới nhất SẴN SÀNG và ARCFUSION Để cập nhật và xem nội dung, hãy truy cập chúng tôi tại readyms.com và archfusion.ai.

Theo SẴN SÀNG và ARCFUSION trên LinkedIn.

© Ready Management Solutions 2025. Bảo lưu mọi quyền.

© ArcFusion 2025. Bảo lưu mọi quyền.

Về sẵn sàng

Ready là một công ty tư vấn cam kết cung cấp các giải pháp sáng tạo để giải quyết các nhu cầu về vận hành và công nghệ. Với trọng tâm vào chiến lược, tự động hóa và hỗ trợ, Ready chuyên cung cấp các giải pháp hướng tới tương lai cho khách hàng hiện đại. Với hoạt động tại Hoa Kỳ, Philippines, Úc và Thái Lan, cùng kế hoạch mở rộng hơn nữa, Ready sẵn sàng trở thành một thế lực toàn cầu trong lĩnh vực tư vấn.