Cách Một Nhà Sản Xuất ASEAN Giải Quyết Vấn Đề Hạ Tầng Dữ Liệu Trước Khi Triển Khai AI

Một nhà sản xuất ASEAN triển khai AI ở quy mô lớn đã học được điều này từ sớm: các vấn đề về hạ tầng dữ liệu không biến mất khi AI xuất hiện. Chúng trở thành lý do khiến AI thất bại. Đây là câu chuyện về cách một nhà sản xuất health-tech khu vực hoạt động trên hơn 100 thị trường đã giải quyết vấn đề hạ tầng dữ liệu của mình trước khi cam kết triển khai AI, và những gì quyết định đó đã tạo ra khả năng thực hiện.

Bối Cảnh: Hạ Tầng Dữ Liệu Của Một Nhà Sản Xuất ASEAN Trước Khi Triển Khai AI

Công ty vận hành một nền tảng thương mại health-tech trên hơn 100 thị trường. Vào thời điểm công việc này bắt đầu, nền tảng đang xử lý các giao dịch ở quy mô đại diện cho khoảng 400 triệu USD GMV mỗi năm. Đội ngũ kỹ thuật có năng lực, nhưng lớp dữ liệu đã phát triển một cách hữu cơ, không có kiến trúc thống nhất.

Công ty cần triển khai các tính năng AI để cải thiện dự báo nhu cầu và quản lý hàng tồn kho. Trước khi điều đó có thể xảy ra, một vấn đề nền tảng cần được giải quyết.

Vấn Đề Hạ Tầng Dữ Liệu Cản Trở Việc Triển Khai AI

Dữ liệu bị phân mảnh trên các hệ thống theo từng thị trường cụ thể. Mỗi thị trường đã phát triển các thực hành xử lý dữ liệu riêng của mình. Tín hiệu hàng tồn kho, hồ sơ giao dịch, và dữ liệu hành vi khách hàng không chảy vào một nguồn sự thật duy nhất.

Khung thời gian đồng bộ giữa các hệ thống khu vực là 15 phút. Đối với inference AI theo thời gian thực, loại cần thiết cho các quyết định hàng tồn kho trực tiếp, độ trễ 15 phút khiến dữ liệu trở nên vô dụng về mặt vận hành. Mô hình AI sẽ hành động dựa trên thông tin đã lỗi thời.

Có một ràng buộc khác. Hoạt động trên các thị trường EU, Anh, và Mỹ đòi hỏi tuân thủ quy định về các tiêu chuẩn xử lý dữ liệu tại mỗi khu vực pháp lý. Bất kỳ thiết kế lại hạ tầng dữ liệu nào cũng phải đáp ứng những yêu cầu đó ngay từ đầu, không phải là một ý nghĩ thêm vào sau.

Những Gì Đã Được Thực Hiện

Bước 1: Kiểm Toán Dữ Liệu Trên Tất Cả Các Thị Trường

Đội ngũ kỹ thuật, được tăng cường bởi các kỹ sư của Gradion, đã tiến hành một cuộc kiểm toán toàn diện các nguồn dữ liệu trên phạm vi hơn 100 thị trường. Cuộc kiểm toán đã ánh xạ nguồn gốc dữ liệu, định dạng, độ trễ, quyền sở hữu, và các mẫu sử dụng hiện tại. Việc này mất sáu tuần và tạo ra một biểu đồ phụ thuộc chưa từng tồn tại trước đây.

Bước 2: Thiết Kế Schema Dữ Liệu Thống Nhất

Một schema dữ liệu chuẩn được thiết kế để đáp ứng sự biến đổi ở cấp độ thị trường mà không hy sinh khả năng so sánh xuyên thị trường. Các trường thay đổi theo thị trường được biểu diễn dưới dạng các thuộc tính có cấu trúc thay vì các trường tự do, cho phép truy vấn nhất quán trên toàn bộ tập dữ liệu.

Bước 3: Tái Thiết Kế Pipeline

Khung thời gian đồng bộ 15 phút đã được giải quyết bằng cách thay thế đồng bộ hóa theo lô bằng các pipeline dữ liệu hướng sự kiện. Các thay đổi đối với hàng tồn kho và hồ sơ giao dịch được xuất bản dưới dạng sự kiện và được tiêu thụ gần như theo thời gian thực. Độ trễ đồng bộ mục tiêu sau khi tái thiết kế là dưới 30 giây.

Sự thay đổi này đòi hỏi sự hợp tác từ các đội ngũ kỹ thuật cấp thị trường và việc sắp xếp trình tự cẩn thận để tránh gián đoạn cho hoạt động trực tiếp trong quá trình di chuyển.

Bước 4: Kiến Trúc Tuân Thủ

Các yêu cầu về cư trú dữ liệu cho các thị trường EU, Anh, và Mỹ đã được giải quyết thông qua các ranh giới lưu trữ theo khu vực. Dữ liệu bắt nguồn từ mỗi khu vực pháp lý vẫn ở lại trong khu vực đó. Phân tích xuyên thị trường sử dụng các biểu diễn ẩn danh hoặc tổng hợp không mang dữ liệu cá nhân được quản lý qua biên giới.

Kiến trúc này đã được xác thực theo GDPR (EU), UK GDPR, và các yêu cầu dữ liệu của các tiểu bang Mỹ có liên quan trước khi việc phát triển AI bắt đầu.

Kết Quả

Việc xây dựng lại hạ tầng mất khoảng năm tháng. Vào cuối giai đoạn đó, công ty đã có:

• Một cái nhìn thống nhất, có thể truy vấn về dữ liệu hàng tồn kho và giao dịch trên tất cả các thị trường
• Độ tươi mới dữ liệu dưới 30 giây cho các tín hiệu vận hành cốt lõi
• Một kiến trúc dữ liệu đã được xác thực về tuân thủ trên các khu vực pháp lý EU, Anh, và Mỹ
• Một hợp đồng dữ liệu được ghi chép giữa các hệ thống thượng nguồn và các mô hình AI đã lên kế hoạch

Việc phát triển tính năng AI sau đó tiến hành trên một nền tảng có thể hỗ trợ inference theo thời gian thực. Mô hình dự báo nhu cầu, khi được triển khai, đã vận hành trên dữ liệu vừa tươi mới vừa đáng tin cậy.

Bài Học Cho Các Nhà Sản Xuất ASEAN Đang Cân Nhắc AI

Ba bài học từ hợp đồng này áp dụng rộng rãi cho các thách thức về năng lực kỹ thuật tại ASEAN trong các ngành sản xuất và health-tech:

• AI khuếch đại chất lượng dữ liệu của bạn, theo cả hai hướng: Một nền tảng dữ liệu tốt khiến AI trở nên có giá trị. Một nền tảng kém khiến đầu ra của AI trở nên không đáng tin cậy và có khả năng gây hiểu lầm.
• Các yêu cầu về quy định là các yêu cầu về hạ tầng: Tuân thủ không thể được gắn thêm vào sau khi kiến trúc dữ liệu đã được xây dựng. Nó phải được nhúng vào từ giai đoạn thiết kế.
• Cuộc kiểm toán không phải là chi phí phụ, nó chính là công việc: Cuộc kiểm toán dữ liệu kéo dài sáu tuần là giai đoạn có giá trị nhất của hợp đồng. Nó đã bộc lộ các phụ thuộc và rủi ro mà nếu không sẽ gây ra thất bại trong quá trình triển khai AI.

Các dự án phát triển phần mềm ngành sản xuất tại APAC bỏ qua giai đoạn hạ tầng có xu hướng quay trở lại với nó sau một thất bại triển khai AI tốn kém. Giải quyết nó trước luôn là con đường nhanh hơn.

Câu Hỏi Thường Gặp: Hạ Tầng Dữ Liệu Của Nhà Sản Xuất ASEAN Và Việc Triển Khai AI

Công ty đã quyết định như thế nào rằng hạ tầng dữ liệu phải đến trước AI?

Trong một bài tập xác định phạm vi kỹ thuật ban đầu, đội ngũ kỹ thuật đã cố gắng xác định dữ liệu nào mà mô hình AI sẽ tiêu thụ. Bài tập đó đã bộc lộ độ trễ đồng bộ 15 phút và sự phân mảnh trên các hệ thống thị trường. Các yêu cầu AI đã làm cho vấn đề hạ tầng trở nên rõ ràng theo cách cụ thể.

Chi phí điển hình cho việc xây dựng lại hạ tầng dữ liệu ở quy mô này là bao nhiêu?

Chi phí thay đổi đáng kể tùy thuộc vào số lượng nguồn dữ liệu, mức độ phân mảnh, và các yêu cầu tuân thủ liên quan. Các hợp đồng có phạm vi và độ phức tạp này thường đòi hỏi một đội ngũ kỹ thuật bền vững trong ba đến sáu tháng. Gradion có thể cung cấp một ước tính có phạm vi sau một cuộc kiểm toán dữ liệu ban đầu.

Liệu công ty có thể đã triển khai AI mà không cần khắc phục hạ tầng dữ liệu trước không?

Về mặt kỹ thuật, có thể. Trong thực tế, mô hình AI sẽ vận hành trên dữ liệu lỗi thời và không nhất quán, tạo ra đầu ra không đáng tin cậy. Rủi ro vận hành của việc hành động dựa trên các khuyến nghị AI sai lầm ở quy mô 400 triệu USD GMV khiến cách tiếp cận đó không thể chấp nhận được đối với ban lãnh đạo của công ty.

Điều này áp dụng như thế nào đối với các nhà sản xuất ngoài lĩnh vực health-tech?

Thách thức cốt lõi, dữ liệu phân mảnh, đồng bộ hóa theo lô, và các ràng buộc về tuân thủ, phổ biến trên khắp các nhà sản xuất ASEAN trong lĩnh vực logistics, hàng tiêu dùng, và thiết bị công nghiệp. Các quy định cụ thể khác nhau, nhưng mô hình hạ tầng và cách tiếp cận khắc phục có thể áp dụng rộng rãi.

Đội ngũ kỹ thuật Việt Nam đã đóng vai trò gì?

Các kỹ sư của Gradion đặt tại Việt Nam đã nhúng vào đội ngũ của khách hàng trong suốt thời gian xây dựng lại hạ tầng dữ liệu. Họ đã đóng góp vào cuộc kiểm toán, thiết kế schema, phát triển pipeline, và xác thực tuân thủ. Điều này mang lại cho khách hàng năng lực kỹ thuật bổ sung mà không cần một quy trình tuyển dụng tại địa phương kéo dài, một yếu tố quan trọng do áp lực thời gian của lộ trình triển khai AI.