ผู้ผลิตในอาเซียนรายหนึ่งแก้ไขปัญหาโครงสร้างพื้นฐานด้านข้อมูลก่อนติดตั้ง AI ได้อย่างไร

ผู้ผลิตในอาเซียนที่ติดตั้ง AI ในระดับใหญ่ได้เรียนรู้สิ่งนี้ตั้งแต่เนิ่นๆ ว่า ปัญหาโครงสร้างพื้นฐานด้านข้อมูลจะไม่หายไปเมื่อ AI มาถึง แต่มันกลายเป็นเหตุผลที่ทำให้ AI ล้มเหลว นี่คือเรื่องราวของการที่ผู้ผลิตด้าน health-tech ระดับภูมิภาครายหนึ่งที่ดำเนินงานในกว่า 100 ตลาดได้แก้ไขปัญหาโครงสร้างพื้นฐานด้านข้อมูลของตนก่อนที่จะผูกมัดกับการติดตั้ง AI และสิ่งที่การตัดสินใจนั้นทำให้เป็นไปได้

บริบท: โครงสร้างพื้นฐานด้านข้อมูลของผู้ผลิตในอาเซียนก่อนการติดตั้ง AI

บริษัทดำเนินงานแพลตฟอร์มพาณิชย์ด้าน health-tech ในกว่า 100 ตลาด ในช่วงเวลาที่งานนี้เริ่มต้น แพลตฟอร์มกำลังประมวลผลธุรกรรมในระดับที่แทนมูลค่า GMV ประมาณ 400 ล้านดอลลาร์สหรัฐต่อปี ทีมวิศวกรรมมีความสามารถ แต่ชั้นข้อมูลได้เติบโตขึ้นแบบออร์แกนิก โดยไม่มีสถาปัตยกรรมที่เป็นหนึ่งเดียว

บริษัทจำเป็นต้องติดตั้งฟีเจอร์ AI เพื่อปรับปรุงการพยากรณ์ความต้องการและการบริหารจัดการสินค้าคงคลัง ก่อนที่สิ่งนั้นจะเกิดขึ้นได้ ปัญหาพื้นฐานจำเป็นต้องได้รับการแก้ไข

ปัญหาโครงสร้างพื้นฐานด้านข้อมูลที่ขัดขวางการติดตั้ง AI

ข้อมูลกระจัดกระจายอยู่ในระบบเฉพาะตลาดต่างๆ แต่ละตลาดได้พัฒนาแนวปฏิบัติในการจัดการข้อมูลของตนเอง สัญญาณสินค้าคงคลัง บันทึกธุรกรรม และข้อมูลพฤติกรรมลูกค้าไม่ได้ไหลเข้าสู่แหล่งข้อมูลจริงแหล่งเดียว

ช่วงเวลาซิงค์ระหว่างระบบระดับภูมิภาคคือ 15 นาที สำหรับ inference AI แบบเรียลไทม์ ประเภทที่จำเป็นสำหรับการตัดสินใจด้านสินค้าคงคลังแบบสด ความล่าช้า 15 นาทีทำให้ข้อมูลไร้ประโยชน์ในเชิงปฏิบัติการ โมเดล AI จะดำเนินการโดยอ้างอิงจากข้อมูลที่ล้าสมัยไปแล้ว

ยังมีข้อจำกัดเพิ่มเติม การดำเนินงานในตลาดสหภาพยุโรป สหราชอาณาจักร และสหรัฐอเมริกาต้องการการปฏิบัติตามกฎระเบียบด้านมาตรฐานการจัดการข้อมูลในแต่ละเขตอำนาจศาล การออกแบบโครงสร้างพื้นฐานด้านข้อมูลใหม่ใดๆ ต้องรองรับข้อกำหนดเหล่านั้นตั้งแต่ต้น ไม่ใช่เป็นความคิดที่เพิ่มเข้ามาภายหลัง

สิ่งที่ได้ทำ

ขั้นตอนที่ 1: ตรวจสอบข้อมูลในทุกตลาด

ทีมวิศวกรรม เสริมด้วยวิศวกรของ Gradion ได้ดำเนินการตรวจสอบแหล่งข้อมูลอย่างครบถ้วนทั่วทั้งพื้นที่กว่า 100 ตลาด การตรวจสอบได้ทำแผนที่แหล่งที่มาของข้อมูล รูปแบบ ความหน่วง ความเป็นเจ้าของ และรูปแบบการใช้งานปัจจุบัน สิ่งนี้ใช้เวลาหกสัปดาห์และสร้างกราฟความสัมพันธ์เชิงพึ่งพาที่ไม่เคยมีมาก่อน

ขั้นตอนที่ 2: ออกแบบ Schema ข้อมูลแบบรวม

schema ข้อมูลมาตรฐานได้รับการออกแบบเพื่อรองรับความแตกต่างในระดับตลาดโดยไม่สูญเสียความสามารถในการเปรียบเทียบข้ามตลาด ฟิลด์ที่แตกต่างกันไปตามตลาดถูกนำเสนอเป็นแอตทริบิวต์ที่มีโครงสร้างแทนที่จะเป็นฟิลด์แบบอิสระ ทำให้สามารถสืบค้นได้อย่างสม่ำเสมอทั่วทั้งชุดข้อมูล

ขั้นตอนที่ 3: การออกแบบไปป์ไลน์ใหม่

ช่วงเวลาซิงค์ 15 นาทีได้รับการแก้ไขโดยการแทนที่การซิงโครไนซ์แบบเป็นชุดด้วยไปป์ไลน์ข้อมูลที่ขับเคลื่อนด้วยเหตุการณ์ การเปลี่ยนแปลงในสินค้าคงคลังและบันทึกธุรกรรมถูกเผยแพร่เป็นเหตุการณ์และถูกบริโภคเกือบเรียลไทม์ ความหน่วงในการซิงค์เป้าหมายหลังการออกแบบใหม่อยู่ที่ต่ำกว่า 30 วินาที

การเปลี่ยนแปลงนี้ต้องการความร่วมมือจากทีมวิศวกรรมระดับตลาดและการจัดลำดับอย่างระมัดระวังเพื่อหลีกเลี่ยงการหยุดชะงักในการดำเนินงานสดระหว่างการย้ายระบบ

ขั้นตอนที่ 4: สถาปัตยกรรมการปฏิบัติตามกฎระเบียบ

ข้อกำหนดด้านการพำนักของข้อมูลสำหรับตลาดสหภาพยุโรป สหราชอาณาจักร และสหรัฐอเมริกาได้รับการแก้ไขผ่านขอบเขตการจัดเก็บข้อมูลตามภูมิภาค ข้อมูลที่มีต้นกำเนิดในแต่ละเขตอำนาจศาลยังคงอยู่ในเขตนั้น การวิเคราะห์ข้ามตลาดใช้การนำเสนอแบบไม่ระบุตัวตนหรือรวมกลุ่มซึ่งไม่มีการนำข้อมูลส่วนบุคคลที่อยู่ภายใต้การกำกับดูแลข้ามพรมแดน

สถาปัตยกรรมนี้ได้รับการตรวจสอบความถูกต้องตาม GDPR (สหภาพยุโรป), UK GDPR และข้อกำหนดด้านข้อมูลของรัฐในสหรัฐอเมริกาที่เกี่ยวข้อง ก่อนที่การพัฒนา AI จะเริ่มต้น

ผลลัพธ์

การสร้างโครงสร้างพื้นฐานใหม่ใช้เวลาประมาณห้าเดือน เมื่อสิ้นสุดช่วงเวลานั้น บริษัทมี:

• มุมมองแบบรวมที่สามารถสืบค้นได้ของข้อมูลสินค้าคงคลังและธุรกรรมทั่วทั้งตลาดทั้งหมด
• ความสดใหม่ของข้อมูลต่ำกว่า 30 วินาทีสำหรับสัญญาณการปฏิบัติงานหลัก
• สถาปัตยกรรมข้อมูลที่ผ่านการตรวจสอบการปฏิบัติตามกฎระเบียบทั่วทั้งเขตอำนาจศาลสหภาพยุโรป สหราชอาณาจักร และสหรัฐอเมริกา
• สัญญาข้อมูลที่บันทึกไว้ระหว่างระบบต้นทางและโมเดล AI ที่วางแผนไว้

การพัฒนาฟีเจอร์ AI จึงดำเนินต่อไปบนรากฐานที่สามารถรองรับ inference แบบเรียลไทม์ได้ โมเดลพยากรณ์ความต้องการ เมื่อติดตั้งใช้งานแล้ว ได้ดำเนินการบนข้อมูลที่ทั้งสดใหม่และเชื่อถือได้

บทเรียนสำหรับผู้ผลิตในอาเซียนที่กำลังพิจารณา AI

บทเรียนสามประการจากการว่าจ้างครั้งนี้สามารถนำไปใช้ได้อย่างกว้างขวางกับความท้าทายด้านศักยภาพทางวิศวกรรมในอาเซียนในภาคการผลิตและ health-tech:

• AI ขยายคุณภาพข้อมูลของคุณ ในทั้งสองทิศทาง: รากฐานข้อมูลที่ดีทำให้ AI มีคุณค่า รากฐานที่ไม่ดีทำให้ผลลัพธ์ของ AI ไม่น่าเชื่อถือและอาจทำให้เข้าใจผิดได้
• ข้อกำหนดด้านกฎระเบียบคือข้อกำหนดด้านโครงสร้างพื้นฐาน: การปฏิบัติตามกฎระเบียบไม่สามารถเสริมเข้าไปได้ภายหลังจากที่สถาปัตยกรรมข้อมูลถูกสร้างขึ้นแล้ว มันต้องถูกฝังไว้ตั้งแต่ขั้นตอนการออกแบบ
• การตรวจสอบไม่ใช่ภาระเพิ่มเติม แต่มันคืองานหลัก: การตรวจสอบข้อมูลเป็นเวลาหกสัปดาห์เป็นขั้นตอนที่มีคุณค่าที่สุดของการว่าจ้างครั้งนี้ มันเผยให้เห็นความสัมพันธ์เชิงพึ่งพาและความเสี่ยงที่มิฉะนั้นจะทำให้เกิดความล้มเหลวระหว่างการติดตั้ง AI

โครงการพัฒนาซอฟต์แวร์ด้านการผลิตในภูมิภาคเอเปคที่ข้ามขั้นตอนโครงสร้างพื้นฐานมีแนวโน้มที่จะย้อนกลับมาที่ขั้นตอนนั้นหลังจากความล้มเหลวในการติดตั้ง AI ที่มีค่าใช้จ่ายสูง การแก้ไขปัญหานี้ก่อนเป็นเส้นทางที่เร็วกว่าอย่างสม่ำเสมอ

คำถามที่พบบ่อย: โครงสร้างพื้นฐานด้านข้อมูลของผู้ผลิตในอาเซียนและการติดตั้ง AI

บริษัทตัดสินใจอย่างไรว่าโครงสร้างพื้นฐานด้านข้อมูลต้องมาก่อน AI?

ระหว่างการฝึกซ้อมกำหนดขอบเขตทางเทคนิคเบื้องต้น ทีมวิศวกรรมพยายามกำหนดว่าข้อมูลใดที่โมเดล AI จะบริโภค การฝึกซ้อมนั้นเผยให้เห็นความล่าช้าในการซิงค์ 15 นาทีและการกระจัดกระจายทั่วทั้งระบบตลาด ข้อกำหนดของ AI ทำให้ปัญหาโครงสร้างพื้นฐานปรากฏชัดในรูปแบบที่เป็นรูปธรรม

ต้นทุนทั่วไปสำหรับการสร้างโครงสร้างพื้นฐานด้านข้อมูลใหม่ในระดับนี้คือเท่าใด?

ต้นทุนแตกต่างกันอย่างมากขึ้นอยู่กับจำนวนแหล่งข้อมูล ระดับของการกระจัดกระจาย และข้อกำหนดด้านการปฏิบัติตามกฎระเบียบที่เกี่ยวข้อง การว่าจ้างที่มีขอบเขตและความซับซ้อนนี้มักเกี่ยวข้องกับทีมวิศวกรรมที่ต่อเนื่องเป็นเวลาสามถึงหกเดือน Gradion สามารถให้การประมาณการตามขอบเขตหลังจากการตรวจสอบข้อมูลเบื้องต้น

บริษัทสามารถติดตั้ง AI ได้หรือไม่โดยไม่ต้องแก้ไขโครงสร้างพื้นฐานด้านข้อมูลก่อน?

ในทางเทคนิคแล้ว ได้ ในทางปฏิบัติ โมเดล AI จะดำเนินการบนข้อมูลที่ล้าสมัยและไม่สอดคล้องกัน สร้างผลลัพธ์ที่ไม่น่าเชื่อถือ ความเสี่ยงด้านการปฏิบัติงานจากการดำเนินการตามคำแนะนำ AI ที่ผิดพลาดในระดับ GMV 400 ล้านดอลลาร์สหรัฐทำให้แนวทางนั้นไม่สามารถยอมรับได้สำหรับผู้บริหารของบริษัท

สิ่งนี้นำไปใช้กับผู้ผลิตนอกภาค health-tech ได้อย่างไร?

ความท้าทายหลัก ข้อมูลที่กระจัดกระจาย การซิงโครไนซ์แบบเป็นชุด และข้อจำกัดด้านการปฏิบัติตามกฎระเบียบ เป็นเรื่องปกติทั่วทั้งผู้ผลิตในอาเซียนในด้านโลจิสติกส์ สินค้าอุปโภคบริโภค และอุปกรณ์อุตสาหกรรม กฎระเบียบเฉพาะแตกต่างกันไป แต่รูปแบบโครงสร้างพื้นฐานและแนวทางการแก้ไขสามารถนำไปปรับใช้ได้อย่างกว้างขวาง

ทีมวิศวกรรมเวียดนามมีบทบาทอะไร?

วิศวกรของ Gradion ที่ตั้งอยู่ในเวียดนามได้ฝังตัวร่วมกับทีมของลูกค้าตลอดระยะเวลาของการสร้างโครงสร้างพื้นฐานด้านข้อมูลใหม่ พวกเขามีส่วนร่วมในการตรวจสอบ การออกแบบ schema การพัฒนาไปป์ไลน์ และการตรวจสอบการปฏิบัติตามกฎระเบียบ สิ่งนี้มอบศักยภาพด้านวิศวกรรมเพิ่มเติมให้กับลูกค้าโดยไม่ต้องผ่านกระบวนการจ้างงานในประเทศที่ยืดเยื้อ ซึ่งเป็นปัจจัยสำคัญเมื่อพิจารณาถึงแรงกดดันด้านเวลาของแผนงานการติดตั้ง AI