นี่คือกระบวนการทางวิศวกรรม (MLOps) ที่ช่วยเชื่อมรอยต่อระหว่างโมเดล AI ที่ทำงานได้ดีเพียงแค่ในสภาพแวดล้อมทดลอง (Notebook) ให้กลายเป็นระบบปฏิบัติการจริงที่ธุรกิจสามารถพึ่งพาได้ บริการของเราดูแลครอบคลุมตั้งแต่การออกแบบสถาปัตยกรรม Data Pipeline การเฝ้าระวังความคลาดเคลื่อนของโมเดล (Model Drift) ไปจนถึงการควบคุมต้นทุน ทั้งหมดนี้จะถูกพัฒนาขึ้นให้สอดประสานกันเป็นระบบเดียวแบบเบ็ดเสร็จ (End-to-end) ไม่ใช่แค่การตามแก้ปัญหาเฉพาะหน้าแบบแยกส่วน

โมเดลที่ทำงานได้ดีในสภาพแวดล้อมการทดลอง (notebook) ไม่ใช่ระบบที่พร้อมใช้งานจริง ช่องว่างระหว่างสองสิ่งนี้คือจุดที่โครงการ AI ส่วนใหญ่หยุดชะงัก

ไปป์ไลน์ข้อมูลที่เคยทำงานได้ดีกับชุดข้อมูลควบคุม อาจล้มเหลวเมื่อเจอรูปแบบการใช้งานจริง ความหน่วงในการประมวลผลที่ยอมรับได้ในการสาธิต กลายเป็นปัญหาด้านประสบการณ์ผู้ใช้เมื่อขยายขนาด ประสิทธิภาพของโมเดลลดลงอย่างเงียบๆ ตลอดหลายสัปดาห์เมื่อการกระจายตัวของข้อมูลอินพุตเปลี่ยนไป ไม่มีใครสังเกตเห็นจนกว่าผลลัพธ์ทางธุรกิจจะเปลี่ยนแปลง

องค์กรส่วนใหญ่มักมองว่าการออกแบบไปป์ไลน์ การจัดการเวอร์ชันโมเดล โครงสร้างพื้นฐานสำหรับการอนุมาน และการเฝ้าระวัง เป็นปัญหาแยกส่วนที่ต้องแก้ไขในภายหลัง แต่ Gradion มองว่าสิ่งเหล่านี้คือระบบวิศวกรรมเดียวที่ต้องสร้างขึ้นตั้งแต่เริ่มต้น

แนวทางการทำงานร่วมกับเรา

สำหรับทีมขนาดเล็ก:MLOps-Lite ใช้หลักการเดียวกันแต่มีน้ำหนักการดำเนินงานที่เบากว่า กำหนดขอบเขตงานภายในสองสัปดาห์ และส่งมอบโครงสร้างพื้นฐานหลักภายในแปดสัปดาห์ ประกอบด้วยการติดตามการทดลอง, ระบบจัดเก็บโมเดลแบบเบา, การปรับใช้ระบบอัตโนมัติ และการเฝ้าระวังที่เพียงพอต่อจำนวนโมเดล - โดยไม่มีค่าใช้จ่ายเพิ่มเติมของแพลตฟอร์ม ML ระดับองค์กร

เราทำงานร่วมกับแพลตฟอร์ม ML ที่คุณมีอยู่ หรือสร้างขึ้นใหม่ให้คุณ ไม่ว่าจะเป็น Kubeflow, MLflow, SageMaker, Vertex AI - เราเชื่อว่าหลักการทำงานที่ถูกต้องสำคัญกว่าเครื่องมือ

สิ่งที่เราสร้าง

แกนหลัก: ไปป์ไลน์และวงจรชีวิตโมเดล

วิศวกรรมไปป์ไลน์ ML สำหรับการใช้งานจริงไปป์ไลน์ ML แบบครบวงจรที่สามารถทำซ้ำได้ ทดสอบได้ และมีการควบคุมเวอร์ชัน การทำ Feature Engineering พร้อมการติดตามที่มาของข้อมูล, การฝึกโมเดลที่สามารถทำซ้ำได้จาก commit hash, ระบบจัดเก็บโมเดลที่มีเกณฑ์การเลื่อนระดับ และไปป์ไลน์การปรับใช้ที่จัดการโมเดลเสมือนเป็นโค้ดแอปพลิเคชัน ผลลัพธ์คือไปป์ไลน์ที่คุณสามารถตรวจสอบได้ ไม่ใช่แค่ไฟล์ notebook ที่ใครบางคนเคยรันเพียงครั้งเดียว

การเฝ้าระวังโมเดลและการตรวจจับความคลาดเคลื่อนโมเดลมีแนวโน้มที่จะเสื่อมประสิทธิภาพลง คำถามคือคุณจะรู้จากแดชบอร์ด หรือจากข้อร้องเรียนของลูกค้า เราติดตั้งระบบเฝ้าระวังเชิงสถิติให้กับโมเดลที่ใช้งานจริง เพื่อติดตามการเปลี่ยนแปลงการกระจายตัวของข้อมูลอินพุต, การลดลงของความเชื่อมั่นผลลัพธ์ และความแตกต่างของตัวชี้วัดทางธุรกิจ การแจ้งเตือนจะทำงานก่อนที่ประสิทธิภาพจะลดลงจนถึงเกณฑ์ที่ส่งผลกระทบต่อธุรกิจ

ไปป์ไลน์การฝึกโมเดลใหม่การฝึกโมเดลใหม่โดยอัตโนมัติช่วยเชื่อมโยงการเฝ้าระวังและการปรับปรุงเข้าด้วยกัน ไปป์ไลน์จะทำงานเมื่อตรวจพบสัญญาณความคลาดเคลื่อนหรือตามกำหนดเวลาที่ตั้งไว้ มีการตรวจสอบความถูกต้องกับชุดข้อมูลประเมินที่แยกไว้ และจะเลื่อนระดับสู่การใช้งานจริงก็ต่อเมื่อผ่านเกณฑ์ประสิทธิภาพที่กำหนด สำหรับกรณีการใช้งานในภาคการเงินและการยืนยันตัวตน ทุกการฝึกโมเดลใหม่จะสร้างบันทึกที่สามารถตรวจสอบได้ตามข้อกำหนดด้านกฎระเบียบ

โครงสร้างพื้นฐาน: การให้บริการและข้อมูล

โครงสร้างพื้นฐานสำหรับการอนุมานการอนุมานคือจุดที่ต้นทุน AI จะถูกควบคุมหรือพุ่งสูงขึ้น เราออกแบบรูปแบบการให้บริการที่เหมาะสมกับลักษณะการโหลด: แบบแบตช์, แบบเรียลไทม์ หรือแบบอะซิงโครนัส มีการปรับขนาดการประมวลผลให้เหมาะสม, การใช้แคชในจุดที่ความหน่วงยอมรับได้, และมีการเปรียบเทียบกับเป้าหมายด้านต้นทุนและ SLA ก่อนการใช้งานจริง สำหรับโมเดลที่ต้องพึ่งพา GPU: เรากำหนดเกณฑ์การใช้งาน, กลยุทธ์การใช้ Spot Instance และการทำ Model Quantisation ในกรณีที่ความแม่นยำยังอยู่ในเกณฑ์ที่ยอมรับได้

วิศวกรรมไปป์ไลน์ข้อมูล MLข้อมูลต้นน้ำคือปัจจัยสำคัญสำหรับทุกผลลัพธ์ของ ML เราสร้าง Data Pipeline ที่ออกแบบมาสำหรับ ML โดยเฉพาะ เพื่อจัดการการนำเข้า การแปลงข้อมูล การตรวจสอบความถูกต้อง และการติดตามแหล่งที่มาของข้อมูล (Lineage Tracking) เพื่อให้มั่นใจถึงความสามารถในการทำซ้ำ (Reproducibility) การปฏิบัติตามข้อกำหนด GDPR ถูกออกแบบมาตั้งแต่ระดับ Pipeline ไม่ใช่การแก้ไขเพิ่มเติมภายหลัง หากการประเมินพบว่า Data Layer คือคอขวด ไม่ใช่ตัวโมเดล เราจะแก้ไขส่วนนี้ก่อน โดยใช้ความเชี่ยวชาญด้าน Data Engineering ของ Gradion

การเพิ่มประสิทธิภาพ: ต้นทุนและการกำกับดูแล

การตรวจสอบต้นทุนสำหรับ AIการใช้ทรัพยากร AI/ML มักเป็นรายการค่าใช้จ่ายที่ใหญ่ที่สุดและเข้าใจยากที่สุดในงบประมาณโครงสร้างพื้นฐานทางเทคนิค เราเชื่อมโยงค่าใช้จ่ายเข้ากับมูลค่าทางธุรกิจ: โมเดลใดมีค่าใช้จ่ายเท่าไรในการให้บริการ ต้นทุนต่อการอนุมาน (Cost-per-inference) อยู่ที่เท่าไรเมื่อเทียบกับปริมาณปัจจุบัน และการเปลี่ยนแปลงสถาปัตยกรรมใดจะช่วยลดต้นทุนได้โดยไม่ลดทอนคุณภาพของผลลัพธ์

การจัดเก็บข้อมูลในประเทศสำหรับ ML Workloads

สำหรับ ML Workloads ที่อยู่ภายใต้การกำกับดูแล โดยเฉพาะในภาคบริการทางการเงิน การยืนยันตัวตน และการดูแลสุขภาพ ซึ่งการฝึกโมเดลและการรัน Inference เป็นการตัดสินใจด้าน Compliance ไม่ใช่แค่ทางเลือกด้านโครงสร้างพื้นฐาน

เราติดตั้งโครงสร้างพื้นฐานสำหรับการฝึกและให้บริการบน EU sovereign cloud หรือ On-premise อย่างสมบูรณ์ตามความจำเป็น โมเดลแบบ Open-weight (Llama, Mistral, Phi) ช่วยให้สามารถทำ Inference แบบ On-premise ได้โดยไม่ต้องพึ่งพา External API ข้อมูลที่ใช้สำหรับการฝึก การประเมิน และการฝึกซ้ำ จะยังคงอยู่ในขอบเขตการจัดเก็บข้อมูลในประเทศตลอดวงจรชีวิตของโมเดล

ผลลัพธ์ที่พิสูจน์ได้ในการใช้งานจริง

IDNow - ML แบบเรียลไทม์ภายใต้ข้อกำหนดที่เข้มงวดIDNow ผู้ให้บริการยืนยันตัวตนด้วย AI ชั้นนำของยุโรป ต้องการ ML แบบเรียลไทม์ในการใช้งานจริง ภายใต้ข้อจำกัดด้าน Latency และความน่าเชื่อถือของการยืนยันตัวตนที่อยู่ภายใต้การกำกับดูแล Gradion ได้ดูแลงานด้าน ML Engineering ภายในองค์กรของ IDNow มาหลายปี ครอบคลุมการพัฒนาโมเดลสำหรับการวิเคราะห์เอกสาร การจับคู่ใบหน้า และการตรวจจับการฉ้อโกงในระดับองค์กร โดยมีการสร้าง Compliance และ Auditability ไว้ในทุกการติดตั้งใช้งาน

Shopware - ฟีเจอร์ AI ระดับ Production ที่รองรับ Ecosystem ขนาดใหญ่Shopware นำเสนอคุณสมบัติที่ขับเคลื่อนด้วย AI เช่น Flow Builder, คำอธิบายผลิตภัณฑ์ที่สร้างโดย AI และการค้นหาอัจฉริยะ ซึ่งถูกใช้งานทุกวันโดยผู้ค้าหลายแสนรายทั่วยุโรป ทีมวิศวกร 21 คนของ Gradion ได้สร้างความสามารถเหล่านี้ให้เป็นฟีเจอร์ระดับ Production ภายในแพลตฟอร์ม ไม่ใช่แค่ต้นแบบ ความร่วมมือนี้ช่วยลดต้นทุนการพัฒนา (COGS) ของ Shopware ได้ประมาณ 40%

Procelo - AI Agent ที่คุ้มค่าภายใน 8 สัปดาห์Procelo ได้ร่วมงานกับ Gradion เพื่อประเมินความเป็นไปได้และออกแบบ AI Agent สำหรับการวิเคราะห์ข้อมูลอัตโนมัติ การวิเคราะห์ต้นทุนและ Latency เป็นผลลัพธ์หลักที่ต้องส่งมอบ เนื่องจากโมเดลที่ทำงานถูกต้องแต่มีโปรไฟล์ต้นทุนที่ไม่เหมาะสมนั้นไม่ใช่ผลิตภัณฑ์ที่ใช้งานได้จริง Agent ดังกล่าวสามารถทำความแม่นยำในการสอบถาม SQL ได้มากกว่า 80% ในโครงสร้าง ERP ที่ซับซ้อน ภายในระยะเวลาการทำงานแปดสัปดาห์

ตัวเลขทั้งหมดมาจากโครงการที่ดำเนินการจริง สามารถขอข้อมูลอ้างอิงเพิ่มเติมได้ภายใต้ข้อตกลง NDA

คุณภาพข้อมูลต้นน้ำ

การประเมิน MLOps บางครั้งเผยให้เห็นว่าคอขวดไม่ได้อยู่ที่โมเดลหรือ Pipeline แต่อยู่ที่ข้อมูลที่ป้อนเข้าสู่ระบบ Schema ที่ไม่สอดคล้องกัน แหล่งข้อมูลที่กระจัดกระจาย และการแปลงข้อมูลที่ไม่มีเอกสาร จะบั่นทอนประสิทธิภาพของโมเดล ไม่ว่าโครงสร้างพื้นฐาน ML จะถูกสร้างมาดีเพียงใดก็ตาม

หากคุณภาพข้อมูลเป็นข้อจำกัด เราจะใช้ความเชี่ยวชาญด้าน Data Engineering ของ Gradion เพื่อแก้ไขรากฐานก่อนที่จะสร้างสิ่งอื่นใดเพิ่มเติม