Data science

5 ความเข้าใจผิดของการสังเกต ML

ในคุณสมบัติพิเศษของแขกรับเชิญนี้ Aparna Dhinakaran ประธานเจ้าหน้าที่ฝ่ายผลิตภัณฑ์ของ Arize AI อธิบายถึงความเข้าใจผิดที่ใหญ่ที่สุดห้าประการเกี่ยวกับความสามารถในการสังเกตของแมชชีนเลิร์นนิง Arize AI เป็นสตาร์ทอัพที่เน้น ML Observability Aparna เคยเป็นวิศวกร ML ของ Uber, Apple และ Tubemogul (ซื้อกิจการโดย Adobe) ระหว่างที่เธอทำงานที่ Uber เธอได้สร้างแพลตฟอร์ม ML Infrastructure หลักจำนวนหนึ่ง รวมถึง Michaelangelo เธอจบปริญญาตรีจากหลักสูตรวิศวกรรมไฟฟ้าและวิทยาการคอมพิวเตอร์ของเบิร์กลีย์ ซึ่งเธอได้ตีพิมพ์งานวิจัยร่วมกับกลุ่มวิจัย AI ของเบิร์กลีย์ เธอลาพักจาก Computer Vision Ph.D. โปรแกรมที่มหาวิทยาลัยคอร์เนล ในปีที่ผ่านมา เราได้ใช้เวลามากมายกับวิศวกร ML เพื่อทำความเข้าใจและปรับปรุงผลลัพธ์ของการริเริ่มการเรียนรู้ด้วยเครื่องของพวกเขา ตั้งแต่สตาร์ทอัพที่สร้างธุรกิจทั้งหมดโดยใช้ ML ไปจนถึงสถาบันการเงินที่ใหญ่ที่สุดในโลก เทคนิค ML ได้เพิ่มพลังให้กับเทคโนโลยีชิ้นสำคัญที่ผู้คนโต้ตอบด้วยทุกวัน แม้จะมีการลงทุนมหาศาลใน ML แต่เรายังอยู่ในขั้นตอนการทดลองอย่างมาก และอัตราความสำเร็จก็แตกต่างกันไปตามแต่ละแอปพลิเคชัน คำถามทั่วไปที่เราได้ยินจากลูกค้าคือ: เมื่อโมเดลต่างๆ ออกไปทำการตัดสินใจในโลกแล้ว เราจะแน่ใจได้อย่างไรว่าเทคโนโลยีเหล่านี้ใช้งานได้จริง ความจริงก็คือ การส่งมอบโมเดล ML คุณภาพสูงอย่างต่อเนื่องนั้นยาก และการทำให้มั่นใจว่าโมเดลเหล่านี้ยังคงทำงานได้ดียาวนานในการผลิตนั้นยากยิ่งกว่า ML Observability เป็นกุญแจสำคัญในการเชื่อมช่องว่างนี้ ความสามารถในการสังเกตของ ML คือความสามารถพื้นฐานในการมองดูประสิทธิภาพของโมเดล ML ของคุณ เพื่อหาจุดต่ำสุดของสิ่งที่ผิดพลาดและเพื่อแก้ไขปัญหาพื้นฐาน ด้วยเหตุนี้ ความสามารถในการสังเกตของ ML จึงช่วยให้ทีมสามารถส่งมอบผลลัพธ์คุณภาพสูงอย่างต่อเนื่องจากห้องปฏิบัติการวิจัยผ่านการผลิต น่าเสียดาย การเกิดขึ้นของเครื่องมือการสังเกต ML ไม่ได้นำไปสู่คู่มือที่เข้าใจได้ง่ายว่าต้องทำอย่างไรเมื่อแบบจำลองของคุณทำงานผิดปกติในห้องปฏิบัติการหรือในการผลิต เนื่องจากลักษณะที่ซับซ้อนของสถานการณ์การใช้งาน ML หลายๆ สถานการณ์ แต่ละสถานการณ์มีความยุ่งยากต่างกัน จึงไม่มีขนาดเดียวที่เหมาะกับโซลูชันทั้งหมดสำหรับทุกทีม หากเราลองคิดดู ก็ไม่น่าแปลกใจเพราะบ่อยครั้งที่เทคโนโลยีใหม่ๆ มักเกี่ยวข้องกับการค้นหาผ่านพื้นที่ที่ไม่คุ้นเคยซึ่งเต็มไปด้วยการเลี้ยวผิดและการก้าวพลาดมากมาย เมื่อเครื่องมือปรากฏขึ้นเพื่ออำนวยความสะดวกในสามขั้นตอนของเวิร์กโฟลว์แมชชีนเลิร์นนิง ได้แก่ การเตรียมข้อมูล การสร้างแบบจำลอง และการผลิต เป็นเรื่องปกติที่ทีมจะพัฒนาความเข้าใจผิดในขณะที่พวกเขาพยายามทำความเข้าใจพื้นที่โครงสร้างพื้นฐาน ML ที่แออัด สับสน และซับซ้อน ดูเหมือนว่าจะคุ้มค่าที่จะปัดเป่าสิ่งที่พบบ่อยที่สุดบางส่วนในพื้นที่การสังเกตของ ML ความเข้าใจผิดที่ใหญ่ที่สุด 5 ประการคือ 1) การค้นพบปัญหามีชัยไปกว่าครึ่ง แม้ว่าหลายคนมักจะพูดว่าการรู้เป็นการต่อสู้เพียงครึ่งเดียวเมื่อแก้ไขปัญหาด้วยโมเดลของคุณ เช่นเดียวกับ 90% ของภูเขาน้ำแข็งที่อยู่ใต้เส้นน้ำ ความท้าทายส่วนใหญ่ในการจัดการระบบ ML ที่ซับซ้อนนั้นไม่ได้อยู่ที่การเข้าใจว่าภูเขาน้ำแข็งอยู่บนขอบฟ้า (การตรวจสอบ) ค่อนข้างจะเป็นจริง ปัญหาคือสิ่งที่แฝงอยู่ด้านล่าง (การสังเกตได้) ทีมที่ใช้กระบวนทัศน์การตรวจสอบ “ไฟแดง/ไฟเขียว” จะต้องดิ้นรนเพื่อให้โมเดลที่สำคัญของพวกเขาทำงานได้ดีในการผลิต เนื่องจากมีหลายวิธีที่ประสิทธิภาพของโมเดลอาจค่อยๆ หายไป ด้วยความสามารถในการสังเกตของ ML ทีมงานสามารถเร่งเวลาในการแก้ไขปัญหาโดยก้าวไปไกลกว่าการรู้ว่ามีปัญหาอยู่ เพื่อที่จะทำความเข้าใจว่าเหตุใดจึงเกิดปัญหาขึ้นตั้งแต่แรกและจะแก้ไขอย่างไร 2) วงจรชีวิต ML เป็นแบบคงที่ ในสภาพแวดล้อม ML โมเดล ML จะถูกดึงข้อมูลอย่างต่อเนื่องซึ่งโดยพื้นฐานแล้วไม่ใช่อินพุตแบบคงที่ ยิ่งไปกว่านั้น บางรุ่นยังได้รับการออกแบบให้มีการพัฒนาอย่างต่อเนื่องในการผลิต ซึ่งโดยทั่วไปจะเรียกว่าโมเดลออนไลน์ นอกจากนี้ งานที่แบบจำลองพยายามดำเนินการอาจเปลี่ยนแปลงเมื่อเวลาผ่านไป ท้ายที่สุดแล้ว เราทุกคนต่างพยายามสร้างแบบจำลองที่สะท้อนปรากฏการณ์บางอย่างในโลกแห่งความเป็นจริงได้อย่างแม่นยำ เกือบทุกคนรู้ว่าการเปลี่ยนแปลงเป็นสิ่งที่หลีกเลี่ยงไม่ได้ในโลกแห่งความเป็นจริง และการคิดอย่างอื่นคือการเตรียมพร้อมสำหรับความล้มเหลว ลักษณะแบบไดนามิกของโมเดล ML และสภาพแวดล้อมที่พวกเขาดำเนินการนั้น ทีม ML ต้องคอยจับตาดูประสิทธิภาพของแบบจำลองอย่างใกล้ชิด เพื่อทำความเข้าใจว่าแบบจำลองของพวกเขาตอบสนองต่อข้อมูลที่เปลี่ยนแปลงและงานที่เปลี่ยนแปลงอย่างไร 3) ความสามารถในการสังเกต ML เป็นเพียงเกี่ยวกับการผลิต เป็นความจริงที่ปัญหามากมายที่ทีมต้องเผชิญเมื่อใช้ ML ในผลิตภัณฑ์ของตนจะพบปัญหาในการผลิต อย่างไรก็ตาม หลักการสังเกต ML ยังสามารถช่วยขจัดปัญหาเหล่านี้ได้ในขั้นตอนการพัฒนาแบบจำลอง ความสามารถในการสังเกตของ ML ยังสามารถนำไปใช้ในการฝึกอบรมและขั้นตอนการตรวจสอบความถูกต้องของการสร้างแบบจำลอง เพื่อให้เข้าใจได้ดีขึ้นว่าแบบจำลองของคุณทำผิดพลาดอย่างไร ตัวอย่างเช่น เครื่องมือความสามารถในการสังเกตสามารถช่วยคาดการณ์ว่าแบบจำลองจะเป็นไปตามความคาดหวังด้านคุณภาพและประสิทธิภาพหรือไม่ครั้งหนึ่งในการผลิต ยิ่งไปกว่านั้น ความสามารถในการสังเกตของ ML ยังสามารถให้สัญญาณเริ่มต้นของความสำเร็จหรือปัญหาพื้นผิวโดยการเปรียบเทียบประสิทธิภาพของแบบจำลองของคุณกับประสิทธิภาพของรุ่นก่อนหน้า นอกจากนี้ ยังช่วยจัดเตรียมคลัสเตอร์ของตัวอย่างที่คุณดำเนินการได้ไม่ดี ซึ่งเป็นเส้นทางสำหรับการปรับปรุงก่อนที่คุณจะปรับใช้โมเดลของคุณ เครื่องมือการสังเกตช่วยให้ทีม ML สามารถตั้งค่าการอ้างอิงพื้นฐานเพื่อเปรียบเทียบประสิทธิภาพการผลิตกับ หากไม่เป็นเช่นนั้น การสังเกตได้ในตัวแบบของคุณสามารถช่วยให้คุณตรวจพบปัญหาได้อย่างรวดเร็วและทราบสาเหตุว่าทำไมปัญหาจึงเกิดขึ้นตั้งแต่แรก 4) ความสามารถในการสังเกตของ ML จะมีผลเฉพาะเมื่อคุณมีโมเดล/การแสดงตามเวลาจริงในแบบเรียลไทม์ ในขณะที่แอปพลิเคชันจำนวนมากเพลิดเพลินไปกับความจริงภาคพื้นดินแบบเรียลไทม์สำหรับการคาดการณ์ของแบบจำลอง แต่ข้อมูลประสิทธิภาพสำหรับบางรุ่นจะไม่พร้อมใช้งานทันทีเนื่องจากลักษณะของแอปพลิเคชัน ในการให้กู้ยืมแก่ผู้บริโภค ตัวอย่างเช่น การเข้าถึงประสิทธิภาพของแบบจำลองตามเวลาจริงนั้นเป็นไปไม่ได้ เนื่องจากมีความล่าช้าระหว่างเวลาที่เงินกู้ได้รับการอนุมัติและเมื่อลูกค้าชำระเงินกู้ออกหรือผิดนัดชำระ ในอุตสาหกรรมบัตรเครดิต ระบบ ML ได้รับการฝึกอบรมเพื่อตรวจหาธุรกรรมบัตรเครดิตที่ผิดปกติ เช่น การซื้อจำนวนมากหรือความผิดปกติทางภูมิศาสตร์ ในหลายกรณี; อย่างไรก็ตาม กิจกรรมที่เป็นการฉ้อโกงจะไม่ถูกตั้งค่าสถานะจนกว่าจะมีการรายงานว่าบัตรเครดิตถูกขโมย สิ่งนี้สามารถเกิดขึ้นได้หลายวัน สัปดาห์ หรือหลายเดือนหลังจากล้างธุรกรรม สถานการณ์เหล่านี้และสถานการณ์อื่นๆ อีกจำนวนหนึ่ง เน้นย้ำถึงความท้าทายที่เจ้าของโมเดลต้องเผชิญเมื่อมีกรอบเวลาที่สำคัญในการรับผลลัพธ์จากการคาดการณ์ของแบบจำลอง อย่างไรก็ตาม ความสามารถในการสังเกตของ ML นั้นสามารถเอาชนะข้อจำกัดของความล่าช้าในข้อมูลประสิทธิภาพของแบบจำลองผ่านการใช้เมทริกซ์พร็อกซี ซึ่งสามารถระบุตำแหน่ง/สาเหตุที่ทำให้เกิดการคาดการณ์ที่มีปัญหาได้ ตัวอย่างเช่น ในการคาดการณ์ว่าผู้บริโภครายใดมีแนวโน้มที่จะผิดนัดชำระหนี้บัตรเครดิตของตนมากที่สุด ตัวชี้วัดความสำเร็จที่เป็นไปได้อาจเป็นเปอร์เซ็นต์ของผู้บริโภคที่ชำระเงินล่าช้า ตัวชี้วัดเหล่านี้และพร็อกซีอื่นๆ ทำหน้าที่เป็นสัญญาณทางเลือกที่สามารถเชื่อมโยงกับความจริงพื้นฐานที่คุณกำลังพยายามประมาณ และทำหน้าที่เป็นเครื่องมือที่มีประสิทธิภาพในการให้ตัวบ่งชี้ที่เป็นปัจจุบันมากขึ้นว่าโมเดลของคุณทำงานเป็นอย่างไร 5) คุณต้องการความจริงพื้นฐานสำหรับการผลิต สำหรับแบบจำลอง ML การผลิตจำนวนมาก ความจริงพื้น ๆ จะปรากฏสำหรับทุกการคาดการณ์ ให้ทัศนวิสัยแบบเรียลไทม์ในประสิทธิภาพของแบบจำลอง ตัวอย่างเช่น ในการโฆษณาดิจิทัล เจ้าของโมเดลสามารถวิเคราะห์ความถูกต้องของการคาดคะเนของการทดสอบโฆษณา A/B และผลลัพธ์สามารถใช้เพื่อเพิ่มประสิทธิภาพแคมเปญตามการมีส่วนร่วมของผู้ใช้ อย่างไรก็ตาม ในกรณีที่ไม่มีความจริงพื้นฐาน ทีมยังคงสามารถวัดประสิทธิภาพของแบบจำลองเมื่อเวลาผ่านไปโดยใช้วิธีการพร็อกซีต่อไปนี้: จ้างผู้ทำหมายเหตุประกอบที่เป็นมนุษย์หรือผู้ติดป้ายกำกับเพื่อให้ข้อเสนอแนะเกี่ยวกับประสิทธิภาพของแบบจำลอง วิธีการนี้อาจมีราคาแพงและใช้เวลานาน อย่างไรก็ตาม รางวัลสำหรับการมีชุดข้อมูลความจริงภาคพื้นดินคุณภาพสูงนั้นมหาศาล เลเวอเรจประสิทธิภาพหรือประสิทธิภาพที่ล้าหลัง ตัวชี้วัดประสิทธิภาพที่ล้าหลังเหล่านี้ไม่ค่อยดีนักในการส่งสัญญาณการถดถอยประสิทธิภาพของแบบจำลองอย่างกะทันหันในแอปพลิเคชันแบบเรียลไทม์ พวกเขาให้ข้อเสนอแนะที่มีความหมายเพื่อให้แน่ใจว่าประสิทธิภาพของแบบจำลองกำลังเคลื่อนที่ไปในทิศทางที่ถูกต้องเมื่อเวลาผ่านไป วัดการเปลี่ยนแปลงในการกระจายของ ผลลัพธ์การคาดการณ์ ดริฟท์สามารถทำหน้าที่เป็นตัวแทนสำหรับประสิทธิภาพและเตือนทีมถึงพฤติกรรมของโมเดลที่ผิดเพี้ยนแม้ว่าจะไม่มีความจริงพื้นฐานปรากฏอยู่ก็ตาม ตัววัดบางตัวที่คุณสามารถใช้วัดค่าความเบี่ยงเบนของการคาดการณ์ได้คือตัววัดระยะการกระจาย เช่น Kullback-Leibler Divergence, ดัชนีความเสถียรของประชากร (PSI), Jensen-Shannon Divergence และอื่นๆ เนื่องจากความสามารถในการสังเกตของ ML ปรากฏเป็นส่วนประกอบพื้นฐานที่ขาดหายไปของโครงสร้างพื้นฐาน ML แอปพลิเคชันและประโยชน์ของมันจึงถูกเปิดเผยอย่างต่อเนื่อง ในฐานะผู้ปฏิบัติงาน เราขอเชิญคุณให้สำรวจว่าความสามารถในการสังเกตของ ML สามารถใช้เพื่อนำเสนอและปรับปรุงแบบจำลองอย่างต่อเนื่องด้วยความมั่นใจและรับข้อได้เปรียบในการแข่งขันของ ML ได้อย่างไร ลงทะเบียนเพื่อรับจดหมายข่าว InsideBIGDATA ฟรี เข้าร่วมกับเราบน Twitter: @InsideBigData1 – https://twitter.com/InsideBigData1

  • บ้าน
  • Business
  • Data science
  • Marketing
  • Leave a Reply

    Your email address will not be published. Required fields are marked *

    Back to top button