Data science

ภายในเทคนิคการเพิ่มประสิทธิภาพของ eBay สำหรับการปรับขนาด AI

การทำให้ซอฟต์แวร์ถูกต้องเป็นสิ่งสำคัญเมื่อต้องพัฒนาโมเดลการเรียนรู้ของเครื่อง เช่น ระบบการแนะนำหรือการจัดหมวดหมู่ แต่ที่ eBay การเพิ่มประสิทธิภาพซอฟต์แวร์ให้ทำงานบนฮาร์ดแวร์บางชิ้นโดยใช้เทคนิคการกลั่นและการหาปริมาณเป็นสิ่งสำคัญอย่างยิ่งเพื่อให้แน่ใจว่าสามารถปรับขนาดได้ หัวหน้าฝ่ายแมชชีนเลิร์นนิงของ eBay และ NLP Selcuk Kopru อธิบายว่าบริษัทปรับโมเดลการเรียนรู้ของเครื่องให้เหมาะสมเพื่อรองรับตลาดที่ขับเคลื่อนด้วย AI ในงานนำเสนอที่จัดขึ้นก่อนหน้านี้ที่งาน AI Hardware Summit ซึ่งเป็นงานไฮบริดที่จัดขึ้นแบบเสมือนจริงและในประวัติศาสตร์คอมพิวเตอร์ พิพิธภัณฑ์ในเมาน์เทนวิว แคลิฟอร์เนียสัปดาห์นี้ “ เพื่อสร้างตลาดระดับโลกอย่างแท้จริงซึ่งขับเคลื่อนด้วยความทันสมัยและบริการ AI ที่ทรงพลังและปรับขนาดได้” Kopru กล่าว “คุณต้องทำการเพิ่มประสิทธิภาพมากมายหลังจากการฝึกโมเดล และโดยเฉพาะอย่างยิ่งสำหรับฮาร์ดแวร์เป้าหมาย” แน่นอนว่าอีเบย์ไม่ใช่คนแปลกหน้าในการขยายขนาด ด้วยรายชื่อที่มีการใช้งาน 1.5 พันล้านรายการจากผู้ขายที่มีการใช้งานมากกว่า 19 กว่าล้านรายที่พยายามเข้าถึง 159 ผู้ซื้อที่ใช้งานอยู่นับล้านราย อีคอมเมิร์ซยักษ์ใหญ่มีการเข้าถึงทั่วโลกที่ตรงกับบริษัทเพียงไม่กี่แห่ง การเรียนรู้ของเครื่องและเทคนิค AI อื่นๆ เช่น การประมวลผลภาษาธรรมชาติ (NLP) มีบทบาทสำคัญในการปรับขนาดการดำเนินงานของ eBay เพื่อเข้าถึงผู้ชมจำนวนมาก ตัวอย่างเช่น คำอธิบายรายการผลิตภัณฑ์ที่สร้างขึ้นโดยอัตโนมัติเป็นสิ่งสำคัญสำหรับการแสดงข้อมูลบนหน้าจอขนาดเล็กของสมาร์ทโฟน Kopru กล่าว eBay ฝึกเวอร์ชันของหม้อแปลงไฟฟ้า BERT โดยใช้ระบบ GPU (รูปภาพมารยาท eBay) “คำอธิบายรายการแบบเต็มใหญ่เกินไปที่จะแสดงบนหน้าจอมือถือและ การสร้างคำอธิบายโดยสรุปเป็นสิ่งสำคัญในประสบการณ์นี้” เขากล่าว “การแยกคุณลักษณะจากการรีวิวผลิตภัณฑ์ การกรองรีวิวผลิตภัณฑ์ การประเมินการจัดส่งและการส่งมอบ และการชำระเงินและการตรวจจับการฉ้อโกงในการสื่อสารระหว่างสมาชิกกับสมาชิก ทั้งหมดนี้ล้วนได้ประโยชน์จาก AI” eBay ใช้โฮสต์ของเทคนิค AI และ ML เพื่อรวบรวมข้อมูลเชิงลึกจากรายชื่อและข้อมูลอื่น ๆ ที่มีอยู่ ซึ่งรวมถึงโมเดลหม้อแปลงไฟฟ้าที่ใช้โครงข่ายประสาทเทียม เช่น BERT, GPT-2 และ GPT-3 สำหรับการอนุมานข้อมูลจากข้อความ ตลอดจน K-Nearest Neighbors (KNN) ซึ่งเป็นอัลกอริธึมการเรียนรู้ของเครื่องภายใต้การดูแล สำหรับการจำแนกรูปภาพ สำหรับการทำความเข้าใจข้อความและการสรุป eBay ใช้รุ่นที่กำหนดเองของรุ่นหม้อแปลง BERT ขนาดใหญ่ที่เรียกว่า eBERT ตามที่ Kopru อธิบาย บริษัทเริ่มต้นด้วยการพัฒนาฟังก์ชันความคล้ายคลึงกันที่แสดงชื่อรายการผลิตภัณฑ์เป็นเวกเตอร์ในพื้นที่ที่ใช้ร่วมกัน ในการนำเสนอของเขาที่งาน AI Hardware Summit พื้นที่ป้อนผลิตภัณฑ์ถูกจำกัดให้อยู่ในสองมิติ “แน่นอนว่าการใช้งานจริงสามารถเพิ่มขนาดได้หลายร้อยมิติ” เขากล่าว การค้นหาความคล้ายคลึงกันระหว่างชื่อรายการช่วยในการจับคู่รายการสินค้ากับสินค้าในแค็ตตาล็อก และยังสามารถใช้เพื่อค้นหาผลิตภัณฑ์ที่ซ้ำกัน “การมีแค็ตตาล็อกที่สะอาดเป็นสิ่งสำคัญมากสำหรับประสบการณ์ด้านอีคอมเมิร์ซ” Kopru กล่าว eBay ฝึก eBERT บนคลัสเตอร์ที่ประกอบด้วย Nvidia V19 GPUs จากข้อมูลของ Kopru จะใช้เวลาสองสัปดาห์ในการฝึกโมเดล eBERT ให้เสร็จสมบูรณ์ เนื่องจากการฝึกอบรม eBERT เป็นงานที่มีราคาแพง บริษัทจึงพยายามอย่างหนักเพื่อให้แน่ใจว่านักวิจัยและวิศวกรของ eBay สามารถเข้าถึงโมเดลที่ได้รับการฝึกอบรมได้อย่างมีประสิทธิภาพ โดยใช้โค้ด Python เพียงไม่กี่บรรทัด eBay ใช้การตั้งค่า NUMA เพื่อเร่งความเร็วการอนุมานของระบบประสาทสำหรับโมเดล eBERT (มารยาทรูปภาพ eBay) แต่เนื่องจากขนาดของมัน eBert จึงไม่เหมาะที่จะใช้ออนไลน์เพื่อวัตถุประสงค์ในการอนุมาน “คุณไม่สามารถแค่นำไปผลิตได้” Kopru กล่าว “ดังนั้นเราจึงใช้เทคนิคต่างๆ เช่น การกลั่นแบบจำลองและการหาปริมาณเพื่อปรับปรุงปริมาณงานของแบบจำลอง” การกลั่นเป็นวิธีการบีบอัดแบบจำลองโดยใช้แบบจำลอง “นักเรียน” ที่เล็กกว่าเพื่อให้ตรงกับแบบจำลอง “ครู” ขนาดใหญ่ที่ผ่านการฝึกอบรมมาแล้ว รวมถึงเทคนิคเฉพาะที่มุ่งลดการสูญเสียความแม่นยำให้น้อยที่สุด การหาปริมาณเป็นวิธีการที่ใช้ในการดำเนินการบางส่วนของแบบจำลองบนเทนเซอร์ที่มีจำนวนเต็มแทนที่จะเป็นค่าทศนิยม การแลกเปลี่ยนความแม่นยำจากการใช้การกลั่นและการหาปริมาณนั้นคุ้มค่าสำหรับ eBay Kopru กล่าว “เราสามารถฝึกโมเดลที่เร็วขึ้น 3 เท่า และเพิ่มปริมาณงานเพิ่มขึ้น 3 เท่า โดยลดความแม่นยำลง 3%” เขากล่าว “การแลกเปลี่ยนนี้เป็นสิ่งที่ดีโดยพิจารณาจากผลลัพธ์ที่เราได้รับ เรายินดีที่จะทำอย่างนั้นต่อไป” ในขณะที่อีเบย์ทำการฝึกอบรมการเรียนรู้เชิงลึกทั้งหมดเกี่ยวกับ GPU อย่างหมดจด สำหรับการอนุมาน ก็ใช้วิธีไฮบริดที่มีซีพียู สำหรับงานอนุมาน eBay ใช้เทคโนโลยี Deep Learning Boost (DL Boost) ของ Intel ซึ่งใช้ Vector Neural Network Instruction (VNNI) กับชุดคำสั่ง AVX-512 ของ Intel นอกจากนี้ยังใช้การหาปริมาณจำนวนเต็ม 8 บิต Kopru กล่าว ระบบถูกปรับใช้และปรับขนาดในแนวนอนบนคลัสเตอร์ Kubernetes ที่กำหนดค่าโดยใช้ NUMA เขากล่าว “การใช้งานแบบกำหนดเองของเราเพิ่มปริมาณงานเป็นสองเท่าโดยมีเวลาแฝงครึ่งหนึ่งเมื่อเทียบกับการใช้งานที่ไม่ใช่ VNNI” เขากล่าว eBay ใช้เทคนิคเดียวกันนี้เพื่อเพิ่มประสิทธิภาพการตั้งค่า kNN ซึ่งใช้สำหรับการจัดประเภทรูปภาพ บริษัทได้จับคู่ระบบการจำแนกรูปภาพ kNN กับไลบรารี Hierarchical Navigable Small World (HNSW) เพื่อเพิ่มประสิทธิภาพการค้นหาในพื้นที่ kNN สำหรับการอนุมานนั้น ยังนำการควอนไทซ์จำนวนเต็ม 8 หลักและไลบรารี DL Boost ของ Intel มาด้วย Selcuk Kopru เป็นหัวหน้าฝ่ายแมชชีนเลิร์นนิงและ NLP ที่ eBay การใช้ HNSW ช่วยให้การค้นหา kNN ดำเนินการในระดับสูงและรักษาเวลาแฝงต่ำและปริมาณงานสูงในแค็ตตาล็อกที่มีรายการนับพันล้านรายการ โดยแต่ละรายการมีมากถึง 768 ขนาดตาม Kopru. “เมื่อเทียบกับการใช้งานที่มีอยู่ เราสังเกตเห็นความเร็วที่เพิ่มขึ้น 2.5 เท่าในแง่ของเวลาแฝง จาก 17 มิลลิวินาทีถึง 7 มิลลิวินาที” เขากล่าว Kopru ให้ผู้ฟังฟังด้วยความคิดเล็กน้อยว่าพวกเขาจะนำสิ่งที่ได้เรียนรู้ไปใช้กับปัญหาเฉพาะของตนได้อย่างไร สำหรับผู้เริ่มต้น ความคล้ายคลึงกันเป็นเครื่องมือที่ทรงพลังที่สามารถใช้เพื่อแก้ปัญหา AI มากมายในอีคอมเมิร์ซและในสาขาอื่นๆ Kopru กล่าว “ข้อความที่สองของฉันมีไว้สำหรับเวลาแฝงและปริมาณงาน” เขากล่าว “จำเป็นต้องทำการปรับให้เหมาะสมมากมาย ในเกือบทุกขั้นตอนของวงจรการเรียนรู้ของแมชชีนเลิร์นนิง ไม่ว่าจะเป็นในการฝึกอบรมหรือการอนุมาน เราต้องแน่ใจว่าเรากำลังใช้วิธีการเพิ่มประสิทธิภาพที่เหมาะสม เช่น การกลั่นและการหาปริมาณบนแพลตฟอร์มเหล่านั้น” สุดท้าย Kopru สนับสนุนให้ผู้ปฏิบัติงานพิจารณาใช้วิธีการแบบผสมสำหรับการอนุมานเพื่อให้บรรลุเป้าหมายการใช้ประโยชน์และประสิทธิภาพด้านต้นทุน อีเบย์ยังจับตาดู TPU เพื่อการเปรียบเทียบ “เทคนิคเหล่านี้เป็นที่รู้จักกันดี และผมแนะนำให้ทุกคนใช้เทคนิคเหล่านี้” เขากล่าว รายการที่เกี่ยวข้อง: การเพิ่มประสิทธิภาพ AI และประสิทธิภาพการเรียนรู้เชิงลึก เคล็ดลับสามประการในการขยายข้อมูลขนาดเล็กสำหรับการเรียนรู้เชิงลึกหนึ่งโมเดลเพื่อควบคุมพวกเขาทั้งหมด: Transformer Networks นำ AI 2.0, Forrester กล่าว

Leave a Reply

Your email address will not be published. Required fields are marked *

Back to top button