Data science

พายุที่สมบูรณ์แบบ: การขาดแคลนชิปจะส่งผลต่อการพัฒนา AI อย่างไร

ปัญหาการขาดแคลนชิปนี้ทำให้เราต้องพึ่งพาฮาร์ดแวร์ในการขับเคลื่อนเศรษฐกิจไฮเทคและชีวิตประจำวันของผู้บริโภค ทุกวันนี้ ชิปสามารถพบได้ในทุกสิ่งตั้งแต่คอนโซลเกม เช่น Xbox Series, PlayStation 5 ไปจนถึงเครื่องใช้ในครัวเรือน เช่น เครื่องซักผ้า ตู้เย็น และอื่นๆ สิ่งสำคัญคือต้องสังเกตว่าปัญหาการขาดแคลนชิปนี้ไม่ได้เป็นเพียงปัญหาในห่วงโซ่อุปทานที่แยกออกมาต่างหาก เป็นปัญหาห่วงโซ่อุปทานที่จะส่งผลกระทบต่อทุกอุตสาหกรรม—และไม่มีทางแก้ไขในสายตา จากข้อมูลของ Forrester Research การขาดแคลนคาดว่าจะคงอยู่ตลอดไป 2022 และเข้าสู่ 150 แม้ว่าผลกระทบจากปัญหาการขาดแคลนในระดับมหภาคนั้นมีมากมาย แต่ก็มีแง่มุมหนึ่งที่ฉันนึกถึง: การขาดแคลนชิปนี้จะส่งผลเสียต่อความก้าวหน้าในโลกของ AI หรือไม่ เมื่อใดก็ตามที่มีการเปิดตัวชิป นักพัฒนาต้องการวิธีใหม่ๆ ในการเชื่อมต่อกับแอปพลิเคชัน ซึ่งโมเดลต่างๆ จะรองรับจุดประสงค์นี้ใน AI แต่ถ้าการสร้างและวิวัฒนาการของโมเดล AI ล้ำหน้ากว่าขั้นตอนการออกแบบและการแนะนำฮาร์ดแวร์ใหม่เนื่องจากการขาดแคลน คำตอบ: เราเห็นการลดลงอย่างมากของประสิทธิภาพ AI ที่ก้าวล้ำในทุกอุตสาหกรรม เนื่องจากโมเดลและฮาร์ดแวร์เฉพาะต้องพึ่งพาซึ่งกันและกัน โดยเฉพาะอย่างยิ่งในปัจจุบันเนื่องจาก Cambrian ระเบิดของฮาร์ดแวร์ แต่เรามาที่นี่ได้อย่างไร? สาเหตุหลักของปัญหาการขาดแคลนซิลิกอนในปัจจุบันนั้นง่ายมาก: ความต้องการมีมากกว่าอุปทาน สาเหตุส่วนใหญ่มาจากการแพร่ระบาดและภาวะเศรษฐกิจถดถอยที่คาดการณ์ไว้ซึ่งไม่ได้เกิดขึ้นเลย—ซิลิคอนแฟบลดกำลังการผลิตโดยคาดว่าภาวะเศรษฐกิจถดถอยจะต้องแปลกใจกับความต้องการที่เพิ่มขึ้นอย่างรวดเร็วซึ่งเกิดจากผู้คนที่ใช้ชีวิตผ่านอุปกรณ์อิเล็กทรอนิกส์ นวัตกรรมด้านฮาร์ดแวร์ไม่สามารถตามทัน Model Evolution ชิป AI แบบพิเศษเฉพาะนั้นน่าสนใจเพราะสามารถให้ประสิทธิภาพที่สูงขึ้นได้มาก และที่สำคัญกว่านั้นคือประสิทธิภาพต่อวัตต์ โดยการทำให้สถาปัตยกรรมและวงจรเฉพาะสำหรับเวิร์คโหลด AI / ML อย่างไรก็ตาม ความเชี่ยวชาญนี้มุ่งเป้าไปที่คลาส / ประเภทของโมเดลที่พัฒนาอย่างรวดเร็ว ความจริงก็คือเมื่อถึงเวลาที่ชิป AI ที่เป็นประกายใหม่พร้อมที่จะออกสู่ตลาด สถาปัตยกรรมโมเดลยอดนิยมก็พัฒนาไปไกลกว่านั้นแล้ว การเปลี่ยนจากการวิจัยแบบจำลองไปเป็นการปรับใช้สามารถเกิดขึ้นได้ภายในเวลาไม่กี่เดือนสั้นๆ ซึ่งทำให้โมเดลเป็นความเข้ากันได้ของฮาร์ดแวร์ที่ล้าสมัยอย่างรวดเร็ว บริษัท Taiwan Semiconductor Manufacturing Company (TSMC) ถือหุ้น 55% ของตลาดเซมิคอนดักเตอร์ทั่วโลกตาม Trendforce (Michael-Vi/Shutterstock) พิจารณาโมเดลที่ซับซ้อนเช่น GPT-3 . แบบจำลองของความสามารถนี้มีพารามิเตอร์มากกว่า 150 พันล้านพารามิเตอร์และใช้เวลามากกว่า 3 เท่า 10^23 คำนวณการดำเนินการเพื่อฝึกอบรม อาจต้องใช้เวลาหลายศตวรรษหากฝึกฝนด้วย GPU สมัยใหม่เพียงตัวเดียว การออกแบบชิปเฉพาะทางที่มีประสิทธิภาพนั้นจำเป็นต้องมีความเข้าใจในประเภทรายการข้อมูลเฉพาะ การดำเนินการคำนวณและการกระจายแบบกระจายบนข้อมูล และการออกแบบฮาร์ดแวร์เพื่อรองรับสิ่งนั้น แต่เมื่อถึงเวลาที่ชิปพร้อมเปิดตัว รุ่น GPT-3 จะถูกแทนที่ด้วยเวอร์ชันที่ล้ำหน้ากว่าหรือรุ่นอื่นทั้งหมด โดยมีพารามิเตอร์ที่เป็นไปได้หลายล้านล้านรายการและการผสมผสานการประมวลผลและการกระจายข้อมูลที่แตกต่างกันมาก อาจกล่าวได้ว่าผู้ผลิตสามารถทำให้ชิปเป็นแบบกว้างๆ ได้ แต่นั่นก็บ่อนทำลายนวัตกรรมทั้งหมดที่เกิดขึ้นโดยการเร่งประสิทธิภาพของโมเดลผ่านฮาร์ดแวร์พิเศษ และนั่นไม่ใช่ทางเลือกเพียงอย่างเดียว แต่ไม่ใช่ทั้งหมด Doom & Gloom— เราสามารถชำระด้วยสิ่งที่เรามี แล้วเราจะได้รับประโยชน์จากความก้าวหน้าใน AI ได้อย่างไร เราใช้ประโยชน์สูงสุดจากฮาร์ดแวร์ที่เรามีในตอนนี้ ซึ่งจะเกี่ยวข้องกับการพัฒนาเทคนิคใหม่ๆ เพื่อสร้างโมเดลที่เหมาะสมกับฮาร์ดแวร์ที่เลือกมากขึ้น (เช่น การค้นหาสถาปัตยกรรมโมเดลที่คำนึงถึงฮาร์ดแวร์) หรือใช้เทคนิคในการเพิ่มประสิทธิภาพและปรับแต่งโค้ดโมเดล ML ให้เข้ากับสถาปัตยกรรม HW เฉพาะ เช่น Apache TVM เปิดอะไร การเพิ่มประสิทธิภาพ ML ต้นทางและสแต็กการปรับใช้โดยใช้เทคนิคการเพิ่มประสิทธิภาพที่ขับเคลื่อนด้วย ML เพื่อสร้างโค้ดที่มีประสิทธิภาพสูง ซึ่งมักจะมีประโยชน์จาก 2x-10x การทำให้โมเดลใช้ฮาร์ดแวร์อย่างมีประสิทธิภาพมากขึ้นจะมอบประสบการณ์ผู้ใช้ปลายทางที่ดียิ่งขึ้น ลดต้นทุนระบบคลาวด์ และเปิดใช้งานแอปพลิเคชันใหม่ แต่ในเชิงลึกกว่านั้น ยังนำไปสู่ผลกระทบต่อสิ่งแวดล้อมที่ลดลง เนื่องจากการใช้พลังงานที่ลดลงและการใช้ฮาร์ดแวร์ที่มีอยู่ให้ดีขึ้นกว่าเดิม (การลดการใช้ฮาร์ดแวร์ลง) สิ่งนี้ไม่ควรละเลย เนื่องจากต้นทุนด้านสิ่งแวดล้อมของระบบ AI/ML ระดับโลก เกี่ยวกับผู้แต่ง: Luis Ceze เป็น CEO และผู้ร่วมก่อตั้ง OctoML ซึ่งพัฒนาเวอร์ชั่นเชิงพาณิชย์ของคอมไพเลอร์ Apache TVM โอเพ่นซอร์ส เขายังเป็นศาสตราจารย์ใน Paul G. Allen School of Computer Science and Engineering ที่ University of Washington รายการที่เกี่ยวข้อง: ปัญหาการขาดแคลนชิปดูเหมือนจะส่งผลกระทบต่อปริมาณงาน AI ในระบบคลาวด์ คลื่นของฮาร์ดแวร์ AI ที่สร้างขึ้นตามวัตถุประสงค์กำลังสร้าง 'Octomize' รหัส ML ของคุณ

  • บ้าน
  • Business
  • Data science
  • Marketing
  • Leave a Reply

    Your email address will not be published. Required fields are marked *

    Back to top button