Deci แสดง NAC สำหรับการสร้างโครงข่ายประสาทอัตโนมัติ

2 weeks agoLast Updated: October 12, 2021

0 3 1 minute read

Deci แสดง NAC สำหรับการสร้างโครงข่ายประสาทอัตโนมัติ

ในช่วงไม่กี่เดือนที่ผ่านมา นักวิจัยด้านการเรียนรู้เชิงลึกได้เต้นรำไปรอบๆ กำแพงประสิทธิภาพที่ปรากฏขึ้น เนื่องจากโครงข่ายประสาทเทียมขนาดใหญ่ผลักดันขีดจำกัดในแง่ของการคำนวณและการใช้พลังงาน แต่ตอนนี้บริษัทที่ชื่อ Deci กล่าวว่าได้คิดหาทางรอบกำแพงนั้นโดยการสร้างโครงข่ายประสาทที่มีประสิทธิภาพสูงด้วยเทคโนโลยีการค้นหาสถาปัตยกรรมอัตโนมัติที่เรียกว่า AutoNAC Deci ประกาศในวันนี้ว่าเทคโนโลยี Automated Neural Architecture Construction (AutoNAC) ที่เป็นกรรมสิทธิ์ของบริษัท “ค้นพบ” รูปแบบการจำแนกรูปภาพใหม่ที่เรียกว่า DeciNets เมื่อทำงานกับฐานข้อมูล ImageNet DeciNets แสดงให้เห็นถึงประสิทธิภาพในระดับที่สูงมากในแง่ของอัตราส่วนความแม่นยำต่อเวลาแฝงเมื่อทำงานบน GPU ของ Nvidia บริษัทของอิสราเอลกล่าวว่า AutoNAC ค้นพบ DeciNets โดยใช้พลังประมวลผลน้อยกว่าสองขนาดโดยประมาณเมื่อเทียบกับวิธีการขยายขนาดที่ใหญ่โตซึ่งใช้เทคโนโลยี Neural Architecture Search (NAS) แนวทางของ NAS ใช้เพื่ออธิบาย EfficientNet ซึ่งเป็นหนึ่งในเครือข่ายที่ DeciNet ทำได้ดีที่สุดในผลการวัดประสิทธิภาพที่เผยแพร่ในวันนี้ Deci กล่าวว่าซอฟต์แวร์ AutoNAC ทำงานข้ามโดเมนการเรียนรู้ของเครื่องต่างๆ รวมถึงการจำแนกประเภท การตรวจจับ และการแบ่งส่วน ผู้ใช้ป้อนข้อมูลลงในซอฟต์แวร์ และ AutoNAC ใช้เพื่อสร้างโมเดลที่ปรับให้เหมาะสมล่วงหน้าซึ่งพร้อมที่จะปรับใช้สำหรับการอนุมาน โมเดลเหล่านี้รับรู้ถึงฮาร์ดแวร์ ซึ่ง Deci กล่าวว่าช่วยบีบประสิทธิภาพสูงสุดออกจากแพลตฟอร์มคลาวด์ ขอบ และโมบายล์ สำหรับเกณฑ์มาตรฐาน Deci รัน DeciNet บน GPU Nvidia T4 ขนาดใหญ่ที่สามารถปรับใช้ใน prem หรือในระบบคลาวด์ได้ เช่นเดียวกับ GPU Nvidia Jetson ที่มีขนาดเล็กกว่าซึ่งออกแบบมาสำหรับแอพพลิเคชั่นที่ล้ำสมัย เช่น การขับขี่อัตโนมัติ DeciNets ได้รับคะแนนสูงสุดจากการแลกเปลี่ยนประสิทธิภาพของทั้ง GPU T4 และ Jetson โดยวัดจากการแลกเปลี่ยนระหว่างความแม่นยำและเวลาแฝง (ที่มา: Deci) “แต่ละโมเดลที่นำเสนอถูกคอมไพล์ไปยัง T4 GPU โดยใช้ Tensor RT และวัดค่าเป็นบิต 8 บิต (INT8) และ 16 (FP

) ความแม่นยำ” บริษัทกล่าวในเอกสารไวท์เปเปอร์ “สถาปัตยกรรม DeciNets ใหม่มีอิทธิพลเหนือสถาปัตยกรรมส่วนใหญ่อย่างชัดเจน และทำให้ชิป T4 ล้ำหน้าล้ำสมัย ที่สำคัญคือ AutoNAC ค้นพบ DeciNets แต่ละอันโดยใช้การคำนวณที่จำเป็นสำหรับการฝึกอบรมเครือข่ายเดียวประมาณสี่เท่า” เมื่อเปรียบเทียบแล้ว สถาปัตยกรรม EfficientNet ถูกค้นพบโดยใช้เทคโนโลยี NAS รุ่นที่สาม ซึ่งต้องการ “พลังประมวลผลที่เพิ่มขึ้นประมาณ 2 ลำดับในการเพิ่มประสิทธิภาพ” บริษัทกล่าว Yonatan Geifman ผู้ร่วมก่อตั้งและซีอีโอของ Deci กล่าวว่า “การเรียนรู้เชิงลึกกำลังขับเคลื่อนคอมพิวเตอร์รุ่นต่อไป” “หากปราศจากโมเดลที่มีประสิทธิภาพสูงและทำงานได้อย่างราบรื่นบนฮาร์ดแวร์ใดๆ เทคโนโลยีสำหรับผู้บริโภคที่เรามองข้ามไปทุกวันก็จะเป็นอุปสรรค” ในตอนแรกโครงข่ายประสาทเทียมส่วนใหญ่สร้างขึ้นด้วยมือ อย่างไรก็ตาม เมื่อขนาดของเครือข่ายเติบโตขึ้นอย่างมาก ตัวอย่างเช่น GPT-3 มี 16 พันล้านพารามิเตอร์และเกือบ 100 เลเยอร์– งานในการหาวิธีที่เหมาะสมที่สุดในการสร้างเครือข่ายและสร้างการเชื่อมต่อได้ตกอยู่กับคอมพิวเตอร์ Deci เรียกแนวทางนี้ว่า “AI เพื่อสร้าง AI” “AI ที่สร้างแนวทาง AI ของ Deci มีความสำคัญอย่างยิ่งในการปลดล็อกโมเดลที่จำเป็นในการปลดปล่อยยุคใหม่ของนวัตกรรม โดยเพิ่มขีดความสามารถให้กับนักพัฒนาด้วยเครื่องมือที่จำเป็นในการเปลี่ยนความคิดให้เป็นผลิตภัณฑ์ที่ปฏิวัติวงการ” Geifman กล่าว Deci ขายทั้งเทคโนโลยี AutoNAC และ DeciNets ซึ่งนักพัฒนาการเรียนรู้เชิงลึกสามารถใช้เพื่อสร้างระบบการจำแนกรูปภาพที่ปรับใช้ในโลกแห่งความเป็นจริงได้ รายการที่เกี่ยวข้อง: นักวิจัยใช้การเรียนรู้เชิงลึกเพื่อไถผ่าน NASA Snow Radar Data One Model เพื่อควบคุมพวกเขาทั้งหมด: Transformer Networks นำ AI 2.0, Forrester กล่าวว่า Deep Learning: การบรรจบกันของ Big Data, Big Models, Big Compute