Data science

TensorRT 8 มอบประสิทธิภาพการอนุมาน AI ที่รวดเร็วให้กับองค์กรชั้นนำ

วันนี้ NVIDIA เปิดตัว TensorRT™ 8 ซึ่งเป็นซอฟต์แวร์ AI รุ่นที่แปดของบริษัท ซึ่งลดเวลาในการอนุมานลงครึ่งหนึ่งสำหรับการสืบค้นภาษา ทำให้นักพัฒนาสามารถสร้างเสิร์ชเอ็นจิ้นที่ทำงานได้ดีที่สุดในโลก คำแนะนำโฆษณา และแชทบอท และนำเสนอจากคลาวด์ไปยัง ขอบ. การปรับให้เหมาะสมของ TensorRT 8 มอบความเร็วในการตั้งค่าเป็นประวัติการณ์สำหรับแอปพลิเคชันภาษา โดยรัน BERT-Large ซึ่งเป็นหนึ่งในโมเดลหม้อแปลงที่ใช้กันอย่างแพร่หลายมากที่สุดในโลกใน 1.2 มิลลิวินาที ในอดีต บริษัทต่างๆ ต้องลดขนาดโมเดลลง ส่งผลให้ได้ผลลัพธ์ที่แม่นยำน้อยลงอย่างเห็นได้ชัด ปัจจุบัน ด้วย TensorRT 8 บริษัทต่างๆ สามารถเพิ่มขนาดโมเดลได้เป็นสองเท่าหรือสามเท่าเพื่อให้ได้รับการปรับปรุงในด้านความแม่นยำอย่างมาก “โมเดล AI กำลังเติบโตอย่างทวีคูณ และความต้องการทั่วโลกก็เพิ่มขึ้นสำหรับแอพพลิเคชั่นแบบเรียลไทม์ที่ใช้ AI นั่นทำให้จำเป็นสำหรับองค์กรในการปรับใช้โซลูชันการอนุมานที่ล้ำสมัย” Greg Estes รองประธานฝ่ายโปรแกรมนักพัฒนาของ NVIDIA กล่าว “เวอร์ชันล่าสุดของ TensorRT นำเสนอความสามารถใหม่ที่ช่วยให้บริษัทต่างๆ สามารถส่งมอบแอปพลิเคชั่น AI เชิงสนทนาให้กับลูกค้าด้วยระดับคุณภาพและการตอบสนองที่ไม่เคยทำได้มาก่อน” ในห้าปี นักพัฒนามากกว่า 95, ทั่วทั้ง 27,500 บริษัทต่างๆ ในวงกว้าง ซึ่งรวมถึงการดูแลสุขภาพ ยานยนต์ การเงิน และการค้าปลีก ได้ดาวน์โหลด TensorRT ไปเกือบ 2.5 ล้านครั้ง แอปพลิเคชัน TensorRT สามารถใช้งานได้ในศูนย์ข้อมูลไฮเปอร์สเกล แพลตฟอร์มผลิตภัณฑ์แบบฝังตัวหรือยานยนต์ นวัตกรรมการอนุมานล่าสุด นอกเหนือจากการปรับแต่งหม้อแปลงให้เหมาะสมแล้ว ความก้าวหน้าของ TensorRT 8 ในการอนุมาน AI ยังเกิดขึ้นได้ด้วยคุณสมบัติหลักอีกสองประการ Sparsity เป็นเทคนิคด้านประสิทธิภาพแบบใหม่ใน GPU สถาปัตยกรรม NVIDIA Ampere เพื่อเพิ่มประสิทธิภาพ ช่วยให้นักพัฒนาสามารถเร่งเครือข่ายประสาทเทียมของตนโดยลดการดำเนินการทางคอมพิวเตอร์ การฝึกอบรมการรับรู้เชิงปริมาณช่วยให้นักพัฒนาสามารถใช้โมเดลที่ได้รับการฝึกอบรมเพื่อเรียกใช้การอนุมานในความแม่นยำ INT8 โดยไม่สูญเสียความแม่นยำ ซึ่งลดค่าใช้จ่ายในการประมวลผลและการจัดเก็บลงอย่างมาก เพื่อการอนุมานที่มีประสิทธิภาพบน Tensor Cores ผู้นำอุตสาหกรรมสนับสนุนอุตสาหกรรมในวงกว้างยอมรับ TensorRT สำหรับการอนุมานการเรียนรู้เชิงลึกใน AI เชิงสนทนาและในสาขาอื่นๆ Hugging Face คือผู้นำด้าน AI แบบโอเพนซอร์สซึ่งได้รับความไว้วางใจจากผู้ให้บริการ AI รายใหญ่ที่สุดในโลกในหลายอุตสาหกรรม บริษัทกำลังทำงานอย่างใกล้ชิดกับ NVIDIA เพื่อแนะนำบริการ AI ที่ก้าวล้ำ ซึ่งช่วยให้สามารถวิเคราะห์ข้อความ การค้นหาด้วยระบบประสาท และแอปพลิเคชันการสนทนาในวงกว้าง “เรากำลังร่วมมือกับ NVIDIA อย่างใกล้ชิดเพื่อมอบประสิทธิภาพที่ดีที่สุดสำหรับรุ่นล้ำสมัยบน NVIDIA GPUs” Jeff Boudier ผู้อำนวยการฝ่ายผลิตภัณฑ์ของ Hugging Face กล่าว “Hugging Face Accelerated Inference API ให้ความเร็วสูงสุด 100x สำหรับรุ่น Transformer ที่ขับเคลื่อนโดย NVIDIA GPUs แล้ว ด้วย TensorRT 8 ทำให้ Hugging Face มีเวลาแฝงในการอนุมาน 1ms บน BERT และเรารู้สึกตื่นเต้นที่จะนำเสนอประสิทธิภาพนี้ให้กับลูกค้าของเราในปลายปีนี้” GE Healthcare ซึ่งเป็นผู้ริเริ่มเทคโนโลยีทางการแพทย์ การวินิจฉัย และโซลูชันดิจิทัลชั้นนำระดับโลก กำลังใช้ TensorRT เพื่อช่วยเร่งการใช้งานคอมพิวเตอร์วิทัศน์สำหรับอัลตราซาวนด์ ซึ่งเป็นเครื่องมือสำคัญในการตรวจหาโรคในระยะเริ่มต้น ซึ่งช่วยให้แพทย์สามารถให้การดูแลที่มีคุณภาพสูงสุดผ่านโซลูชันการดูแลสุขภาพที่ชาญฉลาด “เมื่อพูดถึงอัลตราซาวนด์ แพทย์ใช้เวลาอันมีค่าในการเลือกและวัดภาพ ในระหว่างโครงการ R&D ที่นำไปสู่ ​​Vivid Patient Care Elevated Release เราต้องการทำให้กระบวนการนี้มีประสิทธิภาพมากขึ้นโดยใช้การตรวจจับมุมมองหัวใจอัตโนมัติบนเครื่องสแกน Vivid E95” Erik Steen หัวหน้าวิศวกรของ Cardiovascular Ultrasound ที่ GE Healthcare กล่าว “อัลกอริธึมการรู้จำมุมมองหัวใจจะเลือกภาพที่เหมาะสมสำหรับการวิเคราะห์การเคลื่อนไหวของผนังหัวใจ TensorRT ที่มีความสามารถในการอนุมานแบบเรียลไทม์ ช่วยปรับปรุงประสิทธิภาพของอัลกอริธึมการตรวจจับการดู และยังย่นระยะเวลาในการออกสู่ตลาดระหว่างโครงการ R&D” ลงทะเบียนเพื่อรับจดหมายข่าว InsideBIGDATA ฟรี เข้าร่วมกับเราบน Twitter: @InsideBigData1 – https://twitter.com/InsideBigData1

  • บ้าน
  • Business
  • Data science
  • Marketing
  • Leave a Reply

    Your email address will not be published. Required fields are marked *

    Back to top button