Data science

ที่สุดของ arXiv.org สำหรับ AI, Machine Learning และ Deep Learning – กันยายน 2021

ในคุณลักษณะรายเดือนที่เกิดซ้ำนี้ เรากรองเอกสารการวิจัยล่าสุดที่ปรากฏบนเซิร์ฟเวอร์การพิมพ์ล่วงหน้า arXiv.org สำหรับหัวข้อที่น่าสนใจที่เกี่ยวข้องกับ AI การเรียนรู้ของเครื่อง และการเรียนรู้เชิงลึก จากสาขาวิชาต่างๆ รวมถึงสถิติ คณิตศาสตร์ และวิทยาการคอมพิวเตอร์ และมอบ “สิ่งที่ดีที่สุด” ที่มีประโยชน์ ของ” รายการสำหรับเดือนที่ผ่านมา นักวิจัยจากทั่วโลกมีส่วนร่วมในพื้นที่เก็บข้อมูลนี้เป็นบทนำสู่กระบวนการตรวจสอบโดยเพื่อนเพื่อตีพิมพ์ในวารสารแบบดั้งเดิม arXiv มีขุมสมบัติที่แท้จริงของวิธีการเรียนรู้ทางสถิติที่คุณอาจใช้ในวันหนึ่งในการแก้ปัญหาวิทยาศาสตร์ข้อมูล บทความที่แสดงด้านล่างนี้เป็นเพียงส่วนเล็กๆ ของบทความทั้งหมดที่ปรากฏบนเซิร์ฟเวอร์การพิมพ์ล่วงหน้า มีการระบุไว้ในลำดับที่ไม่เจาะจงพร้อมลิงก์ไปยังเอกสารแต่ละฉบับพร้อมกับภาพรวมโดยย่อ ลิงก์ไปยังที่เก็บ GitHub มีให้เมื่อพร้อมใช้งาน บทความที่เกี่ยวข้องโดยเฉพาะจะมีไอคอน “ยกนิ้วให้” พิจารณาว่าเอกสารเหล่านี้เป็นงานวิจัยทางวิชาการ ซึ่งโดยทั่วไปแล้วจะเน้นไปที่นักศึกษาระดับบัณฑิตศึกษา เอกสารทางไปรษณีย์ และผู้เชี่ยวชาญที่ช่ำชอง โดยทั่วไปแล้วจะมีวิชาคณิตศาสตร์ในระดับสูง ดังนั้นจงเตรียมพร้อม สนุก! GAN Generative Adversarial Networks (GAN) แบบมีเงื่อนไขอินสแตนซ์สามารถสร้างภาพที่เหมือนจริงในขอบเขตที่แคบ เช่น ใบหน้ามนุษย์ กระนั้น การสร้างแบบจำลองการกระจายชุดข้อมูลที่ซับซ้อน เช่น ImageNet และ COCO-Stuff ยังคงท้าทายในการตั้งค่าแบบไม่มีเงื่อนไข เอกสารนี้ได้รับแรงบันดาลใจจากเทคนิคการประมาณความหนาแน่นของเคอร์เนลและแนะนำวิธีการที่ไม่ใช้พารามิเตอร์เพื่อกระจายแบบจำลองของชุดข้อมูลที่ซับซ้อน กลุ่มข้อมูลถูกแบ่งส่วนออกเป็นส่วนผสมของพื้นที่ใกล้เคียงที่ทับซ้อนกันซึ่งอธิบายโดยจุดข้อมูลและเพื่อนบ้านที่ใกล้ที่สุด และมีการแนะนำแบบจำลองที่เรียกว่า GAN แบบปรับสภาพอินสแตนซ์ (IC-GAN) ซึ่งเรียนรู้การแจกแจงรอบจุดข้อมูลแต่ละจุด ผลการทดลองบน ImageNet และ COCO-Stuff แสดงให้เห็นว่า IC-GAN ปรับปรุงอย่างมีนัยสำคัญเหนือแบบจำลองที่ไม่มีเงื่อนไขและการแบ่งข้อมูลพื้นฐานที่ไม่มีการควบคุม นอกจากนี้ยังแสดงให้เห็นว่า IC-GAN สามารถถ่ายโอนไปยังชุดข้อมูลที่มองไม่เห็นระหว่างการฝึกได้อย่างง่ายดาย โดยเพียงแค่เปลี่ยนอินสแตนซ์การปรับสภาพ และยังคงสร้างภาพที่สมจริง สามารถดู repo GitHub ที่เกี่ยวข้องกับบทความนี้ได้ ที่นี่ Pix2seq: กรอบการสร้างแบบจำลองภาษาสำหรับการตรวจจับวัตถุ เอกสารนี้นำเสนอ Pix2Seq ซึ่งเป็นกรอบงานทั่วไปและเรียบง่ายสำหรับการตรวจจับวัตถุ นักวิจัยของ Google ซึ่งรวมถึงเจฟฟรีย์ ฮินตันต่างจากวิธีการที่มีอยู่ซึ่งรวมความรู้เดิมเกี่ยวกับงานไว้อย่างชัดเจน เพียงแค่ใช้การตรวจจับวัตถุเป็นงานสร้างแบบจำลองภาษาที่ปรับเงื่อนไขบนอินพุตพิกเซลที่สังเกตได้ คำอธิบายอ็อบเจ็กต์ (เช่น ขอบเขตกล่องและป้ายกำกับคลาส) จะแสดงเป็นลำดับของโทเค็นที่ไม่ต่อเนื่อง และโครงข่ายประสาทได้รับการฝึกฝนให้รับรู้ภาพและสร้างลำดับที่ต้องการ วิธีการนี้มีพื้นฐานมาจากสัญชาตญาณที่ว่าถ้าโครงข่ายประสาทรู้ว่าวัตถุอยู่ที่ไหนและอะไร เราแค่ต้องสอนวิธีอ่านมันออกมา นอกเหนือจากการใช้การเสริมข้อมูลเฉพาะงาน วิธีการนี้ทำให้มีการสันนิษฐานน้อยที่สุดเกี่ยวกับงาน แต่ยังบรรลุผลการแข่งขันในชุดข้อมูล COCO ที่ท้าทาย เมื่อเปรียบเทียบกับอัลกอริธึมการตรวจจับที่มีความเชี่ยวชาญสูงและปรับให้เหมาะสมที่สุด สามารถดู repo GitHub ที่เกี่ยวข้องกับบทความนี้ได้ ที่นี่ ปรับขนาดอย่างมีประสิทธิภาพ: ข้อมูลเชิงลึกจากการเตรียมการล่วงหน้าและการปรับจูน Transformers ยังคงมีคำถามเปิดอยู่มากมายเกี่ยวกับพฤติกรรมการปรับขนาดของสถาปัตยกรรม Transformer การตัดสินใจและการค้นพบการปรับขนาดเหล่านี้มีความสำคัญ เนื่องจากการฝึกอบรมมักมาพร้อมกับต้นทุนการคำนวณที่เกี่ยวข้องซึ่งมีทั้งผลกระทบทางการเงินและ/หรือสิ่งแวดล้อม เป้าหมายของบทความนี้คือการนำเสนอข้อมูลเชิงลึกเกี่ยวกับการปรับขนาดจากการฝึกอบรมล่วงหน้าและการปรับแต่ง Transformers ในขณะที่ Kaplan และคณะ นำเสนอการศึกษาพฤติกรรมการปรับสเกลของแบบจำลองภาษา Transformer อย่างครอบคลุม ขอบเขตอยู่ที่การสูญเสียต้นน้ำ (pretraining) เท่านั้น ดังนั้นจึงยังไม่ชัดเจนว่าชุดของผลการวิจัยเหล่านี้ถ่ายโอนไปยังงานปลายน้ำภายในบริบทของกระบวนทัศน์ก่อนการฝึก-ปรับละเอียดหรือไม่ การค้นพบที่สำคัญของบทความนี้มีดังนี้: (1) นอกเหนือจากขนาดของแบบจำลองเท่านั้น รูปร่างของแบบจำลองมีความสำคัญสำหรับการปรับละเอียดแบบดาวน์สตรีม (2) โปรโตคอลการปรับขนาดทำงานแตกต่างกันในพื้นที่ประมวลผลที่แตกต่างกัน (3) ที่ใช้ T5-base และ T5 ขนาดใหญ่ไม่มีประสิทธิภาพ Pareto ด้วยเหตุนี้ โปรโตคอลการปรับขนาดที่ปรับปรุงแล้วจึงถูกนำเสนอ โดยโมเดลที่ออกแบบใหม่จะบรรลุคุณภาพการปรับแต่งดาวน์สตรีมที่คล้ายคลึงกัน ในขณะที่มีพารามิเตอร์และการฝึกอบรมน้อยลง 50% % เร็วกว่าเมื่อเทียบกับรุ่นพื้นฐาน T5 ที่นำมาใช้กันอย่างแพร่หลาย Primer: การค้นหา Transformers ที่มีประสิทธิภาพสำหรับการสร้างแบบจำลองภาษา โมเดล Transformer ขนาดใหญ่เป็นศูนย์กลางของความก้าวหน้าล่าสุดในการประมวลผลภาษาธรรมชาติ อย่างไรก็ตาม ค่าใช้จ่ายในการฝึกอบรมและการอนุมานของโมเดลเหล่านี้ได้เติบโตอย่างรวดเร็วและมีราคาแพงมาก บทความนี้มีจุดมุ่งหมายเพื่อลดต้นทุนของ Transformers โดยการค้นหาตัวแปรที่มีประสิทธิภาพมากขึ้น เมื่อเทียบกับวิธีการก่อนหน้านี้ การค้นหาจะดำเนินการในระดับที่ต่ำกว่า เหนือพื้นฐานที่กำหนดโปรแกรม Transformer TensorFlow มีการระบุสถาปัตยกรรมชื่อ Primer ซึ่งมีค่าใช้จ่ายในการฝึกอบรมน้อยกว่า Transformer ดั้งเดิมและตัวแปรอื่นๆ สำหรับการสร้างแบบจำลองภาษาแบบถดถอยอัตโนมัติ การปรับปรุงของ Primer ส่วนใหญ่มาจากการดัดแปลงง่ายๆ สองแบบ: การเปิดใช้งาน ReLU แบบยกกำลังสอง และเพิ่มเลเยอร์ Convolution เชิงลึกหลังจากการฉายภาพ Q, K และ V แต่ละครั้งด้วยความใส่ใจในตนเอง สามารถดู repo GitHub ที่เกี่ยวข้องกับบทความนี้ได้ ที่นี่ PP-OCRv2: เคล็ดลับสำหรับระบบ OCR น้ำหนักเบาพิเศษ ระบบการรู้จำอักขระด้วยแสง (OCR) มีการใช้กันอย่างแพร่หลายในสถานการณ์ต่างๆ ของแอปพลิเคชัน การออกแบบระบบ OCR ยังคงเป็นงานที่ท้าทาย บทความนี้เสนอระบบ OCR ที่แข็งแกร่ง เช่น PP-OCRv2 มีการแนะนำกลเม็ดเพื่อฝึกตัวตรวจจับข้อความที่ดีขึ้นและตัวจดจำข้อความที่ดีขึ้น ซึ่งรวมถึง Collaborative Mutual Learning (CML), CopyPaste, Lightweight CPUNetwork (LCNet), Unified-Deep Mutual Learning (U-DML) และ CTCLoss ที่ปรับปรุงแล้ว การทดลองกับข้อมูลจริงแสดงให้เห็นว่าความแม่นยำของ PP-OCRv2 นั้นสูงกว่า PP-OCR 7% ภายใต้ต้นทุนการอนุมานเดียวกัน นอกจากนี้ยังเทียบได้กับรุ่นเซิร์ฟเวอร์ของ PP-OCR ซึ่งใช้ชุด ResNet เป็นแกนหลัก โมเดลที่กล่าวถึงข้างต้นทั้งหมดเป็นโอเพ่นซอร์สและมีโค้ดอยู่ในที่เก็บ GitHub PaddleOCR ซึ่งขับเคลื่อนโดย PaddlePaddle สามารถดูรายงาน GitHub ที่เกี่ยวข้องกับบทความนี้ได้ ที่นี่ การตรวจจับความผิดปกติของภาพสำหรับรูปภาพ: การสำรวจ การตรวจจับความผิดปกติของภาพเป็นปัญหาที่สำคัญและท้าทายในด้านการเรียนรู้ของเครื่องและการมองเห็นด้วยคอมพิวเตอร์ ปัญหานี้ได้รับความสนใจอย่างมากในชุมชนการวิจัยที่เกี่ยวข้อง โดยเฉพาะอย่างยิ่งในช่วงไม่กี่ปีที่ผ่านมา การพัฒนาการเรียนรู้เชิงลึกได้จุดประกายความสนใจที่เพิ่มขึ้นในปัญหาการตรวจหาสิ่งผิดปกติทางสายตา และนำเสนอวิธีการใหม่ๆ ที่หลากหลาย เอกสารนี้ให้การสำรวจที่ครอบคลุมเกี่ยวกับแนวทางคลาสสิกและการเรียนรู้เชิงลึกสำหรับการตรวจจับความผิดปกติทางสายตาในวรรณกรรม แนวทางที่เกี่ยวข้องถูกจัดกลุ่มตามหลักการพื้นฐานและอภิปรายสมมติฐาน ข้อดี และข้อเสียอย่างรอบคอบ จุดมุ่งหมายคือการช่วยให้นักวิจัยเข้าใจหลักการทั่วไปของแนวทางการตรวจจับความผิดปกติทางสายตาและระบุทิศทางการวิจัยที่มีแนวโน้มดีในสาขานี้ ความเป็นธรรมโดยปราศจากการใส่ร้าย: A Decision Tree Approach for Fair Prediction with Missing Values ​​เอกสารนี้ตรวจสอบข้อกังวลด้านความเป็นธรรมของการฝึกอบรมแบบจำลองการเรียนรู้ของเครื่องโดยใช้ข้อมูลที่มีค่าที่ขาดหายไป แม้ว่าจะมีวิธีการแทรกแซงความเป็นธรรมหลายวิธีในวรรณคดี แต่ส่วนใหญ่ต้องการชุดการฝึกอบรมที่สมบูรณ์เป็นข้อมูลป้อนเข้า ในทางปฏิบัติ ข้อมูลอาจมีค่าที่หายไป และข้อมูลรูปแบบที่ขาดหายไปอาจขึ้นอยู่กับคุณลักษณะของกลุ่ม (เช่น เพศหรือเชื้อชาติ) เพียงแค่ใช้อัลกอริธึมการเรียนรู้ที่ยุติธรรมนอกชั้นวางกับชุดข้อมูลที่กำหนดอาจนำไปสู่แบบจำลองที่ไม่เป็นธรรม บทความนี้วิเคราะห์แหล่งที่มาต่างๆ ของความเสี่ยงในการเลือกปฏิบัติในทางทฤษฎีเมื่อฝึกอบรมด้วยชุดข้อมูลที่กำหนด แนวทางบูรณาการถูกเสนอโดยพิจารณาจากแผนผังการตัดสินใจที่ไม่ต้องการกระบวนการแยกจากกันของการใส่ความและการเรียนรู้ ต้นไม้ได้รับการฝึกอบรมโดยขาดการรวมเป็นแอตทริบิวต์ (MIA) ซึ่งไม่ต้องการการใส่ความชัดเจน และฟังก์ชันวัตถุประสงค์ที่ปรับความเป็นธรรมได้รับการปรับให้เหมาะสมที่สุด วิธีการนี้มีประสิทธิภาพดีกว่าวิธีการแทรกแซงความเป็นธรรมที่มีอยู่ซึ่งนำไปใช้กับชุดข้อมูลที่กำหนด โดยผ่านการทดลองหลายครั้งกับชุดข้อมูลในโลกแห่งความเป็นจริง Merlion: A Machine Learning Library for Time Series บทความนี้จะแนะนำ Merlion ไลบรารีการเรียนรู้ของเครื่องแบบโอเพนซอร์สสำหรับอนุกรมเวลา มีอินเทอร์เฟซแบบรวมสำหรับโมเดลและชุดข้อมูลที่ใช้กันทั่วไปจำนวนมากสำหรับการตรวจจับและคาดการณ์ความผิดปกติในอนุกรมเวลาแบบตัวแปรเดียวและหลายตัวแปร พร้อมด้วยเลเยอร์ก่อน/หลังการประมวลผลมาตรฐาน มีโมดูลหลายโมดูลเพื่อปรับปรุงการใช้งานง่าย รวมถึงการแสดงภาพ การสอบเทียบคะแนนความผิดปกติเพื่อปรับปรุงความสามารถในการทำงานร่วมกัน, AutoML สำหรับการปรับแต่งไฮเปอร์พารามิเตอร์และการเลือกรุ่น และการประกอบโมเดล เมอร์ไลออนยังมีเฟรมเวิร์กการประเมินที่ไม่เหมือนใครซึ่งจำลองการใช้งานจริงและการฝึกอบรมแบบจำลองในการผลิตซ้ำ ห้องสมุดนี้มีจุดมุ่งหมายเพื่อให้วิศวกรและนักวิจัยมีโซลูชั่นแบบครบวงจรในการพัฒนาแบบจำลองอย่างรวดเร็วสำหรับความต้องการอนุกรมเวลาที่เฉพาะเจาะจงและเปรียบเทียบระหว่างชุดข้อมูลอนุกรมเวลาหลายชุด รายงานทางเทคนิคนี้เน้นย้ำถึงสถาปัตยกรรมและฟังก์ชันหลักๆ ของ Merlion และรายงานตัวเลขเปรียบเทียบในโมเดลพื้นฐานและชุดค่าผสมต่างๆ ไปป์ไลน์การเรียนรู้ของเครื่องเพื่อตรวจสอบอคติทางการเมืองด้วยสุนทรพจน์ของรัฐสภา วิธีการคำนวณเพื่อจำลองอคติทางการเมืองในโซเชียลมีเดียเกี่ยวข้องกับความท้าทายหลายประการอันเนื่องมาจากความหลากหลาย ความมีมิติ หลากหลาย และขนาดของข้อมูล อคติทางการเมืองในโซเชียลมีเดียได้รับการศึกษาในหลายมุมมอง เช่น อคติของสื่อ อุดมการณ์ทางการเมือง ห้องสะท้อนเสียง และการโต้เถียงโดยใช้ไปป์ไลน์แมชชีนเลิร์นนิง วิธีการส่วนใหญ่ในปัจจุบันต้องอาศัยข้อมูลพื้นฐาน-ความจริงที่ติดป้ายกำกับด้วยตนเองสำหรับงานทำนายอคติทางการเมืองที่แฝงอยู่ ข้อจำกัดของวิธีการดังกล่าวรวมถึงการติดฉลากที่เน้นมนุษย์ การติดป้ายกำกับที่เกี่ยวข้องกับปัญหาเฉพาะ และการไม่สามารถระบุสถานะอคติในอนาคตอันใกล้ของการสนทนาทางโซเชียลมีเดีย บทความนี้กล่าวถึงปัญหาดังกล่าวและให้แนวทางการเรียนรู้ด้วยเครื่องเพื่อศึกษาความลำเอียงทางการเมืองในสองฟอรัมโซเชียลมีเดียที่มีความหลากหลายทางอุดมการณ์: Gab และ Twitter โดยไม่มีข้อมูลที่มีคำอธิบายประกอบโดยมนุษย์ ลงทะเบียนเพื่อรับจดหมายข่าว InsideBIGDATA ฟรี เข้าร่วมกับเราบน Twitter: @InsideBigData1 – https://twitter.com/InsideBigData1

  • บ้าน
  • Business
  • Data science
  • Marketing
  • Leave a Reply

    Your email address will not be published. Required fields are marked *

    Back to top button