Data science

ข้อบกพร่องในห่วงโซ่อุปทานของข้อมูล

มันไปโดยไม่บอกว่าการมีห่วงโซ่อุปทานข้อมูลที่ดีเป็นเครื่องมือในการเป็นองค์กรที่ขับเคลื่อนด้วยข้อมูล หากไม่มีกระบวนการที่ราบรื่นและทำซ้ำได้ในการรับ ตรวจสอบ และเตรียมข้อมูลสำหรับการบริโภคปลายน้ำ องค์กรไม่มีความหวังมากนักในการบรรลุเป้าหมายที่ขับเคลื่อนด้วยข้อมูล น่าเสียดายที่การวิจัยใหม่ชี้ให้เห็นว่าข้อจำกัดขนาดใหญ่กำลังเกิดขึ้นในห่วงโซ่อุปทานข้อมูลขององค์กร การวิจัยมาในรูปแบบของรายงานการวิจัย 84 เรื่อง “DataOps Dilemma: Survey Reveals Gap in the Data Supply Chain” การสำรวจที่ได้รับมอบหมายจาก Immuta ซึ่งเปิดตัวเมื่อต้นสัปดาห์นี้ เผยให้เห็นว่าองค์กรจำนวนมากกำลังดิ้นรนเพื่อสร้างสมดุลระหว่างความต้องการที่แข่งขันกันในการดำเนินการด้านข้อมูล การสำรวจซึ่งเกี่ยวข้องกับ 71 ผู้ปฏิบัติงานระดับองค์กรในสหรัฐอเมริกา แคนาดา สหราชอาณาจักร เยอรมนี และฝรั่งเศส และเขียนโดย Paige Bartley นักวิเคราะห์การวิจัยอาวุโส ได้พิจารณาแง่มุมต่างๆ ของวัฒนธรรมข้อมูล ในองค์กรในปัจจุบัน การสำรวจสรุปได้อย่างชัดเจนว่าข้อมูลมีบทบาทสำคัญมากขึ้นเรื่อยๆ ตัวอย่างเช่น การสำรวจพบว่า 71% ของผู้ตอบแบบสอบถามตกลงว่าข้อมูลจะมีความสำคัญต่อการตัดสินใจขององค์กรมากขึ้นในอนาคต เปอร์เซ็นต์ที่ใกล้เคียงกัน (63%) กล่าวว่าจำนวนผู้ใช้ข้อมูลในองค์กรเพิ่มขึ้นอย่างต่อเนื่อง เห็นได้ชัดว่าองค์กรกำลังซื้อความจำเป็นในการใช้ข้อมูลเป็นตัวสร้างความแตกต่างในการแข่งขัน หากไม่ใช่วิธีการเพื่อความอยู่รอดขั้นพื้นฐาน แต่มันไม่ใช่ลูกสุนัขและสายรุ้งทั้งหมดใน data-land ตามการวิจัย 84 ซึ่งชี้ไปที่แหล่งข้อมูลหลักสามแหล่งของปัญหาห่วงโซ่อุปทานของข้อมูล สำหรับผู้เริ่มต้น กฎระเบียบของอุตสาหกรรม เช่น GDPR และ HIPAA ในขณะที่มีความสำคัญต่อการปกป้องความเป็นส่วนตัวของข้อมูลส่วนบุคคลที่ละเอียดอ่อน ก็กำลังส่งผลกระทบต่อผู้รักษาข้อมูลและลูกค้าปลายทางด้วยเช่นกัน คุณภาพข้อมูลมีค่ามากกว่าปริมาณข้อมูลโดยมาร์จิ้น 9 ต่อ 1 ตามการสำรวจการวิจัยล่าสุด 84 (ที่มา:

การวิจัย) 84 ผลการวิจัยพบว่า 84% ของผู้ตอบแบบสอบถาม เชื่อว่าข้อกำหนดด้านความเป็นส่วนตัวและความปลอดภัยของข้อมูล “จะจำกัดการเข้าถึงข้อมูลในองค์กร” ในอีกไม่กี่เดือนข้างหน้า ผู้ตอบแบบสอบถามเพิ่มขึ้นเล็กน้อย (71%) กล่าวว่าเป็นความจริงที่ “กฎความปลอดภัยและความเป็นส่วนตัว ทำให้เข้าถึงและใช้ข้อมูลได้ยากขึ้น” รายงานกล่าว ประการที่สอง การขาดแคลนทักษะในหมู่คนคุกคามที่จะขัดขวางการจัดหาข้อมูลต้นน้ำที่มีคุณภาพดีให้กับผู้บริโภคปลายน้ำ ซึ่งรวมถึงผู้คนและแอปพลิเคชัน 525 การวิจัยพบว่า 38% ของคนใน บทบาทของผู้จัดหาข้อมูลอ้างว่าการขาดทักษะเป็นความท้าทายหรือจุดปวดที่ใหญ่ที่สุด นั่นบ่งบอกถึงการเปลี่ยนแปลงที่สำคัญในองค์ประกอบของทีมข้อมูล ตามที่ Bartley กล่าว “บ่อยครั้ง การอภิปรายทักษะในองค์กรมุ่งเน้นไปที่ด้าน 'ผู้บริโภค' ของข้อมูล โดยเน้นที่โปรแกรมการรู้ข้อมูลของพนักงานและการใช้งานง่ายสำหรับซอฟต์แวร์แบบบริการตนเอง เช่น เครื่องมือสร้างภาพข้อมูล” เธอเขียน “อย่างไรก็ตาม เมื่อผู้บริโภคข้อมูลที่ได้รับการฝึกอบรมมีจำนวนเพิ่มขึ้นและเครื่องมือแสดงภาพข้อมูลก็ใช้งานง่ายขึ้น กระแสน้ำก็ดูเหมือนจะเปลี่ยนไป ในปัจจุบัน บทบาท 'ซัพพลายเออร์' ของข้อมูลทางเทคนิคแบบเดิมๆ กำลังตกอยู่ภายใต้ความต้องการของผู้บริโภค” สุดท้ายนี้ รายงานระบุว่าการขาดระบบอัตโนมัติในระดับเทคโนโลยีและกระบวนการกำลังขัดขวางความสามารถของพนักงานที่ทำงานหนักเกินไปเพื่อให้ทันต่อความต้องการในการสร้างที่อยู่ในห่วงโซ่อุปทานของข้อมูล ความซับซ้อนมากเกินไป คอขวดต่างๆ การขาดการสตรีมแบบเรียลไทม์ และการขาดระบบอัตโนมัติโดยทั่วไปถูกอ้างถึงโดย 29% หรือมากกว่าของวิศวกรข้อมูล สถาปนิก และนักพัฒนา จากการสำรวจพบว่า Bartley ชี้ไปที่ผู้กระทำผิดที่ไม่คาดคิดรายหนึ่งว่าทำร้ายซัพพลายเชนข้อมูล นั่นคือ โมเดลธุรกิจแบบบริการตนเอง เห็นได้ชัดว่าโปรแกรมการบริการตนเองอาจไม่ใช่ยาครอบจักรวาลที่พวกเขามักจะทำออกมา ปัญหาคอขวดของข้อมูลด้านอุปทานที่อ้างถึงบ่อยที่สุด (การวิจัยโดยได้รับความอนุเคราะห์ 84 “พูดง่ายๆ ก็คือ โมเดลการบริการตนเองนั้นรองรับได้ยากเมื่อมีจุดเสียดสีหรือช่องว่างใน ห่วงโซ่อุปทานข้อมูล” เธอเขียนในรายงาน “โดยรวมแล้ว น้อยกว่าครึ่ง (48%) ของผู้ตอบแบบสำรวจ 'ค่อนข้าง' หรือ 'ทั้งหมด' เห็นด้วยว่าองค์กรของพวกเขาจัดให้ การเข้าถึงและใช้งานข้อมูลแบบบริการตนเอง” ดังนั้น อะไรคือผลกระทบของความท้าทายเหล่านี้ในห่วงโซ่อุปทานของข้อมูล? สิ่งสำคัญอย่างหนึ่งคือความตรงต่อเวลาของข้อมูล การสำรวจชี้ให้เห็น ข้อมูลมักจะล้าสมัยตามเวลาที่ใช้ ตาม 63% ของนักวิทยาศาสตร์ข้อมูลและนักวิเคราะห์ข้อมูลที่ทำแบบสำรวจ อย่างไรก็ตาม เมื่อมองผ่านเลนส์ของผู้ให้บริการข้อมูลต้นน้ำ มีเพียง 55% ของจำนวนผู้ใช้ทั้งหมดที่ตอบแบบสำรวจเห็นด้วยว่า คำสั่ง ซึ่งแนะนำว่าวิศวกรข้อมูล สถาปนิก และนักพัฒนาไม่ได้มองโลกในแง่ร้ายเกี่ยวกับความทันเวลาของข้อมูลเท่ากับผู้ใช้ที่อยู่ปลายสุดของแท่งข้อมูล (หรือบางทีพวกเขาเพิ่งจะไม่ได้สัมผัสกับสิ่งที่เกิดขึ้นจริงบนพื้นดิน) 84 รวบรวมหลักฐานเพิ่มเติมของความแตกต่างในการรับรู้ว่าใครเป็นผู้รับผิดชอบข้อมูล ข้อบกพร่อง ผู้จัดหาข้อมูลซึ่งรับภาระหนักของการร้องขอข้อมูลจากผู้บริโภคข้อมูลมีความอ่อนไหวต่อการรับรู้ถึงความคับข้องใจมากขึ้น Bartley เขียน “ในขณะที่ 50% ของผู้ตอบแบบสอบถามที่ระบุตนเองว่าเป็นซัพพลายเออร์ข้อมูล 'ค่อนข้าง' หรือ 'ทั้งหมด' เห็นด้วยว่าผู้บริโภคข้อมูลในองค์กรของตนแสดงออก หงุดหงิดในความพยายามที่จะเข้าถึงข้อมูลการใช้งานเท่านั้น % ของผู้ที่ระบุตัวเองตามที่ผู้บริโภคเห็นด้วย ” เธอเขียนในรายงาน “ผู้บริโภคข้อมูลอาจไม่ได้ตระหนักถึงระดับของความคับข้องใจที่พวกเขาส่งไปยังซัพพลายเออร์ข้อมูล ซึ่งถูกยืดเยื้อและทำงานอยู่ท่ามกลางทีมที่ประสบปัญหาการขาดแคลนทักษะ” โดยไม่คำนึงถึงว่าใครเป็นผู้รับผิดชอบสำหรับความเจ็บปวดของข้อมูล ผู้เล่นข้อมูลทั้งหมดในองค์กรดูเหมือนจะรับรู้ว่าทีมโดยรวมทำงานได้ไม่ดีเท่าที่ควร มีการแพร่กระจายอย่างมีนัยสำคัญในการเติบโต DataOps ที่รายงานด้วยตนเอง (ที่มา: 84 การวิจัย) เมื่อถูกขอให้วัดตัวเองบนเส้นกราฟความสมบูรณ์ของ DataOps สเปรดจะมากหรือน้อยตามที่คุณ จะคาดหวัง เฉพาะ 10% ของผู้ตอบแบบสอบถามทำให้ตัวเองอยู่ในอันดับต้น ๆ ของชั้นเรียนในหมวดหมู่ “ปรับให้เหมาะสม” โดยที่ “DataOps ฝังแน่นในวัฒนธรรมของบริษัท ในเวลาเดียวกัน มีเพียง 5% เท่านั้นที่ทำให้ตัวเองอยู่ท้ายสุดของชั้นเรียน ซึ่งเป็นช่วง “วุฒิภาวะต่ำ” ที่ “ไม่มีกลยุทธ์ DataOps [is]” ส่วนใหญ่วางตัวเองไว้ตรงกลางในขั้นตอนต่างๆ ของการตั้งไข่ ขั้นที่เกิดใหม่ และเร่งความเร็วบนเส้นโค้งวุฒิภาวะ (84 ไม่ได้จัดเตรียมการแยกสำหรับผู้ผลิต/ผู้บริโภค ซึ่งน่าจะน่าสนใจ) เห็นได้ชัดว่ายังมีช่องว่างสำหรับการปรับปรุงในห่วงโซ่อุปทานข้อมูล การมีหัวหน้าเจ้าหน้าที่ข้อมูล (CDO) ถือเป็นเครื่องบ่งชี้ว่าองค์กรจริงจังกับการจัดการกับความท้าทายในห่วงโซ่อุปทานของข้อมูล แม้ว่า CDO ประเภทต่างๆ (เชิงกลยุทธ์และเชิงกลยุทธ์) ก็ดูเหมือนจะสัมพันธ์กับความสำเร็จในที่สุด ในท้ายที่สุด ขึ้นอยู่กับแต่ละองค์กรในการประเมินว่าพวกเขาอยู่ที่ใดบนเส้นกราฟความสมบูรณ์ของ DataOps และขั้นตอนที่พวกเขาสามารถทำได้เพื่อปรับปรุงห่วงโซ่อุปทานของข้อมูล ขั้นตอนหนึ่งที่ชัดเจนซึ่งเกือบทุกองค์กรสามารถทำได้คือการลงทุนในผู้ให้บริการข้อมูลต้นน้ำและกระบวนการที่พวกเขาสนับสนุน เช่น วิศวกรข้อมูล สถาปนิกข้อมูล และนักพัฒนาข้อมูล ตลอดจนเทคโนโลยี เครื่องมือ และกระบวนการที่ต้องการเพื่อให้บรรลุมากขึ้น ระบบอัตโนมัติ สำหรับสำเนารายงานการวิจัยฉบับสมบูรณ์ คลิกที่นี่ Immuta และ 84 การวิจัยจะอภิปรายรายงานนี้ในระหว่างการสัมมนาทางเว็บในเดือนสิงหาคม 31 เวลา 13.00 น. ET รายการที่เกี่ยวข้อง: ความต้องการวิศวกรข้อมูลเพิ่มขึ้น 50% รายงานระบุว่าวิทยาศาสตร์ข้อมูลจำเป็นต้องเติบโตขึ้น Domino กล่าวของ Anaconda 2021 State of Data Science Report เน้นย้ำการสนับสนุนโอเพ่นซอร์ส ผลกระทบจาก COVID-19

Leave a Reply

Your email address will not be published. Required fields are marked *

Back to top button