Data science

Data Fabric: Convergent Solutions เพื่อหลีกเลี่ยงเครื่องมือที่ซับซ้อน การเย็บปะติดปะต่อกัน

คลิกเพื่อเรียนรู้เพิ่มเติมเกี่ยวกับผู้เขียน Michele Iurillo จากข้อมูลของ Gartner data fabric เป็นสถาปัตยกรรมและชุดบริการข้อมูลที่มีฟังก์ชันการทำงานที่สอดคล้องกันในสภาพแวดล้อมที่หลากหลาย ตั้งแต่ในองค์กรไปจนถึงระบบคลาวด์ Data Fabric ช่วยลดความยุ่งยากและผสานรวมการจัดการข้อมูลภายในองค์กรและคลาวด์ด้วยการเร่งการเปลี่ยนแปลงทางดิจิทัล เราจะโน้มน้าวองค์กรต่างๆ ได้อย่างไรว่าข้อมูลมีการข้ามผ่านอย่างแท้จริง เราจะทำการประเมินมูลค่าข้อมูลที่มั่นคงได้อย่างไร data fabric ช่วยเราในเรื่องนี้ได้หรือไม่? เราสามารถปราบดาต้าไซโลได้หรือไม่? Gartner กำหนด data fabric เป็นแนวคิดการออกแบบที่ทำหน้าที่เป็นชั้นรวม (fabric) ของข้อมูลและกระบวนการเชื่อมต่อ โครงสร้างข้อมูลใช้การวิเคราะห์อย่างต่อเนื่องในสินทรัพย์ข้อมูลเมตาที่มีอยู่เพื่อสนับสนุนการออกแบบ การปรับใช้ และการใช้ข้อมูลที่บูรณาการและนำกลับมาใช้ใหม่ได้ทั่วทั้งสภาพแวดล้อม และเป็นสิ่งจำเป็นสำหรับองค์กรที่ขับเคลื่อนด้วยข้อมูล: “แนวทางโครงสร้างข้อมูลสามารถปรับปรุงรูปแบบการจัดการข้อมูลแบบเดิมและแทนที่ ด้วยวิธีการตอบสนองที่มากขึ้น มันทำให้ผู้จัดการ D&A สามารถลดความหลากหลายของแพลตฟอร์มการจัดการข้อมูลแบบบูรณาการ และเสนอกระแสข้อมูลข้ามองค์กรและโอกาสในการรวมเข้าด้วยกัน” นี่คือเหตุผลที่จำเป็นต้องมีแนวทางแบบครบวงจร นั่นคือแพลตฟอร์มที่สามารถทำงานได้ทั่วทั้งไปป์ไลน์ข้อมูล ตั้งแต่การนำเข้าข้อมูลไปจนถึงการใช้ประโยชน์จากข้อมูลและการแสดงภาพ แนวทางเสมือนจริงทั้งหมด (ระบบ LDW ตามคำค้นหา) มีข้อจำกัดที่ไม่สามารถทำให้กระบวนการทั้งหมดเป็นจริงได้ และเหนือสิ่งอื่นใดคือไม่อนุญาตให้มีการตรวจสอบที่สมบูรณ์ตลอดเวลาและในสภาพแวดล้อมที่มีการควบคุมอย่างเข้มงวด เช่น การธนาคารและการประกันภัย คลังข้อมูลเชิงตรรกะเป็นแนวทางที่สามารถแก้ไขข้อกำหนดเฉพาะบางอย่างได้ แต่ไม่มีที่ใดในกระบวนการที่มีโครงสร้าง ผู้ควบคุมอาจไม่เพียงแต่ถามเราว่ากระบวนการสกัดและสายเลือดเป็นอย่างไร เขาอาจต้องการดูการจำลองกระบวนการบางอย่างในวันที่ระบุเพื่อดูการเปลี่ยนแปลงทั้งหมดและกระบวนการทั้งหมดที่เกี่ยวข้อง Against Tools Patchwork โดยปกติ เมื่อเราเข้าหาบริษัทสำหรับโครงการข้อมูลประเภทใดก็ตาม เราจะพบสถานการณ์ที่กระจัดกระจายโดยทั่วไป บริษัทต่างๆ มักจะรวมเครื่องมือตามตรรกะทางการค้าของช่วงเวลาในอดีตของบริษัท ดังนั้นจึงเป็นเรื่องปกติที่จะพบการปะติดปะต่อของเครื่องมือต่างๆ: เราจะมีแหล่งข้อมูล คลังข้อมูลที่แตกต่างกันจากผู้ขายต่างๆ เอ็นจิ้นการวิเคราะห์ เอ็นจิ้นการรายงาน OLAP คิวบ์ และอื่นๆ ในกรณีที่ดีที่สุด อาจมาจากผู้ขายรายเดียวกัน แต่ยังมีปัญหาบางอย่างที่ต้องจัดการ เราจะทำเวิร์กโฟลว์อัตโนมัติได้อย่างไร เราจะจัดการข้อมูลเมตาได้อย่างไร เราจัดทำเอกสารกระบวนการอย่างไร? แล้วความรับผิดชอบล่ะ? เราจะตอบสนองต่อหน่วยงานกำกับดูแลอย่างไร? นั่นคือเมื่อเราถามตัวเองในระดับสถาปัตยกรรมว่าบางทีเราน่าจะทำให้มันแตกต่างออกไป แนวทาง Enterprise Data Management (EDM) ซึ่งสินทรัพย์ข้อมูลทั้งหมดกระจุกตัวอยู่ในแพลตฟอร์มเดียว จะเป็นโซลูชันที่เหมาะสมที่สุด นอกจากนี้ ตาม DAMA การกำจัดไซโลและความรับผิดชอบอย่างเต็มที่ควรเป็นแกนหลักของโครงการข้อมูลใดๆ แนวคิด data fabric สามารถแก้ปัญหาได้หรือไม่? จากข้อมูลของ Gartner data fabrics ลดเวลาในการออกแบบการรวมลง 30%, การปรับใช้โดย 30% และการบำรุงรักษาโดย 70% เนื่องจากการออกแบบเทคโนโลยีขึ้นอยู่กับความสามารถในการใช้/นำกลับมาใช้ใหม่ และผสมผสานรูปแบบต่างๆ ของการผสานข้อมูลเข้าด้วยกัน นอกจากนี้ โครงสร้างข้อมูลยังสามารถใช้ประโยชน์จากทักษะและเทคโนโลยีที่มีอยู่ของดาต้าฮับ ดาต้าเลค และคลังข้อมูล ในขณะเดียวกันก็แนะนำแนวทางและเครื่องมือใหม่ๆ สำหรับอนาคต ในแง่นี้ แม้ว่าแนวทางที่ดีคือการมีแพลตฟอร์มแบบ all-in-one ที่มีความสามารถในการทำงานร่วมกันได้อย่างเต็มที่ การนำ data fabric ไปใช้ไม่จำเป็นต้องมีการลงทุนด้านเทคโนโลยีใดๆ ของลูกค้า ในนามของข้อมูลเมตา เสาหลักที่เชื่อมต่อกันอย่างใกล้ชิดอย่างน้อยสามเสาที่ระบุโดย Gartner สำหรับโครงสร้างข้อมูลนั้นเกี่ยวข้องโดยตรงกับข้อมูลเมตา: แคตตาล็อกข้อมูลเสริม: แคตตาล็อกของข้อมูลที่มีอยู่พร้อมคุณสมบัติที่โดดเด่นเพื่อสนับสนุนการใช้งานเมตาดาต้าที่สามารถรับรองประสิทธิภาพสูงสุด ของกระบวนการจัดการข้อมูล กราฟความรู้เชิงความหมาย: การแสดงกราฟิกของความหมายและออนโทโลจีของเอนทิตีทั้งหมดที่เกี่ยวข้องในการจัดการสินทรัพย์ข้อมูล เห็นได้ชัดว่าองค์ประกอบพื้นฐานที่แสดงในรูปแบบนี้เป็นข้อมูลเมตา ข้อมูลเมตาที่ใช้งานอยู่: ข้อมูลเมตาที่มีประโยชน์ที่ต้องวิเคราะห์เพื่อระบุโอกาสในการจัดการและการใช้สินทรัพย์ข้อมูลได้ง่ายขึ้นและเหมาะสมที่สุด: ไฟล์บันทึก ธุรกรรม การเข้าสู่ระบบของผู้ใช้ แผนการเพิ่มประสิทธิภาพการสืบค้น โครงสร้างข้อมูลที่มีข้อมูลเมตาเป็นศูนย์กลางทำให้เรามีข้อดีอื่นๆ ทั้งหมดที่สำคัญมากเมื่อจัดลำดับความสำคัญของการวัดบนสินทรัพย์ข้อมูล หากเรามุ่งเน้นที่จะให้คุณค่าภายในแก่ข้อมูลของเราตามพารามิเตอร์ต่างๆ เราจะสามารถทุ่มเททรัพยากรในลักษณะที่ “อิง” ตามมูลค่าที่แท้จริงของข้อมูล ลองนึกภาพว่าข้อมูลของลูกค้ามีมูลค่าเท่าใด เมื่อมูลค่านี้เพิ่มขึ้นตามความสำคัญ พอร์ตโฟลิโอ และประวัติการขาย เมื่อมูลค่านี้ลดลงตามความไม่ถูกต้องของข้อมูลที่เรามีเกี่ยวกับข้อมูลนั้น การจัดการที่แย่ของข้อมูลนั้น ข้อมูลอาจมีค่าใช้จ่ายตามภาระผูกพันด้านกฎระเบียบ หากเราให้คุณค่ากับข้อมูลทั้งหมด โดยเฉพาะอย่างยิ่งกับ Metadata เราจะสามารถตอบคำถามที่น่าสนใจได้ เช่น เจ้าของข้อมูลคนไหนที่จัดการข้อมูลที่มีค่าที่สุดให้กับบริษัท? เราควรจัดลำดับความสำคัญของการดำเนินการด้านคุณภาพตามมูลค่าที่สินทรัพย์ข้อมูลเหล่านี้เป็นตัวแทนอย่างไร หากเครื่องมือการกำกับดูแลมีกระบวนทัศน์ Governance by Design จะช่วยให้เราสามารถให้มูลค่าภายใน (เช่น ขององค์กร) และมูลค่าภายนอก ขึ้นอยู่กับการสูญเสียทรัพย์สินนี้หรือการขายทรัพย์สินนั้น ข้อมูลของลูกค้ามีค่าต่อคู่แข่งของเรามากแค่ไหน? ในหนังสือ “Infonomics” โดย Doug Laney เราพบตัวอย่างมากมายเกี่ยวกับวิธีที่เราสามารถให้คุณค่ากับข้อมูล บางทีคุณควรทำจากข้อมูลเมตา ดังนั้นจึงจำเป็นที่เครื่องมือหรือชุด Data Governance สามารถเพิ่มข้อมูลเมตาด้วยแอตทริบิวต์อื่นๆ ได้โดยไม่สูญเสียลำดับของข้อมูล Gartner ขอแนะนำว่าผู้นำด้านข้อมูลและการวิเคราะห์ไม่ได้รับเทคโนโลยีที่ไม่มีการพัฒนา AI และ ML และการรวมไว้ในแผนงานของพวกเขา บางทีพวกเขาควรแนะนำด้วยว่าถึงเวลาเลือกใช้เทคโนโลยีแบบหลอมรวม แม้ว่าสิ่งนี้จะขัดกับวิสัยทัศน์ของพวกเขาในการแก้ปัญหาที่แบ่งออกเป็น “Magic Quadrant” เล็กน้อย

  • บ้าน
  • Business
  • Data science
  • Marketing
  • Leave a Reply

    Your email address will not be published. Required fields are marked *

    Back to top button