Data science

Cloud-Native ELT ช่วยให้ทีมข้อมูลเติบโตใน Lakehouse ได้อย่างไร

สิ่งที่น่าสนใจเกิดขึ้นกับการเพิ่มขึ้นของแพลตฟอร์มข้อมูลบนคลาวด์ แม้ว่าคลังข้อมูลและ Data Lake ของเราจะปรับปรุงและย้ายไปยังระบบคลาวด์ แต่แพลตฟอร์ม ETL ส่วนใหญ่ไม่ได้ปรับปรุง โซลูชัน ETL แบบดั้งเดิมมีความสามารถที่เหมาะสมกับสถาปัตยกรรมข้อมูลภายในองค์กรมากกว่าแพลตฟอร์มข้อมูลบนระบบคลาวด์สมัยใหม่ ป้อน ELT ในระบบคลาวด์ หากคุณกำลังวิเคราะห์ข้อมูลในสภาพแวดล้อมริมทะเลสาบ คุณต้องมีโซลูชันระบบคลาวด์ที่รองรับขั้นตอนการแปลงข้อมูลที่แตกต่างออกไปเล็กน้อย คุณต้องย้ายจาก ETL เป็น ELT โดยใช้ประโยชน์จากพลังของความสามารถในการประมวลผลของแพลตฟอร์มคลาวด์โดย “ลด” ขั้นตอนการเปลี่ยนแปลงลง การใช้พลังของระบบคลาวด์เพื่อช่วยแปลงข้อมูลจะเร็วขึ้น ประหยัดกว่า และเหมาะสมกว่าในการรองรับการวิเคราะห์สมัยใหม่ แต่นอกเหนือจากพื้นฐานแล้ว ยังมีสาเหตุอื่นๆ อีกหลายประการที่ทำให้คุณยอมรับ ELT ในระบบคลาวด์เมื่อกล่าวถึงบ้านริมทะเลสาบ ขจัดความซับซ้อน อย่าเพิ่ม สำหรับกระบวนการที่มีประกายไฟและสกาลา- หนักซึ่งเป็นเรื่องธรรมดาในสภาพแวดล้อมริมทะเลสาบ เครื่องมือ ETL แบบเดิมจะไม่เกิดขึ้น ตัวอย่างเช่น ผู้จำหน่าย ETL บางรายพยายามปรับปรุงให้มีเครื่องมือที่เก่ากว่าเพื่อสร้างโค้ด Spark และ Scala จำนวนมาก แต่เครื่องมือที่ใช้สคริปต์และแบบข้อความไม่ได้ขจัดความซับซ้อนใดๆ ถ้ามีอะไรเพิ่มเข้าไป บางครั้ง ดูเหมือนว่าวิธีเดียวที่จะนำเครื่องมือเหล่านี้ไปใช้คือการได้รับปริญญาวิทยาการคอมพิวเตอร์ และ/หรือเรียนรู้ภาษาใหม่ ซึ่งโดยพื้นฐานแล้วจะคล้ายกับการเรียนรู้กรอบการเขียนโปรแกรมใหม่และทำหน้าที่เป็นอุปสรรคในการเข้าสู่ผู้ที่มีความสามารถใหม่ เครื่องมือรุ่นเก่าไม่ได้ถูกสร้างขึ้นโดยคำนึงถึงความยืดหยุ่น คุณลักษณะ และขนาดของคลาวด์เป็นหลัก พวกมันใช้งานยากกว่าและต้องการงานจำนวนมากที่สามารถทำให้ล้าสมัยได้ด้วยฟีเจอร์อัตโนมัติและอินเทอร์เฟซแบบภาพในแพลตฟอร์ม ELT ที่ทันสมัย พวกเขาไม่สามารถติดตามระบบคลาวด์ได้ ซึ่งเป็นสิ่งสุดท้ายที่ทีมข้อมูลที่มีระยะเวลาจำกัดต้องการ กล่าวโดยสรุป ให้ระวังเครื่องมือที่ใช้กระบวนทัศน์แบบเก่าและพยายามใส่มันเข้าไปในบริบทสมัยใหม่ที่ต่างไปจากเดิมอย่างสิ้นเชิง รวมวิศวกรข้อมูลและนักวิทยาศาสตร์ข้อมูลด้วยเฟรมเวิร์กร่วมกัน ELT มีบทบาทสำคัญในการสร้างแนวทางที่เป็นหนึ่งเดียวในการนำเข้าข้อมูลและการปรับปรุงข้อมูลใน Lakehouse ซึ่งช่วยเชื่อมช่องว่างระหว่างวิศวกรข้อมูลและนักวิทยาศาสตร์ข้อมูล SQL เป็นโปรโตคอลเดียวที่สอดคล้องในเกือบทุกแพลตฟอร์มข้อมูลบนคลาวด์ เป็นเลเยอร์ใน ELT ที่สรุปความซับซ้อนของแพลตฟอร์มข้อมูลทางเทคนิคที่มีประสิทธิภาพมากเหล่านี้ ELT แบบ Cloud-native และเครื่องมือแบบ low-code ด้วยชุดเครื่องมือหรือแพลตฟอร์มที่เป็นหนึ่งเดียวที่เหมาะสมซึ่งสามารถสรุปความซับซ้อนของ Spark และ Scala โดยใช้ SQL และกระบวนการแบบ low-code วิศวกรข้อมูลสามารถขจัดชั่วโมงของการเข้ารหัสด้วยมือและสร้างไปป์ไลน์ข้อมูลที่ทำซ้ำได้ ช่วยให้ผู้เชี่ยวชาญด้านข้อมูลทางเทคนิคน้อยลงสามารถทำงานร่วมกันและทำงานกับข้อมูลในระบบคลาวด์ได้อย่างง่ายดาย ภาษาทั่วไปสำหรับการทำงานร่วมกันที่คล่องตัว ชุดเครื่องมือที่เหมาะสมยังจะพัฒนาและดูแลภาษากลางสำหรับการอธิบายและสื่อสารข้อกำหนดของข้อมูล ช่วยลดความเข้าใจผิดและความพยายามที่สูญเปล่าและเร่งผลิตภาพ ขยายขนาดด้วยความเร็วที่ตรงกับทีมข้อมูลบนคลาวด์ทุกประเภทและความสามารถทางเทคนิคจะได้รับประโยชน์จากทักษะทั่วไปที่ถ่ายทอดได้ง่าย อินเทอร์เฟซที่มองเห็นได้ชัดเจน ส่วนประกอบแบบลากแล้ววาง และภาษาพื้นฐานทั่วไป เช่น SQL ล้วนอำนวยความสะดวกในการทำงานร่วมกันข้ามสายงานได้เร็วขึ้น และมอบมูลค่าเพิ่มให้กับธุรกิจของคุณเร็วขึ้น องค์กรต่างๆ ไม่สามารถใช้เวลาในการพัฒนาและรักษาทักษะเฉพาะทางอย่าง Scala หรือ Java ได้มากขึ้น โดยใช้เครื่องมือเฉพาะและโซลูชันที่เน้นโค้ด และโซลูชันดังกล่าวไม่สามารถปรับขนาดได้ง่ายกว่าสมาชิกในทีมหลักเพียงไม่กี่คน การรับพนักงานด้านข้อมูลจำนวนมากขึ้น เร็วขึ้นและง่ายขึ้นกว่าเดิม และการได้รับคุณค่าจากความเชี่ยวชาญของพวกเขาในทันที เป็นขั้นตอนสำคัญในการปลดล็อกศักยภาพทางธุรกิจที่ขับเคลื่อนด้วยข้อมูลของคุณ เรียนรู้เพิ่มเติมเกี่ยวกับ ELT แบบคลาวด์เนทีฟและบ้านริมทะเลสาบ หากต้องการเรียนรู้เพิ่มเติมว่า ELT แบบคลาวด์เนทีฟอย่าง Matillion ETL สำหรับ Delta Lake บน Databricks ส่งเสริมการสื่อสาร การทำงานร่วมกัน และเพิ่มประสิทธิภาพการทำงานระหว่างทีมข้อมูลได้อย่างไร ดาวน์โหลด ebook ล่าสุดของเรา Guide to the Lakehouse: Unite ทีมข้อมูลของคุณในระบบคลาวด์เพื่อเชื่อมช่องว่างข้อมูล

  • บ้าน
  • Business
  • Data science
  • Marketing
  • Leave a Reply

    Your email address will not be published. Required fields are marked *

    Back to top button