Data science

คลาวด์วิศวกรรมข้อมูล: สามบทเรียนสำหรับยุคใหม่

ในช่วงสองทศวรรษที่ผ่านมา เราได้เรียนรู้มากมายในขณะที่เราได้พัฒนาจากข้อมูลขนาดใหญ่ (ความท้าทายใหม่) เป็นวิทยาศาสตร์ข้อมูล (โครงการใหม่) ไปจนถึงวิศวกรรมข้อมูล (แนวทางปฏิบัติใหม่) เรามาถึงยุควิวัฒนาการแล้ว และมีบทเรียนใหม่ให้เรียนรู้ ยุคใหม่นี้เปิดกว้างและครอบคลุม ต้องใช้แนวทาง “เต็นท์ขนาดใหญ่” ที่เชื่อมโยงผู้เชี่ยวชาญด้านข้อมูลและผู้เชี่ยวชาญด้านโดเมน ผู้เขียนโค้ดด้วยมือและผู้ไม่ใช้โค้ด วินัยทางวิศวกรรม และความคล่องตัวทางธุรกิจ มันต้องการแนวทางปฏิบัติด้านวิศวกรรมข้อมูลและแพลตฟอร์มเทคโนโลยีที่รวบรวมผู้มีส่วนได้ส่วนเสียที่หลากหลายและควบคุมพลังของข้อมูลในระบบคลาวด์เพื่อเปลี่ยนแปลงธุรกิจ นี่คือยุคของ Data Engineering Cloud และนี่คือบทเรียนที่สำคัญที่สุดสามบทเรียน บทที่ 1: ความเรียบง่ายทำให้ทุกคนมีพลัง พลังของ Data Engineering Cloud อยู่ในความเรียบง่าย บางครั้งคนเราเปรียบความเรียบง่ายกับการขาดความลึก ไม่อยู่ที่นี่. ใน Data Engineering Cloud ความเรียบง่ายมอบอำนาจให้ทุกคน แพลตฟอร์มคลาวด์ที่เกิดขึ้นใหม่สำหรับวิศวกรรมข้อมูลสามารถเปลี่ยนเกมสำหรับผู้เชี่ยวชาญด้านข้อมูลและผู้เชี่ยวชาญเฉพาะด้านได้ สำหรับผู้ใช้ใหม่ที่ไม่ใช้เทคนิค ระบบคลาวด์มี onramp ที่ง่ายต่อการทำงานกับข้อมูล ซึ่งเป็นการทำให้งานวิศวกรรมข้อมูลของผู้ใช้ปลายทางมีความเป็นประชาธิปไตย ผู้ใช้ใหม่สามารถเปลี่ยนจากแนวคิดทางธุรกิจไปสู่การส่งมอบได้โดยมีความขัดแย้งน้อยที่สุด สำหรับคนที่ชอบ “ความเร็วและฟีด” ที่ไม่ยอมใครง่ายๆ ระบบคลาวด์ขอเชิญชวนวิธีใหม่ๆ ที่มีน้ำหนักเบาในการคิดเกี่ยวกับโครงการขนาดใหญ่ ตัวอย่างเช่น เวลาในการตอบสนองของงานอาจสั้นลงอย่างมากโดยการขยายการใช้งานไปยังทรัพยากรจำนวนมากพร้อมกันชั่วคราว: ในแง่นั้น “รวดเร็วฟรี” ในระบบคลาวด์ ในขณะที่คุณคิดถึงสแต็คใหม่ในคลาวด์ ตรวจสอบให้แน่ใจว่าโซลูชันของคุณทำให้มันเรียบง่าย อย่ายกย่องในการเพิ่มประสิทธิภาพก่อนเวลาอันควรหรือความซับซ้อนที่ไม่จำเป็น บทเรียนที่ 2: การกำกับดูแลและความคล่องตัวไม่ได้ผูกขาดร่วมกัน ในอดีต ความตึงเครียดที่แท้จริงเคยมีอยู่ระหว่างผู้ที่ควบคุมข้อมูลและผู้ที่ใช้ข้อมูล ด้านหนึ่งของการแบ่งแยกทางสถาปัตยกรรมเป็นที่ตั้งของคลังข้อมูลที่มีการใช้งานจำกัด อีกด้านหนึ่งคือเครื่องมือที่นักวิเคราะห์ข้อมูลและนักวิทยาศาสตร์ข้อมูลใช้ เพื่อหลีกเลี่ยงคลังข้อมูลขององค์กร ชุดข้อมูลของแผนกเล็กๆ น้อยๆ หลายสิบชุดจึงถูกซ่อนอยู่ในเซิร์ฟเวอร์ภายใต้โต๊ะทำงานของผู้คน ไม่ซิงค์กันและไม่มีการจัดการ เมฆไม่มีกำแพง ไม่มี “ด้านไอที” หรือ “ด้านธุรกิจ” ใน Data Engineering Cloud มีพื้นที่เปิดกว้างสำหรับทุกคน เพียงเข้าสู่ระบบและใช้งานข้อมูล ทั้งแบบอิสระและผ่านการทำงานร่วมกัน การกำกับดูแลและความคล่องตัวเป็นเรื่องของนโยบายและการกำหนดค่า ไม่ใช่อุบัติเหตุของสถาปัตยกรรม Data Engineering Cloud ทำหน้าที่เป็นแหล่งรวบรวมข้อมูลที่น่าสนใจเพียงแห่งเดียว เป็นที่ที่วิศวกรรมข้อมูลสามารถดำเนินการตามแนวทางปฏิบัติเป็นทีมกีฬาทั่วทั้งองค์กร ผู้เชี่ยวชาญด้านข้อมูลและปฏิบัติการที่ควบคุมข้อมูลสามารถจับตาดูทุกสิ่งในสภาพแวดล้อมเดียว ในขณะเดียวกัน ผู้เชี่ยวชาญด้านโดเมนที่ใช้ข้อมูลเพื่อวัตถุประสงค์ทางธุรกิจสามารถเจาะโครงการของตนเองและดูแลตัวเองได้ ซึ่งรวมถึงการจัดหาและการแปลงข้อมูล Data Engineering Cloud เป็นที่ที่ผู้มีส่วนได้ส่วนเสียด้านข้อมูลทั้งหมดรวมตัวกันเพื่อทำงานร่วมกันด้วยความโปร่งใสอย่างเต็มที่ คุณไม่ควรเสียสละความคล่องตัวในการกำกับดูแลหรือในทางกลับกัน คุณสามารถมีได้ทั้งสองอย่างหากพวกเขาทำงานร่วมกัน บทเรียนที่ 3: ยอมรับวิวัฒนาการอย่างต่อเนื่อง ดังที่เราทราบ ซอฟต์แวร์ในฐานะบริการหมายความว่าทุกคนใช้ซอฟต์แวร์เวอร์ชันล่าสุดอยู่เสมอ เมื่อซอฟต์แวร์ดีขึ้น ทั้งองค์กรก็ก้าวไปข้างหน้า ในบริษัทที่เน้นระบบคลาวด์ มู่เล่ของนวัตกรรมจะหมุนอย่างรวดเร็วและรุนแรง เนื่องจากทั้งองค์กรกำลังอัปเกรดและเพิ่มทักษะในแนวทางปฏิบัติด้านข้อมูลอย่างต่อเนื่อง ไม่มีองค์ประกอบบางอย่างที่ทิ้งไว้เบื้องหลังเทคโนโลยีเดิม ปัญหาคอขวดไม่ได้ก่อตัวขึ้นรอบๆ คีย์มาสเตอร์สำหรับระบบเก่าและลี้ลับ และเมื่อเทคโนโลยี low-code ใหม่ปรากฏขึ้นเพื่อขจัดความซับซ้อน ผู้เล่นจำนวนมากขึ้นก็เข้ามาแทนที่ด้านวิศวกรรมข้อมูล โดยรับหน้าที่ต่างๆ เช่น การแปลงข้อมูลด้วยตนเองโดยไม่ได้รับความช่วยเหลือจากแหล่งข้อมูลทางเทคนิคเฉพาะทาง Data Engineering Cloud ปกป้องเราจากความซับซ้อนที่ชะงักงัน โดยไม่คำนึงว่าความซับซ้อนนั้นมาจากผู้จำหน่ายบุคคลที่สามหรือเข้ารหัสด้วยมือ เชิญชวนให้เรายอมรับการเปลี่ยนแปลงและการทดสอบอย่างต่อเนื่อง ทุกคนได้รับการอัปเกรดอยู่เสมอ และทุกคนก็ยกระดับทักษะอยู่เสมอ นี่เป็นข่าวดีสำหรับพนักงานและประวัติการทำงานของพวกเขา และเป็นข่าวดีสำหรับธุรกิจของคุณ เกี่ยวกับผู้เขียน Joe Hellerstein ผู้ร่วมก่อตั้งและ CSO ของ Trifacta | ศาสตราจารย์แห่งมหาวิทยาลัยแคลิฟอร์เนีย เบิร์กลีย์ Joe เป็นประธานเจ้าหน้าที่ฝ่ายกลยุทธ์ของ Trifacta, ผู้ร่วมก่อตั้ง และ Jim Gray ประธานฝ่ายวิทยาการคอมพิวเตอร์ที่ UC Berkeley อาชีพของเขาในด้านการวิจัยและอุตสาหกรรมมุ่งเน้นไปที่ระบบที่เน้นข้อมูลเป็นศูนย์กลางและวิธีที่พวกเขาขับเคลื่อนคอมพิวเตอร์ นิตยสารฟอร์จูนรวมเขาไว้ในรายชื่อ 50 คนที่ฉลาดที่สุดในเทคโนโลยี และนิตยสาร Technology Review ของ MIT ได้รวมงานของเขาไว้ใน TR10 รายการเทคโนโลยี 10 “มีแนวโน้มมากที่สุดที่จะเปลี่ยนโลกของเรา” Jeffrey Heer ผู้ร่วมก่อตั้งและ CXO Trifacta | ศาสตราจารย์ด้านวิทยาการคอมพิวเตอร์แห่งมหาวิทยาลัยวอชิงตัน เจฟฟ์เป็น Chief Experience Officer ผู้ร่วมก่อตั้งและศาสตราจารย์ด้านวิทยาการคอมพิวเตอร์ของ Trifacta ที่มหาวิทยาลัย Washington ซึ่งเขาดูแล Interactive Data Lab ความหลงใหลของ Jeff คือการออกแบบอินเทอร์เฟซผู้ใช้แบบใหม่สำหรับการสำรวจ จัดการ และสื่อสารข้อมูล เครื่องมือสร้างภาพข้อมูลที่พัฒนาโดยห้องปฏิบัติการของเขา (D3.js, Protovis, Prefuse) ถูกใช้โดยผู้ที่ชื่นชอบข้อมูลหลายพันคนทั่วโลก ใน 2009 เจฟฟ์ได้รับการเสนอชื่อให้อยู่ในรายชื่อ “ผู้สร้างนวัตกรรมชั้นนำภายใต้ 35 ของ MIT Technology Review ลงทะเบียนเพื่อรับจดหมายข่าว InsideBIGDATA ฟรี เข้าร่วมกับเราบน Twitter: @InsideBigData1 – https://twitter.com/InsideBigData1

  • บ้าน
  • Business
  • Data science
  • Marketing
  • Leave a Reply

    Your email address will not be published. Required fields are marked *

    Back to top button