Data science

พบกับ Sean Knapp บุคคล Datanami ปี 2021 ที่น่าจับตามอง

การรับข้อมูลไปยังที่ที่ถูกต้องในเวลาที่เหมาะสมไม่เคยมีความสำคัญมากไปกว่าตอนนี้ แต่สำหรับหลายองค์กร งานการเคลื่อนย้ายข้อมูลส่วนใหญ่ยังคงเป็นงานที่ต้องทำเอง Sean Knapp ก่อตั้ง Ascend.io เพราะเขารู้ว่าการวางท่อข้อมูลอัตโนมัติเป็นกุญแจสำคัญในการปลดปล่อยพลังของข้อมูล เมื่อเร็ว ๆ นี้เราได้ติดต่อกับ Knapp ซึ่งเป็น CEO ของ Ascend.io และ Datanami Person 2021 ที่น่าจับตามอง Datanami: การขาดแคลนนักวิทยาศาสตร์ด้านข้อมูลมักถูกอ้างถึงว่าเป็นอุปสรรคต่อความสำเร็จในวิทยาศาสตร์ข้อมูลและการเรียนรู้ของเครื่อง แต่คุณมองว่าวิศวกรรมข้อมูลเป็นปัญหาที่แท้จริง คุณช่วยอธิบายความคิดของคุณเกี่ยวกับเรื่องนี้ให้ละเอียดหน่อยได้ไหม? ฌอน แนปป์: วิทยาศาสตร์ข้อมูลได้แพร่หลายไปทั่วแผนกและหน้าที่การงานในเกือบทุกอุตสาหกรรม ซึ่งสร้างปัญหาการขาดแคลนนักวิทยาศาสตร์ข้อมูลอย่างแน่นอน อย่างไรก็ตาม นักวิทยาศาสตร์ด้านข้อมูลของบริษัทต่างๆ มักถูกกีดกันจากความต้องการที่เพิ่มขึ้นในการเข้าถึงข้อมูลที่มีความคล่องตัวและปรับขนาดได้ ซึ่งเป็นฟังก์ชันที่โดยทั่วไปแล้ววิศวกรข้อมูลจะจัดการ วิศวกรรมข้อมูลมีหน้าที่รับผิดชอบในไปป์ไลน์ข้อมูลที่รวบรวม รวม เสริม และปรับแต่งข้อมูลให้เป็นหน่วยการสร้างที่ใช้งานได้สำหรับการวิเคราะห์ น่าเสียดายที่มีวิศวกรข้อมูลไม่เพียงพอที่จะตอบสนองความต้องการ สำหรับบริษัทที่มีความสามารถด้านวิศวกรรมข้อมูล ผู้เชี่ยวชาญเหล่านี้ต้องใช้เวลาส่วนใหญ่ในการบำรุงรักษาระบบที่เปราะบางและให้บริการความต้องการของทีมอื่นๆ เมื่อในที่สุดพวกเขาก็มีอิสระในการสร้างไปป์ไลน์ข้อมูลใหม่ การสร้างต้นแบบและการผลิตโปรเจ็กต์พื้นฐานที่สุดจะใช้เวลาหลายเดือนหรือไม่นาน ปัญหาคือไม่สามารถปรับขนาดได้ ไม่ใช่ไบต์หรือเร็กคอร์ด แต่เป็นของผู้สร้างและความเร็ว ความสามารถของบริษัทในการขยายขนาดความคิดริเริ่มด้านข้อมูลนั้นต้องการวิธีที่เร็วกว่า เชื่อถือได้มากกว่า และเป็นไปโดยอัตโนมัติสำหรับธุรกิจต่างๆ เพื่อทำให้การเข้าถึงข้อมูลเป็นประชาธิปไตยทั่วทั้งองค์กร ช่วยให้ทีมข้อมูลสามารถขับเคลื่อนนวัตกรรมและส่งมอบข้อมูลเชิงลึกได้รวดเร็วยิ่งขึ้น จากนั้นธุรกิจจะสามารถเปลี่ยนการลงทุนเหล่านั้นให้กลายเป็นความสำเร็จของธุรกิจได้ Apache Spark คือหัวใจสำคัญของข้อเสนอของคุณที่ Ascend.io เมื่อพิจารณาถึง hoopla ที่วางผิดที่ทั้งหมดบน Hadoop คุณรู้สึกมั่นใจหรือไม่ว่าจะไม่เกิดขึ้นกับ Spark? Apache Spark เป็นเทคโนโลยีที่ค่อนข้างโดดเด่น และในขณะที่มันแสดงให้เห็นอย่างชัดเจนว่าสามารถทนต่อการทดสอบของเวลา เราเชื่อว่าไม่มีขนาดใดที่เหมาะกับผลิตภัณฑ์ข้อมูลและสถาปัตยกรรมที่ขับเคลื่อนพวกเขาทั้งหมด ปัจจุบันบริษัทต่างๆ กำลังดิ้นรนกับแนวทางของพวกเขาใน data lake กับ data data และ data lakehouse เช่นเดียวกับที่พวกเขามีกับแบทช์กับการสตรีมและไมโครแบทช์ ในท้ายที่สุด สิ่งที่ผู้ใช้ต้องการคือประโยชน์ของแนวทางต่างๆ เหล่านี้ และความยืดหยุ่นในการย้ายไปมาระหว่างแนวทางเหล่านี้ตามความต้องการทางธุรกิจ โดยไม่ต้องออกแบบกลยุทธ์ข้อมูลทั้งหมดใหม่ Ascend.io ลงทุนอย่างหนักเพื่อให้ลูกค้าของเรามีความยืดหยุ่น ไม่ว่าจะข้ามคลาวด์หรือข้ามไซโลข้อมูล ตัวเชื่อมต่อข้อมูลโค้ดแบบยืดหยุ่นของเราช่วยให้ลูกค้าสามารถเชื่อมต่อกับระบบข้อมูลการเปลี่ยนผ่านได้อย่างง่ายดายอย่างมาก จับตาดูเราเพื่อดำเนินการต่อแนวโน้มนี้ใน 2021 ด้วยความสามารถในการใช้ประโยชน์จากแพลตฟอร์มพื้นฐานในการประมวลผลข้อมูลมากกว่าที่เคยเป็นมาในเร็วๆ นี้ Datanami: อะไรคือข้อผิดพลาดทั่วไปที่ผู้คนทำเกี่ยวกับข้อมูลของพวกเขา และพลังชนิดใหม่ใดบ้างที่สามารถปลดล็อคได้หากได้รับการแก้ไข Knapp: ความผิดพลาดทั่วไปของหลายๆ บริษัทในปัจจุบันคือการจัดโครงสร้างทีมข้อมูล เมื่อพูดถึงการจัดหาพนักงาน ฝ่ายบริหารมีหน้าที่ตั้งค่าทีมข้อมูลเพื่อความสำเร็จ อย่างไรก็ตาม บ่อยครั้งผู้บริหารอาจไม่มีข้อมูลเชิงลึกหรือความเชี่ยวชาญในการจ้างทีมที่เหมาะสมและมีทักษะที่เหมาะสม ซึ่งอาจนำไปสู่ความท้าทายมากมาย โดยทั่วไป ฝ่ายบริหารอาจจัดลำดับความสำคัญในการว่าจ้างนักวิทยาศาสตร์ข้อมูลเท่านั้น ซึ่งหมายความว่าไม่มีความสามารถด้านวิศวกรรมข้อมูลหรือการปฏิบัติงานเพื่อสนับสนุนโครงการริเริ่มด้านวิทยาศาสตร์ข้อมูล อัตราส่วนที่ไม่สมดุลของวิศวกรข้อมูลต่อผู้บริโภคข้อมูลสามารถทำลายประสิทธิภาพการทำงานของทีมข้อมูล นำไปสู่ความล่าช้าอย่างมากในไทม์ไลน์ของการวิเคราะห์ อีกกรณีหนึ่งคือฝ่ายบริหารอาจจ้างคนผิดเนื่องจากไม่เข้าใจงานในมืออย่างเต็มที่ วิศวกรรมข้อมูลยังคงเป็นสาขาที่เกิดขึ้นใหม่ ซึ่งมักจะนำไปสู่ความผิดพลาดในกระบวนการจ้างงาน ฝ่ายบริหารอาจจ้างบุคคลให้เข้ามามีบทบาทเป็น “วิศวกรข้อมูล” แต่บ่อยครั้งที่ผู้เชี่ยวชาญเหล่านี้อาจเป็นแค่วิศวกรซอฟต์แวร์หรือผู้ดูแลระบบฐานข้อมูล เพื่อหลีกเลี่ยงปัญหานี้ ฝ่ายบริหารต้องประเมินอย่างใกล้ชิดว่าพวกเขาต้องมีทักษะอะไรบ้างในการพิจารณาอย่างเพียงพอว่าพวกเขาต้องการทักษะใดในทีมข้อมูลของตน และเปิดกว้างสำหรับการแก้ไขปัญหาและการแก้ไขหลักสูตรไปพร้อมกัน ข้อผิดพลาดทั่วไปอีกประการหนึ่งสำหรับทีมข้อมูลคือการคุกคามของสิ่งที่ฉันเรียกว่า “แรนซัมแวร์โดยไม่ได้ตั้งใจ” วิศวกรข้อมูลจำนวนมาก โดยเฉพาะอย่างยิ่งในช่วงเริ่มต้นของอาชีพการงาน – มีความสนใจเพียงฝ่ายเดียวในการสร้างระบบข้อมูลและแพลตฟอร์มของตนเองตั้งแต่ต้น โดยอาศัยเทคโนโลยีโอเพนซอร์ซเพื่อรวมเอาระบบที่เป็นกรรมสิทธิ์ซึ่งจะทำให้งานสำเร็จลุล่วง ปัญหาของสถานการณ์นี้คือ ถ้าวิศวกรข้อมูลที่สร้างมันขึ้นมาตัดสินใจที่จะออกจากบริษัท ก็ไม่น่าเป็นไปได้อย่างยิ่งที่คนอื่นๆ ในธุรกิจจะสามารถรักษา หรือพูดตรงๆ แม้กระทั่งใช้ระบบนี้ มันสามารถไปถึงจุดที่ผู้จัดการของทีมข้อมูลรู้สึกว่าพวกเขากำลังถูกจับเป็นตัวประกันโดยแพลตฟอร์มเหล่านี้ ดังนั้นคำว่าแรนซัมแวร์โดยไม่ได้ตั้งใจ โชคดีที่ผู้เชี่ยวชาญด้านข้อมูลจำนวนมากที่เริ่มต้นอาชีพในการสร้างระบบเหล่านี้ในช่วงทศวรรษที่แล้ว – ที่จุดสูงสุดของโอเพ่นซอร์ส – ได้สัมผัสโดยตรงแล้วว่ากระบวนการสร้างนั้นยากลำบาก ใช้เวลานาน และมีค่าใช้จ่ายสูงเพียงใด สิ่งนี้ทำให้ทีมข้อมูลจำนวนมากเลือกที่จะซื้อโซลูชันเพื่อเพิ่มมูลค่าสูงสุดให้กับธุรกิจและหลีกเลี่ยงแรนซัมแวร์โดยไม่ได้ตั้งใจที่อาจเกิดขึ้น Datanami: นอกวงการมืออาชีพ คุณสามารถแบ่งปันอะไรเกี่ยวกับตัวคุณที่เพื่อนร่วมงานของคุณอาจต้องประหลาดใจเมื่อได้เรียนรู้ – งานอดิเรกหรือเรื่องราวที่ไม่เหมือนใคร Knapp: เรามีทีมที่ค่อนข้างแน่นแฟ้น ดังนั้นฉันไม่แน่ใจว่านี่จะทำให้เพื่อนร่วมงานของฉันเซอร์ไพรส์มากขนาดนี้ แต่ฉันชอบวิ่งจริงๆ พ่อแม่ของฉันเป็นนักวิ่งทั้งคู่ และถึงแม้จะเป็นเด็กเล็ก พวกเขาก็ยังพาน้องชายฝาแฝดของฉันกับฉันไปที่สนามแข่งในท้องถิ่น และให้เราเล่นในหลุมกระโดดไกล (หรือที่เรียกกันว่าแซนด์บ็อกซ์) ขณะที่พวกเขาวิ่ง เราทั้งคู่แข่งขันกันแบบข้ามประเทศและกรีฑาและลงสนามไปจนถึงวิทยาลัย และจนถึงทุกวันนี้ก็วิ่งไปด้วยกันให้บ่อยที่สุดเท่าที่จะทำได้ อย่างไรก็ตาม สิ่งที่ดีที่สุดประการหนึ่งเกี่ยวกับการวิ่งก็คือการได้เห็นเมืองใหม่ เมือง หรือแม้แต่ชนบทใหม่อย่างไม่น่าเชื่อ ฉันเคยเดินทางไปทำงานบ่อยและจะไปต่างประเทศเกือบทุกเดือนโดยมีเวลาว่างน้อยมากในการดูสถานที่ต่างๆ การสวมรองเท้าวิ่งเป็นเวลา 6 ขวบ 00 การวิ่งรอบพระราชวังอิมพีเรียลในโตเกียว โรงอุปรากรในซิดนีย์ หรือไฮด์ปาร์คในลอนดอนเป็นวิธีที่ยอดเยี่ยม ในสถานที่ท่องเที่ยวก่อนวันอันยาวนานของการประชุม ฉันยังจะใช้เส้นทางที่ไม่ซ้ำกันกลับจากโตเกียวซึ่งมีตาแดงกลับไปกลับมาโดยมีการหยุดพักระหว่างทาง 10 ชั่วโมงในโฮโนลูลู ฉันจะใช้คะแนนโรงแรมเพื่อหาห้องพักราคาถูกในไวกิกิสำหรับกระเป๋าของฉัน ผูกเชือกรองเท้าสำหรับวิ่งของฉัน แล้ววิ่งขึ้นไปบนยอด Diamond Head และกลับมาก่อนที่จะไปทานอาหารมื้อใหญ่หลังวิ่ง อาบน้ำ และมุ่งหน้ากลับไปที่สนามบิน . อย่างไรก็ตาม ในบางครั้ง การเดินทางเพื่อธุรกิจจะนำคุณไปสู่ที่แห่งหนึ่งที่ไม่เหมือนใคร และสิ่งนี้นำไปสู่การวิ่งที่ฉันชอบที่สุดตลอดกาล ฉันเพิ่งจบการประชุมที่โมนาโก – ซึ่งเป็นประสบการณ์ในตัวของมันเอง – และเพื่อนร่วมทีมกับฉันมีเวลาหนึ่งวันก่อนที่เราจะบินออกไป เราตัดสินใจเช่ารถเล็ก ๆ และเลือกเมืองแบบสุ่มบนแผนที่บนเนินเขาที่เรียกว่าโซสเปล พอไปถึงเราก็ตั้งเป้าหมายวิ่งไปอิตาลี และเพื่อให้มันสนุกยิ่งขึ้น: ไม่มีถนน และในระยะยาว เราพบเส้นทางไปอิตาลีด้วยเส้นทางเล็กๆ รางรถไฟ อุโมงค์ และแม้แต่สะพาน (สำหรับรถไฟ) มันเป็นประสบการณ์ที่ยากจะลืมเลือน จนถึงทุกวันนี้ ฉันพกรองเท้าวิ่งติดตัวไปทุกที่ที่เดินทาง เพราะมีถนน เส้นทาง หรือรางรถไฟรอการสำรวจอยู่เสมอ Knapp เป็นหนึ่งใน 00 Datanami People to Watch for 2021 สามารถอ่านบทสัมภาษณ์ของผู้ได้รับรางวัลท่านอื่นๆ ได้ที่ลิงค์นี้

  • บ้าน
  • Business
  • Data science
  • Marketing
  • Leave a Reply

    Your email address will not be published. Required fields are marked *

    Back to top button