Data science

แพลตฟอร์ม Hazelcast เพื่อนำข้อมูลในอดีตและเรียลไทม์มารวมกัน

Hazelcast เป็นที่รู้จักกันเป็นอย่างดีในฐานะผู้พัฒนาเทคโนโลยี in-memory data grid (IMDB) ซึ่งเป็นเลเยอร์ที่ชอบ RAM สำหรับการเร่งความเร็วของแอพพลิเคชั่นในการดำเนินงาน แต่ด้วยการเปิดตัวแพลตฟอร์ม Hazelcast ซึ่งกำหนดไว้ในขณะนี้ในเดือนกันยายน บริษัทซานมาเทโอ แคลิฟอร์เนียกำลังก้าวไปไกลกว่า IMDG และเข้าสู่ขอบเขตของแอปพลิเคชันแบบเรียลไทม์ที่รวมข้อมูลในอดีตและแบบเรียลไทม์สำหรับกรณีการใช้งานต่างๆ โดยพื้นฐานแล้ว แพลตฟอร์ม Hazelcast คือการผสมผสานระหว่าง Hazelcast IMDG กับ Hazelcast Jet ซึ่งเป็นแอปพลิเคชั่นประมวลผลสตรีมแบบเรียลไทม์ที่เปิดตัวเมื่อประมาณ 4 ปีที่แล้ว Manish Devgan หัวหน้าเจ้าหน้าที่ผลิตภัณฑ์คนใหม่ของ Hazelcast กล่าว ด้วยการรวมผลิตภัณฑ์ตามเวลาจริงและในอดีตเข้าด้วยกันเป็นข้อเสนอเดียว จะช่วยลดปัญหาการผสานรวม ลดการเคลื่อนไหวของข้อมูล และปรับปรุงโครงการ DevOps เพื่อปลดปล่อยพลังของข้อมูล “สิ่งสุดท้ายที่คุณต้องการทำในระบบแบบกระจายคือการย้ายข้อมูลไปรอบๆ” Devgan บอกกับ Datanami “ดังนั้น แทนที่จะให้ลูกค้าพูดว่า 'คุณกำลังดึงข้อมูลทั้งหมดนั้นไปยังไคลเอนต์' คุณกำลังพูดว่า ฉันได้รับข้อความค้นหานี้หรือฟังก์ชันการคำนวณนี้ และฉันจะส่งการคำนวณไปยังที่ที่ข้อมูลอยู่ การดำรงชีวิต. นั่นเป็นเหตุผลที่เราเรียกมันว่าข้อมูลในแหล่งกำเนิด” การประมวลผลในสถานที่ประเภทนี้มีประสิทธิภาพมาก เนื่องจากช่วยให้ลูกค้านำข้อมูลที่สดใหม่แบบเรียลไทม์มาใช้กับข้อมูลในอดีตและการดำเนินงานที่จัดเก็บไว้ในคลัสเตอร์ IMDB ได้ ดังที่ Devgan มองเห็น นั่นเป็นการเปิดกรณีการใช้งานการวิเคราะห์ใหม่ๆ จำนวนมาก Devgan กล่าวว่า “ตอนนี้คุณสามารถเริ่มเห็นว่าหมวดหมู่ของแอปพลิเคชันเปลี่ยนจากแอปพลิเคชันการทำธุรกรรมที่ดำเนินการอย่างหมดจดไปจนถึงแอปพลิเคชันอื่นๆ ซึ่งขณะนี้กำลังทำการวิเคราะห์อยู่ด้วย” “มันเป็นการเปลี่ยนกระบวนทัศน์เล็กน้อยที่นี่ ซึ่งคุณมีข้อมูลเชิงลึกมากมายที่จะมีในข้อมูลการดำเนินงาน ซึ่งกำลังดำเนินการผ่านแอปพลิเคชันของคุณ ดังนั้นทำไมฉันไม่ทำการวิเคราะห์ที่นั่นล่ะ” แทนที่จะสร้างไปป์ไลน์เพื่อย้ายข้อมูลจากระบบธุรกรรมไปยังระบบวิเคราะห์ หรือไปยังคลังข้อมูลบนคลาวด์ เช่น S3 หรือ ADLS ซึ่งสามารถสืบค้นได้โดยใช้เครื่องมือที่หลากหลาย Hazelcast ตอบสนองต่อความต้องการของลูกค้าในการทำให้การเคลื่อนย้ายข้อมูลมีน้อยที่สุด นอกจากนี้ยังช่วยเพิ่มเวลาแฝงสำหรับการตัดสินใจที่สำคัญเกี่ยวกับเวลา แพลตฟอร์ม Hazelcast ใหม่ (ใช้ได้ในเดือนหน้า) รวมการประมวลผลข้อมูลแบบเรียลไทม์และในอดีต (ที่มา: Hazelcast) “คุณเห็นว่าที่เก็บข้อมูลการปฏิบัติงานจำนวนมากมีไปป์ไลน์ข้อมูล ซึ่งย้ายข้อมูลจากที่จัดเก็บปฏิบัติการราคาแพงนี้ไปเป็นภาระงาน บน S3 หรือ ADLS บน Azure จากนั้นคุณก็นำการประมวลผลมา” Devgan กล่าว “แต่เรามีลูกค้าบอกว่าเราไม่อยากทำอย่างนั้น” บริษัทขนาดใหญ่ เช่น Netflix มีทรัพยากรด้านวิศวกรรมในการสร้างแอปพลิเคชันแบบเรียลไทม์ประเภทนี้ Devgan กล่าว แต่บริษัทขนาดเล็กส่วนใหญ่พยายามดิ้นรนเพื่อมอบประสบการณ์ประเภทที่น่าสนใจและขับเคลื่อนด้วยข้อมูล ซึ่งลูกค้าเรียกร้องมากขึ้นเรื่อยๆ ในช่วงการแข่งขันยุคดิจิทัลที่ขับเคลื่อนด้วยโควิด-19 “เรากำลังพยายามลดมาตรฐานหรือทำให้แนวคิดนี้เป็นประชาธิปไตยในการสร้างแอปพลิเคชันตามเวลาจริงกับข้อมูลที่ส่งผ่านไปยังระบบของคุณ” Devgan กล่าว “ตอนนี้คุณเข้าถึงข้อมูลได้อย่างรวดเร็ว ใครสน? คุณขยับเข็มสำหรับธุรกิจอย่างไร? จะสร้างโอกาสได้อย่างไร? คุณจะตรวจจับและตอบสนองต่อภัยคุกคามและโอกาสในข้อมูลแบบเรียลไทม์ได้อย่างไร ฉันคิดว่าการเปลี่ยนแปลงวิธีที่ผู้คนสร้างแอปพลิเคชันโดยพื้นฐาน” ด้วยแนวทางของแพลตฟอร์ม Hazelcast ตั้งเป้าที่จะรวมจำนวนรันไทม์ที่แตกต่างกันซึ่งปกติแล้วจำเป็นต่อการสร้างระบบประเภทนี้ ปีที่แล้วในช่วงเวลานี้ IMDG และ Jet เป็นผลิตภัณฑ์แยกกันในกลุ่มผลิตภัณฑ์ Hazelcast แต่แทนที่จะแยกผลิตภัณฑ์ออกจากกัน พวกเขาทั้งหมดเป็นส่วนหนึ่งของคลัสเตอร์เดียวกัน ซึ่งลดจำนวนสิ่งที่อาจผิดพลาดให้เหลือน้อยที่สุด Devgan กล่าว “จึงมีคลัสเตอร์หนึ่ง คุณได้รับหนึ่งผลิตภัณฑ์ คุณมีการใช้งานเพียงครั้งเดียว ซึ่งใช้ได้ทั้งการจัดเก็บข้อมูล การประมวลผลข้อมูล และการอนุมาน หากคุณกำลังจะรบกวนจากโมเดลการเรียนรู้ของเครื่องที่ผ่านการฝึกอบรม” Devgan กล่าว “โดยพื้นฐานแล้วการทำให้เข้าใจง่าย นั่นเป็นเรื่องใหญ่สำหรับเรา เพราะวิสัยทัศน์ของเราคือการทำให้เป็นประชาธิปไตยในการสร้างแอปแบบเรียลไทม์เหล่านี้” ด้วยตัวเชื่อมต่อต้นทาง (และซิงก์) มากมายสำหรับระบบสตรีมเช่น Kafka, Kinesis, Pulsar และระบบคิวข้อความ (ไม่ต้องพูดถึงซ็อกเก็ต โปรแกรมดูไฟล์ และบันทึกเหตุการณ์ของฐานข้อมูล) ข้อมูลที่เกี่ยวข้องสามารถสตรีมไปยังส่วนประกอบเอ็นจิ้นการประมวลผลสตรีม ของแพลตฟอร์ม Hazelcast (หรือที่เรียกว่า Jet) ข้อมูลตามเวลาจริงสามารถผสมผสานกับข้อมูลในอดีตที่จัดเก็บไว้ในที่จัดเก็บในหน่วยความจำ และสามารถสอบถามข้อมูลผลลัพธ์เพื่อให้ลูกค้าได้รับข้อมูลข่าวกรองที่ทันสมัยที่สุด นักพัฒนาจะสร้างแอปพลิเคชันสำหรับแพลตฟอร์ม Hazelcast โดยใช้ชุดพัฒนาซอฟต์แวร์ (SDK) สำหรับ Java, C#, Go, Node.js, Python และ C++ พวกเขายังจะสามารถใช้ประโยชน์จากฟังก์ชั่นที่ผู้ใช้กำหนดเพื่อนำรหัสที่มีอยู่กลับมาใช้ใหม่ได้ บริษัท กล่าว แพลตฟอร์ม Hazelcast จะใช้เทคนิคกราฟ acyclic แบบกำกับโดยตรง (DAG) เพื่อพัฒนาตรรกะทางธุรกิจบนโหนดในคลัสเตอร์ Hazelcast ประกาศเปิดตัว Hazelcast Platform ในเดือนกรกฎาคม และกล่าวในขณะนั้นว่ากำลังวางแผนที่จะเปิดตัวผลิตภัณฑ์ในเดือนสิงหาคม ตารางเวลานั้นเปลี่ยนไปบ้างและตอนนี้แผนสำหรับ Hazelcast Platform จะพร้อมใช้งานโดยทั่วไปในเดือนกันยายน Devgan กล่าว ในฐานะที่เป็นส่วนหนึ่งของการเปิดตัวแพลตฟอร์ม Hazelcast บริษัทยังได้แนะนำการอัปเดตสำหรับเอ็นจิ้นการประมวลผลหลักด้วย ใน Hazelcast 5.0 ผลิตภัณฑ์ได้รับสองฟังก์ชันหลัก: ความสามารถในการคงข้อมูลไปยังดิสก์เพื่อวัตถุประสงค์ในการกู้คืนจากความเสียหาย เช่นเดียวกับการสนับสนุนสำหรับการประมวลผล SQL ในการสตรีมข้อมูล เกี่ยวกับการรองรับ SQL Hazelcast กล่าวเสริมว่า: “ด้วยการรวมเอ็นจิ้นการประมวลผลสตรีมแบบเรียลไทม์ของ Hazelcast และการจัดเก็บข้อมูลประสิทธิภาพสูง ตอนนี้องค์กรต่างๆ สามารถรวมข้อมูลในอดีต ข้อมูลเหตุการณ์ และข้อมูลตามไฟล์ด้วยการสืบค้นครั้งเดียวด้วยเวลาแฝงไมโครวินาที . ในแนวทางนี้ เอ็นจิ้นการสตรีมสามารถประมวลผลข้อมูลล่วงหน้าในขณะที่นำเข้า ขณะที่การประมวลผลในหน่วยความจำสามารถวิเคราะห์และดำเนินการตามข้อมูลเชิงลึกแบบเรียลไทม์ ข้อมูลที่รวมเป็นหนึ่งยังสามารถป้อนโดยเอ็นจิ้นการสตรีมลงในโค้ดการเรียนรู้ของเครื่องเพื่อการอนุมานแบบเรียลไทม์” การเปิดตัวนี้ยังเป็นการปูทางสำหรับข้อเสนอแบบไร้เซิร์ฟเวอร์ของ Hazelcast ที่กำลังจะมาถึง ซึ่งจะให้ความสามารถในการปรับขนาดอัตโนมัติที่ปรับให้เข้ากับปริมาณงานของลูกค้า และจะช่วยลดพื้นที่พื้นผิวที่ลูกค้าต้องรับผิดชอบในการจัดการต่อไป รายการที่เกี่ยวข้อง: การประมวลผลสตรีมเป็นส่วนเสริมที่ยอดเยี่ยมสำหรับ Data Grid Hazelcast ค้นหา Data Grid ที่รวบรวมภาษา 'Go' ที่เกิดขึ้นใหม่

  • บ้าน
  • Business
  • Data science
  • Marketing
  • Leave a Reply

    Your email address will not be published. Required fields are marked *

    Back to top button