Data science

การสืบค้นชุดข้อมูลประชากรที่ละเอียดที่สุด

คลิกเพื่อเรียนรู้เพิ่มเติมเกี่ยวกับผู้แต่ง Florian Grüning มีกรณีการใช้งานมากมายที่ต้องการข้อมูลประชากรโดยละเอียด ตัวอย่างเช่น การแยกรายละเอียดโครงสร้างทางประชากรเป็นปัจจัยสำคัญในการทำนายราคาอสังหาริมทรัพย์ นอกจากนี้ โครงการด้านมนุษยธรรม เช่น การรณรงค์ฉีดวัคซีนหรือแผนการใช้พลังงานไฟฟ้าในชนบท ยังขึ้นอยู่กับข้อมูลประชากรที่ดีเป็นอย่างมาก การค้นหาข้อมูลคุณภาพสูงและทันสมัยในระดับโลกสำหรับกรณีการใช้งานเหล่านี้เป็นเรื่องที่ท้าทายมาก โดยปกติ ข้อมูลสำมะโนจะเผยแพร่ทุก ๆ สี่ปี ซึ่งทำให้ชุดข้อมูลเหล่านั้นล้าสมัยอย่างรวดเร็ว ชุดข้อมูลที่ดีที่สุดสำหรับความหนาแน่นของประชากรและข้อมูลประชากรได้รับการเผยแพร่โดย Facebook ภายใต้โครงการ Data for Good พวกเขารวมข้อมูลสำมะโนอย่างเป็นทางการกับข้อมูลภายในและใช้ประโยชน์จากอัลกอริธึมการเรียนรู้ของเครื่องสำหรับการจดจำภาพเพื่อกำหนดตำแหน่งและประเภทของอาคาร การใช้แหล่งข้อมูลต่างๆ เหล่านี้สามารถให้รายละเอียดทางสถิติของกลุ่มประชากรในบล็อก 1 อาร์ควินาที ความละเอียดประมาณ 30 เมตร เครดิตภาพ: Kuwala แต่ละตารางมีค่าสถิติสำหรับกลุ่มประชากรต่อไปนี้: TotalFemaleMaleChildren under 5Youth – 24 ผู้สูงอายุ 60 และผู้หญิงในวัยเจริญพันธุ์ – 49 Facebook ส่งมอบให้กับ แต่ละประเทศ ไฟล์ต่อกลุ่มประชากร ไม่ว่าจะเป็น GeoTIFF หรือ CSV CSV ประกอบด้วยละติจูดและลองจิจูดของเซลล์และค่าประชากรที่เกี่ยวข้อง การทำงานกับไฟล์ CSV แบบคงที่ก็อาจยุ่งยากได้ นั่นคือเหตุผลที่เราสร้าง wrapper โอเพ่นซอร์สที่แสดงข้อมูลผ่าน API คุณสามารถดาวน์โหลดข้อมูลสำหรับทั้งประเทศได้โดยตรงผ่าน CLI เราประมวลผลข้อมูลล่วงหน้าเพื่อให้สามารถสืบค้นได้ง่าย ด้วยเหตุนี้ เราจึงใช้ประโยชน์จากพลังของการจัดทำดัชนีเชิงพื้นที่ H3 ของ Uber ด้วยการจัดทำดัชนี H3 ทำให้ง่ายต่อการสร้างคิวรีที่ด้านบนของฐานข้อมูล เมื่อใช้เซลล์ H3 หรือคู่พิกัด คุณสามารถดึงข้อมูลประชากรตามจุด รัศมีที่กำหนด หรือรูปหลายเหลี่ยม ด้วยวิธีนี้ จะเป็นการตรงไปตรงมาในการรวมประชากรในระดับรหัสไปรษณีย์ เป็นต้น เครดิตรูปภาพ: Kuwala เรารวมช่องสี่เหลี่ยมลงในเซลล์ H3 ที่ความละเอียด และจัดเก็บไว้ใน MongoDB พร้อมค่ารวมสำหรับแต่ละกลุ่มประชากร การใช้สตรีม JS และไปป์ไลน์การรวมของ MongoDB ทำให้การใช้หน่วยความจำเหลือน้อย และคุณสามารถประมวลผลแถวหลายล้านแถวบนเครื่องของคุณ สำหรับการสำรวจและแสดงข้อมูลอย่างรวดเร็ว คุณสามารถสร้างชุดข้อมูลที่เข้ากันได้กับ Kepler.gl หรือ Unfolded.ai เพื่อสร้างแผนที่ที่สวยงาม เราเผยแพร่แผนที่ตัวอย่างสำหรับมอลตา สามารถมองเห็นได้โดยตรงที่บริเวณที่มีประชากรสูงและใจกลางเมือง การที่ข้อมูลประชากรของ Facebook สามารถสืบค้นได้โดยตรง ทำให้การสร้างแบบจำลองการทำนายหรือการแสดงภาพทำได้เร็วกว่ามาก เพื่อให้ทีมข้อมูลสามารถใช้เวลากับงานที่เพิ่มมูลค่าได้ นั่นคือเหตุผลหลักว่าทำไมเราจึงสร้างชุมชนโอเพนซอร์สสำหรับการรวมข้อมูลของบุคคลที่สาม ดังนั้น หากคุณต้องการใช้ตัวเชื่อมต่อเหล่านี้เพิ่มเติม โปรดติดดาวเราบน Github และเข้าร่วมชุมชน Slack ของเรา

  • บ้าน
  • Business
  • Data science
  • Marketing
  • Leave a Reply

    Your email address will not be published. Required fields are marked *

    Back to top button