งานประชุม Hadoop Summit 2015

สัปดาห์นี้ผมเดินทางมาเมือง Brussels ประเทศเบลเยี่ยม เพื่อร่วมงาน Hadoop Summit 2015 ซึ่งเป็นงานประจำปีของกลุ่มคนที่สนใจเทคโนโลยี Hadoop สำหรับการทำ Big Data ซึ่งจัดเป็นประจำทุกปี และปีนี้เป็นปีที่แปด โดยปีนี้นอกจากจัดงานที่ San Jose สหรัฐอเมริกาแล้วยังมาจัดในยุโรปที่ประเทศเบลเยี่ยม ซึ่งก็เป็นครั้งแรกที่จัดขึ้นที่นี่ โดยปีที่แล้วจัดที่ประเทศเนเธอร์แลนด์

เจ้าภาพงาน Hadoop Summit คือบริษัท Hortonworks หนึ่งใน Hadoop Distributor รายใหญ่ ซึ่งได้รับสนับสนุนโดยบริษัท Yahoo จึงไม่แปลกใจที่เห็น Keynote รายๆหลายที่เป็นพันธมิตรกับ Hortonworks อาทิเช่น Yahoo, IBM, SAP และ Microsoft และก็มี vendor รายใหญ่ๆอีกหลายรายเข้ามาเป็น sponsor ในงานนี้ไม่ว่าจะเป็น HP, EMC, Cisco, Teradata, Cloudera, Intel, Google. pentaho, SAS หรือ BMC มีคนรวมงานมากกว่า 1,500 คน ซึ่งงานนี้มี session การบรรยายของ Hadoop Distributor เกือบทุกรายทั้ง Cloudera, Hortonworks, MapR, IBM, Pivoltal และ Teradata รวมถึง Distributor บน Cloud ที่เป็น Hadoop as a Service อย่าง Microsoft Azure HDInsight และ Google Cloud Platform ถ้าจะขาดรายใหญ่ก็คงแค่ Amazon Web Services ที่มี Hadoop Distribution บน Cloud รายใหญ่อีกรายหนึ่ง

การบรรยายงานนี้น่าสนใจมาก ทำให้ได้เห็นแนวโน้มของ Hadoop ที่คงไม่ได้เป็นแค่เทคโนโลยีธรรมดาแล้ว แต่มันกำลังกลายเป็น Data Opearting System (Data OS) สำหรับรัน Application ต่างๅในการเก็บและวิเคราะห์ข้อมูลทุกรูปแบบทั้ง Structure และ Unstructure Data นอกจากนี้ Forrester ยังระบุอีกด้วยว่าต่อไปทุกองค์กรจะต้องใช้ Hadoop เหมือนกับที่ทุกองค์กรต้องใช้ฐานข้อมูล RDBMS ในการเก็บข้อมูลในปัจจุบัน แน่นอนครับว่า Hadoop มีอนาคตที่ชัดเจนและเป็นหนึ่งในเทคโนโลยีที่น่าศึกษา และเป็นอนาคตของผู้ที่กำลังศึกษาด้านคอมพิวเตอร์ อาจบอกได้ว่าถ้าอยากได้งานที่ดีในอนาคตคงต้องมาศึกษาเทคโนโลยีอย่าง Hadoop และวิชาอย่าง Data Science หรือ Machine Learning

อีกเรื่องหนึ่งที่เป็นการประกาศที่สำคัญในงานนี้คือการรวมตัวของ Vendors รายต่างๆทั้ง Hortonworks, IBM, Yahoo, Pivotal, SAP. ในการสร้างมาตราฐาน Open Data Platform เพื่อให้เทคโนโลยีต่างๆที่มี vendor หลายรายทำอยู่ให้มีมาตราฐานเดียวกัน เพื่อสร้าง competibility โดยในเบื้องต้นเน้นอยู่ที่สองเทคโนโลยีหลักคือ Hadoop และ Ambari ที่เป็น open source สำหรับการบริหารจัดการ Hadoop Cluster

งาน Summit นี้มีหัวข้อทางด้าน Business ที่พูดถึงการนำ Hadoop มาใช้งานในหลายๆองค์กรและหลายคลัสเตอร์ทั้งกลุ่ม Bank, Telecom, Energy, Transportaion และ Retails โดยมีการพูดถึงเครื่องมือในวิเคราะห์ข้อมูลเพื่อทำ BI มากมายทั้ง Tabular, Pentaho, SAP หรือ SAS และก็ยังเน้นการถึงเทคโนโลยีในการทำ Data Analytics อย่าง Spark หรือ Mahout งานนี้มี sesion ในการบรรยายพูดเทคโนโลยีสำหรับ Hadoop 2 อย่าง YARN, Tez, Storm, Hive, Pig, Spark, Solr, Kafka, Lambda. และอื่นๆ โดยมีหัวข้อต่างที่น่าสนใจอาทิเช่น

• 5 Ways Hadoop Is Changing The World And 2 Ways It Will Change Yours
• Unlocking Hadoop’s Potential
• Hadoop in the Enterprise
• Design Patterns for Real Time Streaming Data Analytics
• Making the Case for Hadoop in a Large Enterprise
• Hive Now Sparks
• Storm as an ETL Engine to Hadoop
• Hadoop YARN: Past, Present and Future
• Hadoop in the Cloud – Common Architectural Patterns
• Driving Enterprise Data Governance for Big Data systems through Apache Falcon
• Oozie or Easy: Managing Hadoop Workflows the EASY Way

ข้อมูลในงานทั้งหมดนี้ผมจะนำมาบรรยายสรุปในงานฟรีสัมมนา Thailand Hadoop User Group ครั้งที่ 3 ที่ทาง IMC institute ตั้งใจจะจัดร่วมกับสำนักงานรัฐบาลอิเล็กทรอนิกส์ (EGA) ในปลายเดือนพฤษภาคม

ธนชาติ นุ่มนนท์

IMC Institute

เมษายน 2558