Big Data School กับการติดตั้ง Hadoop Distributions

ตามที่ผมเคยเล่าไว้ว่าเราจะจัด Big Data School รับนักศึกษา  15 คนมาฝึกงานสองเดือนในช่วงปิดเทอม โดยโครงการนี้เป็นงานที่ IMC Institute จัดร่วมกับ ICE Solution สุดท้ายเราก็ได้รับนักศึกษามาจากที่ต่างๆทั้ง จุฬาลงกรณ์มหาวิทยาลัย ลาดกระบัง พระนครเหนือ มหาวิทยาลัยราชมงคลรัตนโกสินทร์ ธุรกิจบัณฑิต หรือมาไกลๆจาก มหาวิทยาลัยนครพนม มหาวิทยาลัยฟาฏอนี หรือนักศึกษาไทยในต่างประเทศอย่าง Wesleyan University โดยเราเริ่มโครงการนี้ตั้งแต่วันที่  31 พฤษภาคม 2559

โครงการที่ทำในสัปดาห์แรกนอกจากมีเรื่องของกลุ่มสัมพันธ์แล้ว เราก็เริ่มสอนให้นักศึกษาใช้ Cloud เรื่องรู้และได้ทดลองระบบ Cloud ต่างๆทั้ง Amazon Web Services (AWS), Google Cloud และ  Microsoft Azure  โดยได้ทดลองใช้ EC2, RDS และ Auto-scaling  ซึ่งความรู้จากการใช้ Cloud Services นี้ก็เพื่อที่จะนำไปใช้ในการติดตั้ง Big Data Platform  ต่างๆ

นอกเหนือจากการเรียนรู้เรื่อง Cloud แล้วในสัปดาห์แรกก็ยังมีการแนะนำ Big Data Technology ต่างๆ และนักศึกษาเองก็เริ่มได้เห็นกับ Hadoop Technology ทดลองเล่น Hadoop Cloudera  ขนาด 5 เครื่องใหญ่ที่ติดตั้งบน  Cloud Cluster  ที่เป็น Account ของ  IMC Institute

ในสัปดาห์ที่สอง ตอนต้นเราเริ่มสอนตั้งแต่การใช้  Vitualization Tool อย่าง VirtualBox และ Container อย่าง  Docker จากนั้น เราก็แบ่งกลุ่มให้ใช้ Hadoop Sandbox ที่เป็น Distribution ต่างๆ เช่น

• Cloudera Quickstart
• Hortonworks Sandbox
• MapR Sandbox
• Apache Hadoop

โดยในเบื้องต้นให้  VM ที่เป็น VirtualBox ลงที่เขียนตัวเอง จากนั้นก็เปลี่ยนไปให้ Docker โดยใช้ Virtual Server ที่เป็น Amazon EC2  ที่น่าสนใจคือนักศึกษาได้ทำกันสมบูรณ์และเขียนสรุปกันมาเป็น Slide ให้คนสามารถไปติดตั้งต่อได้ดังนี้

• Slide MapR Sandbox using Docker
• Slide Cloudera Quickstart using Docker
• Slide Apache Hadoop using Docker
• Slide Hortonworks Sandbox using Docker

ตอนนี้นักศึกษากำลังติดตั้ง Hadoop Cluster ทั้ง 4 distributions โดยจะลงในเครื่อง Server ขนาดใหญ่ 4 เครื่องซึ่งถ้ามี  Slide และข้อมูลดีๆผมจะมา Update  อีกครั้ง

ธนชาติ นุ่มนนท์

IMC Institute

มิถุนายน 2559