การเปรียบเทียบ Big Data Solution ต่างๆทั้ง On-Premise และ Public Cloud

Screenshot 2019-03-24 10.21.51.png

วันก่อนเขียนเรื่องการทำ Big Data Platform บน Hybrid/Multi Cloud หลายๆท่านก็อาจสนใจต่อว่า แล้วเราควรเลือกโซลูชั่นของรายไหน จริงๆผมเองก็ไม่มีคำตอบที่ชัดเจน แต่หากเราแบ่งกลุ่มกันก็จะเห็นว่า มีรายที่ทำ On-Premise คือ  Oracle, IBM, SAP, Cloudera, Hortonworks, MapR, Huawei เป็นหลัก แต่กลุ่มเหล่านี้ก็มุ่งที่จะพัฒนาโซลูชั่น On-Cloud เสริมมา เพื่อสร้างเป็น Hybrid/Multi Cloud  ส่วนรายที่เป็นระบบ On-Cloud อย่าง AWS, Google, Azure หรือ Alibaba ก็พยายามทำให้โซลูชั่นของตัวเองทำงานร่วมกับระบบ On-Premise หรือ Cloud Provider รายอื่นได้

Screenshot 2019-03-24 10.40.44

รูปที่ 1 Magic Quadrant for Data Management Solutions for Analytics ของ Gartner

หากจะเปรียบเทียบ Big Data Solution ต่างๆ ผมแนะนำให้ไปดูรายงาน Gartner เรื่อง Magic Quadrant for Data Management Solutions for Analytics ที่ออกมาเมื่อเดือนมกราคม 2519 ซึ่งได้ทำการเปรียบเทียบโซลูชั่นต่างๆจำนวนมาก และสรุปเป็น Magic Quadrant ดังรูปที่ 1 ทั้งนี้ผมได้ทำตารางสรุปข้อมูลที่ Gartner รายงานไว้ว่าแต่ละรายมีโซลูชั่นใดบ้าง และมีจุดแข็งและข้อพึงระวังอย่างไร ดังตารางข้างล่างนี้

ธนชาติ นุ่มนนท์

IMC Institute

Screenshot 2019-03-24 10.43.09Screenshot 2019-03-24 10.42.52Screenshot 2019-03-24 10.42.26

Data is the new oil: มาวิเคราะห์กันว่าอุตสาหกรรมใดมีข้อมูลขนาดใหญ่

Screenshot 2019-02-06 09.08.46

ครั้งก่อนผมเขียนบทความเรื่อง AI คือหัวใจสำคัญของการทำ Digital Transform และข้อมูลคือองค์ประกอบหลักของ AI   พร้อมทิ้งท้ายไว้ว่าจะเขียนเพิ่มเติมในตอนถัดไปว่าเราจะเอาข้อมูลมาจากไหน ซึ่งถ้าเราจะพิจารณาถึงนิยามของ Big Data ว่ามี 4 V คือ Volume, Variety, Velocity และ Veracity ประกอบกับพิจารณาการเปลี่ยนแปลงของสรรพสิ่งต่างๆที่จะต้องมีการเคลื่อนไหวตลอดเวลา การเคลื่อนที่ การงาน การศึกษา สุขภาพ หรือ การทำธุรกรรม แลัวเราจะเห็นได้ว่า Big Data ถ้ามีเพียงแต่ข้อมูลขนาดใหญ่ (Volume) ก็อาจจะไม่เพียงพอต่อการวิเคราะห์พฤติกรรมหรือเข้าใจในสถานการณ์ปัจจุบัน เพราะองค์ประกอบที่สำคัญสุดประการหนึ่งของ Big Data กลับกลายเป็นเรื่องของ Velocity ที่เราจะต้องมีข้อมูลที่เข้ามาอย่างต่อเนื่อง ตัวอย่างเช่นเราต้องมีข้อมูลที่เข้ามาอย่าต่อเนื่องเพื่อทราบ

  • การใช้ชีวิตประจำวันเช่น การเดินทาง ที่อยู่ การเข้าพักที่ต่างๆ
  • สุขภาพเช่น การออกกำลัง ผลการตรวจการสุขภาพ การรับประทานอาหาร
  • ความคิดเห็นของผู้คนเช่น การโพสต์ใน Social Media การค้นหาข้อมูลออนไลน์ การอ่านหนังสือ
  • ฐานะการเงิน เช่น การทำธุรกรรมธนาคาร รายรับ การจับจ่ายใช้สอย
  • อื่นๆ

ซึ่งหากเราจะพิจารณาเทคโนโลยีที่จะได้มาซึ่งองค์ประกอบด้าน Velocity ของ Big Data เราอาจเห็นอยู่สี่ประเภทคือ

  • Social media ก็คือการที่ผู้คนเข้าไปโพสต์ข้อมูลต่างๆ เข้าไปค้นหาข้อมูล หรือสื่อสารกันออนไลน์
  • Mobile ก็คือการที่ผู้คนเข้าไปใช้โทรศัพท์เคลื่อนที่ และมีการส่งข้อมูลมายังผู้ให้บริการ (Telecom operator) อย่างต่อเนื่อง
  • Internet of things คือการที่สรรพสิ่งต่างๆเชื่อมต่ออยู่กับระบบอินเตอร์เน็ต และมีการส่งข้อมูลเข้ามายัง IoT Platform อย่างอัตโนมัติ เช่น  wearable device หรือ smart device sensor
  • Transaction คือข้อมูลที่มีการทำธุรกรรมแล้วถูกบันทึกในรูปดิจิทัล เช่นข้อมูลจาก Point of Sales (POS)  ของร้านค้า, ข้อมูล CRM, ข้อมูล ERP หรือข้อมูลธุรกรรมการเงินที่มีการบันทึกอย่างต่อเนื่อง

Screenshot 2018-10-20 12.36.37

รูปที่ 1 ข้อมูลทีมีองค์ประกอบ Velocity สำหรับการสร้าง Big Data

ความท้าทายอีกอย่างหนึ่งของการใช้ข้อมูลเหล่านี้ในการทำ AI คือ จะต้องมีข้อมูลขนาดใหญ่ที่มีปริมาณที่มากพอ ในการที่จะวิเคราะห์เพื่อทำให้เกิดความเข้าใจในเรื่องต่างๆได้ ซึ่งข้อมูขนาดใหญ่เหล่านี้ที่ถ้ามีปริมาณเข้ามาเป็นหมื่น แสน หรือล้านชุดต่อวัน ก็จะมีความแม่นยำขึ้น ซึ่งก็จำเป็นต้องมีเทคโนโลยีที่สามารถเก็บข้อมูลในราคาถูกและวิเคราะห์ข้อมูลขนาดใหญ่ได้ ซึ่งคงจะไม่ข้อกล่าวเรื่องของเทคโนโลยีในที่นี้ แต่สิ่งหนึ่งที่น่าสนใจก็คือ การที่มีข้อมูลมากขึ้น นอกจากจะมีความแม่นยำของ AI  ดีขึ้น ก็จะทำให้เราเข้าใจลูกค้าดีขึ้นกำหนดกลยุทธ์ได้ดีขึ้น รายได้ก็จะมากขึ้นตาม ดังรูปที่ 2  มันจึงเป็นที่มาของคำว่า Data is the new oil 

Screenshot 2019-02-14 10.01.34

รูปที่ 2  วัฎจักรของข้อมูล AI และรายได้ [จาก AI Frontiers : The Era of Artificial Intelligence, Kai-Fu Lee]

คำถามที่น่าสนใจต่อไปคือแล้วหน่วยงานใดละมีข้อมูลขนาดใหญ่ เวลาผมถามคำถามนี้หลายๆคนมักจะตอบผมว่า กรมการปกครองเพราะคิดถึงข้อมูลของประชากร แต่ถ้าเรามาวิเคราะห์ด้าน Velocity แล้วจะพบว่าข้อมูลนั้นค่อนข้างนิ่งและไม่มี Velocity  จึงอาจไม่ทราบข้อมูลที่แท้จริงว่า บุคคลนั้นที่อยู่ปัจจุบันอยู่ไหน ทำอาชีพอะไร เพื่อให้เห็นโอกาสว่าอุตสาหกรรมใดมีโอกาสที่จะใช้ Big Data ที่มี Velocity ผมขอลองลงรายละเอียดรายอุตสากรรมดังนี้

  • บริษัทด้านอินเตอร์เน็ตขนาดใหญ่ อย่าง Facebook, Google, Instagram, Twitter บริษัทเหล่านี้มีข้อมูลที่มี Velocity จำนวนมหาศาลที่ถูกป้อนเข้ามาอย่างต่อเนื่องตลอดเวลาโดยผู้ใช้ แต่ข้อมูลเหล่านี้ส่วนใหญ่เป็นของบริษัทต่างชาติ
  • บริษัทผู้ให้บริการโทรศัพท์เคลื่อนที่ อย่าง AIS, DTAC หรือ True น่าจะจะเป็นกลุ่มอุตสาหกรรมที่มีข้อมูลใหญ่ที่สุดในประเทศไทย ซึ่งมีข้อมูลจากการใช้งานของลูกค้า 30-40 ล้านคนต่อบริษัทโดยเป็นข้อมูล  CDR (Call Detail Record) หลายหมื่นล้านเรคคอร์ดหรือหลาย Terabyte ต่อวัน ยังไม่รวมถึงข้อมูล Billing หรือ CRM จุดเด่นของอุตสาหกรรมนี้คือมีข้อมูลตำแหน่งของลูกค้า และพฤติกรรมการใช้โทรศัพท์ของลูกค้า
  • อุตสาหกรรมค้าปลีก เช่น 7-11 จะมีข้อมูลขนาดใหญ่ที่มีการจากการซื้อสินค้า จะเห็นพฤติกรรมของผู้บริโภค เข้าใจลักษณะสินค้าที่ขาย แต่บางครั้งอาจไม่ทราบว่าลูกค้าคือใคร เว้นแต่จะมีบัตรสมาชิกและเก็บช้อมูลสมาชิกอย่าง Starbucks ที่สามารถทราบว่าลูกค้าแต่ละรายไปทานอะไร สาขาไหน เวลาไหน และถ้าอุตสาหกรรมทำ E-commerce ก็ทราบ Log การเข้าใช้งานของลูกค้า เช่นการเข้ามาดูเว็บ การกดเข้าดูสินค้า ทำให้เข้าใจผู้บริโภคได้มากขึ้น
  • กลุ่มการเงินการธนาคาร จะมีข้อมูลธุรกรรมการเงิน ข้อมูลการเงินของลูกค้า แต่ลูกค้าทั่วไปอาจไปทำธุรกรรมที่ไม่บ่อยนัก อาจเป็นรายการขนาดใหญ่ แต่การเข้ามาของ  Mobile/Internet Banking และe-Payment ก็จะทำให้ธนาคารมีปริมาณธุรกรรมของลูกค้ามากขึ้น มี Log การเข้ามาใช้ของลูกค้า
  • กลุ่มธุรกิจประกันภัย กลุ่มเหล่านี้จะไม่ได้มีข้อมูลของลูกค้าแต่ละรายที่เข้ามาต่อเนื่องมากนัก เพราะลูกค้าจะมาทำธุรกรรมไม่กี่ครั้งต่อปี ดังนั้นจุดเปลี่ยนของธุรกิจนี้อยู่ที่การใช้ IoT เข้ามาเพื่อให้ได้ข้อมูลของลูกค้ามากขึ้นเช่นการใช้ wearable device, Telematic  หรือ  smart home sensor
  • อุตสาหกรรมการท่องเที่ยว กลุ่มนี้จะมีธุรกรรมค่อนข้างมากเช่น การเดินทาง การจองที่พัก เพียงแต่ข้อมูลในแต่ละรายอาจไม่มากนัก ยกเว้นเป็นบริษัทขนาดใหญ่เช่น สายการบิน หรือหน่วยงานอย่าง การท่าอากาศยาน
  • โรงพยาบาลและสาธารณสุข จะเป็นหน่วยงานที่มีขนาดใหญ่ และจำนวนธุรกรรมค่อนข้างมาก และมีข้อมูลหลากหลายทั้งใน รูปแบบของรูปภาพ บันทึกทางการแพทย์ แต่ปัญหาโดยมากคือขาดการจัดเก็บข้อมูลที่เป็นระบบ และข้อมูลมีขนาดใหญ่มากยากต่อการเก็บและวิเคราะห์
  • กลุ่มสื่อและธุรกิจบันเทิง จะเป็นอุตสาหกรรมที่มีข้อมูลที่เป็นเนื้อหา (content) แต่อาจขาดข้อมูลที่ทราบถึงการบริโภคของลูกค้าโดยตรง ยกเว้นทำเป็นสื่อออนไลน์เช่น  เว็บข่าวที่อาจเห็น Log  ของลูกค้า หรือ  Streaming TV อย่าง  NetFlix หรือ  AIS Play  ที่จะทราบได้ว่าลูกค้าเข้ามาดูรายการใดอย่างไร
  • กลุ่มภาคการศึกษา จะมีข้อมูลที่ค่อนข้างน้อยเว้นแต่จะปรับเป็นเนื้อหาออนไลน์ ที่อาจทำให้เข้าใจพฤติกรรมของผู้เรียน มีตะแนนการวัดผลที่เก็บไว้ จะทำให้วัดผลมีประสิทธิภาพมากขึ้น
  • กลุ่มสาธารณูปโภค เช่น การไฟฟ้า การประปา กลุ่มเหล่านี้ก็อาจมีข้อมูลการใช้จากมิเตอร์ต่างๆ
  • หน่วยงานภาครัฐ โดยมากข้อมูลจะขาด Velocity ทำให้ไม่มีข้อมูลที่ดีพอในการนำวิเคราะห์รายคน แต่ก็มีหน่วยงานอย่างของกระทรวงการคลังที่อาจมีปริมาณธุรกรรมเยอะเช่น กรมสรรพากร กรมศุลกากร หรือหน่วยงานอย่าง กรมการกงศุล หรือประกันสังคม ที่อาจมีข้อมูลเข้ามาต่อเนื่องเยอะ แต่ปัญหาที่มักพบคือข้อมูลเหล่านี้มักไม่ถูกจัดเก็บในรูปแบบที่ไปวิเคราะห์ Big Data ได้ และขาดการเชื่อมโยงข้อมูลกับหน่วยงานรัฐด้วยกัน

จากที่กล่าวมาทั้งหมด จะเห็นได้ว่า Big Data เป็นเรื่องสำคัญถ้าเราอยากจะทำ Digital  transform หน่วยงานอาจต้องพิจารณาว่าจะทำอย่างไรให้ได้มาซึ่ง Big Data ที่มี  Velocity จำเป็นจะต้องใช้เทคโนโลยีใดเข้าช่วย หรือเวลาเรามีข้อมูลอยู่แล้วแต่ไม่สามารถจัดเก็บได้ ดังนั้นองค์กรจึงจำเป็นต้องมีกลยุทธ์ด้านข้อมูลเพื่อผลสำเร็จของการทำ Digital  transform

ธนชาติ นุ่มนนท์

IMC Institute

 

AI คือหัวใจสำคัญของการทำ Digital Transform และข้อมูลคือองค์ประกอบหลักของ AI

Screenshot 2019-02-06 09.08.46

วันก่อนผมไปเวทีเสวนาในงานประชุมของกลุ่ม DTGO ในหัวข้อ AI in the new era ร่วมกับกูรูหลายๆท่านในวงการไอทีเมืองไทย เราทุกคนเห็นพ้องต้องกันว่ายุคนี้เป็นยุคของปัญญาประดิษฐ์ (AI) และ AI จะเข้ามาเปลี่ยนแปลงองค์กรในหลายๆด้าน แต่ปัญหาหนึ่งที่เป็นคำถามน่าสนใจก็คือว่าอะไรที่อาจเป็นอุปสรรคทำให้ AI  ไม่เป็นไปตามที่คาดหวัง คำตอบที่ผมให้ก็คือการขาดข้อมูลขนาดใหญ่

อย่างที่ผมเคยเขียนไว้ในบทความก่อนว่า องค์ประกอบสำคัญของ AI ก็คือการที่จะต้องมีข้อมูลขนาดใหญ่ (Big Data) แล้วใช้ Machine Learning มาเป็นอัลกอริทึมในการวิเคราะห์ข้อมูล (ดูบทความได้ที่ การเตรียมเทคโนโลยีและโครงสร้างพื้นฐานขององค์กรเพื่อรองรับ AI) ซึ่งความถูกต้องของ AI อยู่ที่การมีข้อมูลที่มากพอ และการใช้อัลกอริทึมอย่าง Deep Learning ที่สามารถจะจำลองโมเดลของ Neural Networks ที่ใหญ่ขึ้นได้  (โดยต้องมีระบบประมวลผลที่มีประสิทธิภาพที่มากขึ้น) ดังแสดงในรูปที่ 1 ซึ่งถึงแม้ว่าเราจะสามารถพัฒนาโมเดลที่ซับซ้อนขึ้น แต่หากยังขาดข้อมูลที่มากพอหรือไม่มีระบบประมวลขนาดใหญ่ก็ยากที่จะได้ AI  ที่มีความถูกต้องที่ดีพอใช้งาน

Screenshot 2019-02-06 09.53.29

รูปที่ 1 แสดงความสัมพันธ์ของขนาดข้อมูล ขนาดของโมเดล กับความถูกต้องของ AI [จาก Data Analytics and Artificial Intelligence in the era of Digital Transformation, Google]

และถ้าเราพิจารณาการทำ AI ในช่วงเวลาต่างๆ ที่ทาง Dr. Kai-Fu Lee  ได้เขียนไว้ในหนังสือ AI Superpowers: China, Silicon Valley, and the New World Order ว่าแบ่งออกเป็น  4 คลื่นดังรูปที่ 2 กล่าวคือ

  • คลื่นที่ 1 เริ่มต้นในปี 1998 ยุคของ  Internet AI คือการทำ AI จากข้อมูลที่อยู่ในบริษัทอินเตอร์เน็ตต่างๆเช่น Google, Amazon, Facebook, Alibaba ซึ่งในกลุ่มบริษัทที่มีผู้ใช้งานมากกว่าก็จะมีข้อมูลมากกว่าจะได้เปรียบ และก้มีแนวโน้มที่ให้เห็นว่าบริษัทในประเทศจีนที่มีผู้ใช้จำนวนมากเช่นการใช้มือถือ การใช้  E-commerce เริ่มจะมีความแม่นยำที่ดีกว่าบริษัทในประเทศอื่นๆ
  • คลื่นที่ 2  เริ่มต้นในปี 2004 ยุคของ  Business AI คือการทำ AI จากข้อมูลบริษัทที่ทำธุรกิจทั่วไปเช่น บริษัทด้านการเงิน ร้านค้าปลีก หน่วยงานภาครัฐ ซึงกรณีนี้บริษัทจะต้องมีข้อมูลของธุรกรรมต่างๆที่สะสมมามากพอ และความแม่นยำในการทำ AI ก็อาจยังมี Factor อื่นๆจากภายนอกที่ต้องเข้ามาพิจารณาอีกมากมายนอกเหนือจากข้อมูลภายในองค์กร เช่นด้านการเมือง ด้านสังคม ด้านเศรษฐกิจ
  • คลื่นที่ 3  เริ่มต้นในปี 2011 ยุคของ  Perception AI คือการทำให้ AI มองเห็น ได้ยิน หรือพูดได้ เช่นการทำ Face recognition, speech recognition หรือ Natural language processing ซึ่งความถูกต้องของ AI จะใช้ข้อมูลมาตรฐานที่มีขนาดใหญ่ และความสามารถในการสร้างอัลกอริทึมที่มีโมเดลที่ดีและมีขนาดใหญ่ ซึ่งในปัจจุบันบริษัทที่มีระบบประมวลผลขนาดใหญ่อย่าง Google, Amazon, Microsoft,  Alibaba หรือ Huawei สามารถที่จะพัฒนาทำให้ AI ทำเรื่องเหล่านี้ได้ดีขึ้นมากจนบางครั้งเก่งกว่ามนุษย์
  • คลื่นที่ 4  เริ่มต้นในปี 2015 ยุคของ  Autonomous AI คือการทำให้ AI เคลื่อนที่ได้โดยอัตโนมัติ เช่นรถยนต์ไร้คนขับ หรือโดรนอัตโนมัติ ซึ่งบริษัทต่างๆเช่น Teslo, Uber หรือ Waymo ต่างๆก็เร่งพัฒนาโดยการสร้างฐานข้อมูลขนาดใหญ่และพัฒนาอัลกอริทึมโมเดลแข่งกัน ซึ่งในอนาคตก็จะเห็นระบบนี้ที่ดีขึ้นเรื่อยๆ

Screenshot 2019-02-06 10.02.53

รูปที่ 2 ยุคต่างๆของ AI [จาก AI Frontiers : The Era of Artificial Intelligence, Dr. Kai-Fu Lee]

จากที่กล่าวมาจะเห็นว่าถ้าธุรกิจอยากจะทำ AI ซึ่งก็เป็นปัจจัยที่สำคัญที่สุดในการทำ Digital Transformation  ธุรกิจเหล่านั้นก็จะต้องมีข้อมูลขนาดใหญ่ ถึงจะได้เปรียบคู่แข่ง บริษัทอย่าง Netflix, Uber, Agoda หรือ Alibaba มีจุดเด่นคือเป็นบริษัทที่มีข้อมูลขนาดใหญ่ และสามารถนำข้อมูลเหล่านั้นมาเพื่อที่จะทำปัญญาประดิษฐ์ มาทำ Data Analytics เพื่อให้เข้าใจลูกค้าและแนวโน้มต่างๆได้ดีขึ้น ดังนั้นก่อนที่บริษัทจะคิดว่าเราจะทำ AI  อะไร สิ่งแรกที่จำเป็นอย่างยิ่งคือการมีกลยุทธ์ด้านข้อมูล การรวบรวมข้อมูลจากแหล่งต่างๆเพื่อมาสร้าง Data Platform ที่สามารถนำไปวิเคราะห์ต่อไปได้ ซึ่งผมจะเขียนเพิ่มเติมในตอนถัดไปว่าเราจะเอาข้อมูลมาจากไหน

Screenshot 2019-02-06 10.26.29

รูปที่  3 การรวบรวมข้อมูลสร้าง Data Platform [จาก Data Analytics and Artificial Intelligence in the era of Digital Transformation, Google]

ธนชาติ นุ่มนนท์

IMC Institute

 

การเตรียมเทคโนโลยีและโครงสร้างพื้นฐานขององค์กรเพื่อรองรับ AI

screenshot 2019-01-14 08.52.19

ทุกองค์กรพูดถึง AI (ปัญญาประดิษฐ์) ว่าเป็นแนวโน้มเทคโนโลยีที่จะเข้ามาเปลี่ยนโลกและธุรกิจ บ้างก็เป็นกังวลกับอนาคตของธุรกิจและอุตสาหกรรม บางหน่วยงานที่มีศักยภาพก็เริ่มเตรียมตัวทั้งการเตรียมโครงสร้างพื้นฐานและบุคลากร AI เป็นเรื่องของการนำข้อมูลมาใช้ในการวิเคราะห์ คาดการณ์และพยากรณ์ในเรื่องต่างๆ ซึ่งก็เป็นสิ่งที่มนุษย์ทำอยู่เป็นประจำ แต่ด้วยความสามารถของคอมพิวเตอร์ประกอบกับการใช้ข้อมูลขนาดใหญ่ก็เลยทำให้ทำได้รวดเร็วและมีความแม่นยำกว่ามนุษย์ ดังนั้นงานยากๆที่แต่ก่อนทำไม่ได้จึงสามารถทำได้ดีขึ้นในวันนี้ การประบุกต์ใช้ AI จะประกอบด้วยหลายๆด้านทั้งการวิเคราะห์ข้อมูล ด้านการฟัง ด้านการมองเห็น ด้านภาษา หรือด้านระบบผู้เชี่ยวชาญ ซึ่งองค์ประกอบสำคัญของ AI ก็คือการที่จะต้องมีข้อมูลขนาดใหญ่ (Big Data) แล้วใช้ Machine Learning มาเป็นอัลกอริทึมในการวิเคราะห์ข้อมูลแล้ว ยังต้องมีคอมพิวเตอร์ที่สามารถประมวลผลข้อมูลได้อย่างรวดเร็วด้วย โดยรูปที่ 1 ได้แสดงให้เห็นถึงความสัมพันธ์ของ AI, Big Data และ Machine Learning

 

screenshot 2019-01-14 13.34.15

รูปที่  1 ความสัมพันธ์ของ AI, Big Data และ Machine Learning

จริงๆแล้ว AI ไม่ใช่เรื่องใหม่แต่ที่เริ่มมากล่าวถึงมากขึ้นในตอนนี้ก็เพราะว่าเทคโนโลยีอย่าง Mobile, Social Media และ Internet of Things  (IoT) ทำให้เราสามารถเก็บข้อมูลได้มากขึ้น ทุกที่ ทุกเวลา และทุกอุปกรณ์ ข้อมูลก็มีขนาดใหญ่ขึ้นก็ยิ่งทำให้ AI มีความแม่นยำขึ้น ประกอบกับการมีระบบ Cloud computing ทำให้เราสามารถหาทรัพยากรคอมพิวเตอร์ขนาดใหญ่มาประมวลผลข้อมูลมหาศาลได้ง่ายขึ้น

การเตรียมตัวสำหรับการทำ AI องค์กรจะต้องพิจารณาเริ่มต้นจากความต้องการธุรกืจ ไม่ใช่เริ่มจากด้านเทคโนโลยี  ต้องเข้าใจวัตถุประสงค์และประโยชน์ที่จะนำ AI มาประยุกต์ใช้ในองค์กร หลังจากนั้นจึงพิจารณาด้านโครงสร้างพิ้นฐานสำหรับการทำ AI ซึ่งองค์ประกอบด้านเทคโนโลยีที่สำคัญมีสองส่วนคือ ด้านโครงสร้างพื้นฐานด้านข้อมูลขนาดใหญ่ และเทคโนโลยีด้านการวิเคราะห์ข้อมูลอย่าง Machine Learning และ Deep Learning  การเตรียมโครงสร้างพิ้นฐาน Big Data ผมก็คงจะไม่กล่าวถึงในบทความนี้เพราะได้เขียนไว้บ่อยๆในเรื่องของ Data Lake, Hadoop และ  Cloud Storage

อัลกอริทึมที่ใช้ใน AI ที่มักจะกล่าวถึงคือ Machine Learning ซึ่งก็มีการพัฒนามายาวนานโดยมีการประยุกต์ใช้ในด้านต่างๆอาทิเช่น การทำ Classification, Clustering, Recomendation, Personalization หรือ การทำ Fraud detection นอกจากนี้ยังมีอัลกอริทึมอีกกลุ่มหนึ่งคือ Deep Learningโที่มีความสามารถดีกว่า Machine Learning แบบเดิมๆดยได้ตัดเรื่องของการทำ Feature Engineer ออกเลยทำให้ AI สามารถเรียนรู้จากข้อมูลขนาดใหญ่ได้ดีขึ้นและมีประสิทธิภาพมากขึ้น เลยทำให้ในปัจจุบันมีการนำ Deep learning ในการประยุกต์ใช้งานด้านต่างๆอาทิเช่น Image recognition, Speech Recognition, Language หรือ  Self driving car

การเตรียมเทคโนโลยีด้านอัลกอริทีมเหล่านี้จะต้องเลือกเครื่องมือในการพัฒนา (Toolkit) และเตรียมระบบคอมพิวเตอร์ขนาดใหญ่สำหรับการประมวลผล ซึ่งเมื่อพูดถึงเครื่องมือในการพัฒนาเราอาจต้องใช้เครื่องมือต่างๆอาทิเช่น

  • Machine Learning Toolkit
    • SAS, R, MATLAB, Python (scikit-learn), Spark, Anaconda
  • Deep Learning Toolkit
    • TensorFlow, MXNet, PyTorch, Caffe, CTNK

นอกจากนี้การใช้อัลกอรึทีมโดยเฉพาะในขั้นตอนการทำ Data Training จำเป็นต้องมีระบบคอมพิวเตอร์ขนาดใหญ่ในการประมวลผล ซึ่งองค์กรอาจจำเป็นต้องเตรียมเครื่องคอมพิวเตอร์ในระบบ On-Premise หรืออาจใช้เครื่อง Virtual Server บนระบบ Public cloud เพื่อลดค่าใช้จ่ายในการลงทุนเบื้องต้น แต่หากโจทย์ AI เป็นปัญหาทั่วๆไปที่มีการทำ Data Training มาแล้ว เช่นการทำ Face Recognition, Speech Recognition หรือ Chat Bot องค์กรก็อาจสามารถที่จะใช้ APIs สำเร็จรูปที่ผู้ให้บริการ Public Cloud ค่ายต่างๆได้จัดเตรียมไว้เช่น Vision API ของ Google Cloud Platform  หรือ Recommendation API ของ Microsoft Azure ดังแสดงในรูปที่ 2 ที่เป็นการสรุปเปรียบเทียบบริการ AI Cloud  ของค่ายต่างๆ แต่การใช้ API เหล่านี้ก็อาจมีจุดด้อยในเรื่องของ Vendor Lock-in

49938364_2261204387459828_3708624111711289344_n

รูปที่ 2 เปรียบเทียบ API Services ของ Public Cloud Provider ต่างๆ

กล่าวโดยสรุปการเตรียมโครงสร้างพื้นฐานสำหรับองค์กรในการทำ AI อาจจะต้องครอบคลุมถึงเทคโนโลยีในการเก็บข้อมูลอย่าง Data Lake, Toolkit ในการพัฒนาอัลกอริทึมทางด้าน Machine Learning หรือ Deep Learning  และระบบคอมพิวเตอร์ขนาดใหญ่สำหรับการประมวลผล ซึ่งทั้งหมดที่กล่าวมาอาจใช้บริการของ  Public cloud เพื่อลดค่าใช้จ่ายในการลงทุนเบื้องต้น

ธนชาติ นุ่มนนท์

IMC Institute

 

 

 

ภาพเปรียบเทียบ Big Data Architecture โดยใช้ Hadoop กับการใช้ Public Cloud ของ Google, AWS หรือ Azure

Screenshot 2018-10-22 13.30.30

ผมเคยเขียนบทความหลายๆครั้งชี้ให้เห็นว่าการทำ Big Data จำเป็นที่จะต้องมี Data Lake  ที่ทำงานร่วมกับ Database/Data warehouse และต้องมี Data Processing Tool และ Data Visualisation Tool ดังตัวอย่างสถาปัตยกรรมโดยย่อในรูปที่ 1  ทั้งนี้ Hadoop จะเป็นเทคโนโลยีที่หน่วยงานส่วนใหญ่จะลงทุนในการทำ Data Lake เพราะมีราคาในเก็บข้อมูลที่ต่ำเมื่อเทียบกับเทคโนโลยี On-Premise อื่นๆ และก็มีระบบนิเวศน์ที่มีซอฟต์แวร์อื่นๆอาทิเช่นการดึงข้อมูลหรือการประมวลผลข้อมูล

Screenshot 2018-10-21 16.55.08

รูปที่ 1 สถาปัตยกรรมเทคโนโลยี Big Data แบบย่อ

เพื่อให้เห็นภาพการออกแบบสถาปัตยกรรม Big Data โดยใช้เทคโนโลยี Hadoop ผมขอยกตัวอย่างระบบสถาปัตยกรรมข้อมูลแบบดังเดิม ( Traditional data architecture) ในรูปที่ 2 ซึ่งหน่วยงานอาจมีระบบฐานข้อมูลที่หลากหลายท้ง RDBMS และ NoSQL โดยอาจมี Data warehouse ที่จะทำหน้าที่รวบรวมข้อมูลแล้วแสดงผลผ่านมายัง Visualisation Tools  ต่างๆ ซึ่งหากเราจะพัฒนาระบบนี้ให้เป็นสถาปัตยกรรม Big Data แบบ On-Premise โดยใช้ Hadoop เป็น Data Lake เราก็อาจได้ระบบต่างๆดังรูปที่ 3 โดยรายละเอียดของการทำงานซอฟต์แวร์แต่ละตัว (Hadoop HDFS, Spark, Kafka และอื่นๆ) ผมขอไม่กล่าวซ้ำ เพราะได้เคยเขียนไว้หลายครั้งในบล็อก thanachart.org

Screenshot 2018-10-22 12.44.28

รูปที่ 2 ตัวอย่างสถาปัตยกรรมข้อมูลแบบดังเดิม

Screenshot 2018-10-22 12.43.33

รูปที่ 3 ตัวอย่างสถาปัตยกรรม Big Data แบบ On-Premise โดยใช้ Hadoop 

แต่การจะลงทุนระบบ On-Premise โดยใช้เทคโนโลยี Hadoop และซอฟต์แวร์ต่างๆในรูปที่ 3 จะมีต้นทุนที่ค่อนข้างสูงมาก ผมเคยเขียนบทความแนะนำให้ไปเริ่มต้นโดยใช้ Public cloud ที่ราคาจะถูกกว่ากันมาก (อ่านบทความเรื่องนี้เพิ่มเติมได้ที่ Big Data as a Service แนวทางการทำโครงการ Big Data ที่ไม่ต้องลงทุนโครงสร้างพื้นฐาน) ซึ่งในบทความนี้ผมเลยตั้งที่จะทำตารางสรุปเปรียบเทียบการใช้บริการ Public Cloud รายใหญ่ต่างๆ กับเทคโนโลยีที่เป็น On-Premise โดยแสดงให้เห็นว่าบริการอะไรที่จะเข้าทดแทนระบบแบบ On-Premise ตามตารางที่ 1 และรูปที่ 4-6 ก็จะสรุปเป็นภาพบริการของ Cloud Provider ทั้งสามราย ซึ่งรายละเอียดของบริการแต่ละอย่างขอให้ไปศึกษาเพิ่มเติมจากผู้ให้บริการหรือหลักสูตรต่างๆทั้งใน YouTube หรือของ IMC Institute

ธนชาติ นุ่มนนท์

IMC Institute

ตารางที่ 1 เปรียบเทียบเทคโนโลยี On-Promise กับบริการต่างๆของ Public Cloud

Screenshot 2018-10-21 17.27.41

Screenshot 2018-10-22 12.44.10

รูปที่ 4 ตัวอย่างสถาปัตยกรรม Big Data โดยใช้ AWS แทนที่ระบบ On-Premise

Screenshot 2018-10-22 12.43.52

รูปที่ 5 ตัวอย่างสถาปัตยกรรม Big Data โดยใช้ Google Cloud Platform แทนที่ระบบ On-Premise

Screenshot 2018-10-22 12.44.48

รูปที่ 6 ตัวอย่างสถาปัตยกรรม Big Data โดยใช้ Microsoft Azureแทนที่ระบบ On-Premise

ถึงเวลาที่ต้องเข้าใจความหมาย Big Data อย่างแท้จริง ก่อนที่เราจะสูญเสียศักยภาพการแข่งขัน

Screenshot 2018-10-22 13.30.30

ช่วงนี้ทุกภาคส่วนในประเทศเราจะพูดถึงเทคโนโลยี Big Data บ่อยมาก บางครั้งก็บอกว่าหน่วยงานตัวเองกำลังทำ Big Data  บ้างก็บอกว่าเก็บข้อมูลเป็น  Big Data บ้างก็บอกว่าต้องวิเคราะห์ข้อมูลโดยใช้ Big Data ผมว่าผู้บริหารบ้านเราเล่นกับเทอม Big Data มากเกินไป โดยไม่เข้าใจความหมายที่แท้จริง และส่วนมากไม่ได้นำมาใช้ประโยชน์อย่างแท้จริง กลายเป็นว่าใช้ข้อมูลเล็กน้อยเพียงผิวเผินและไม่สนใจที่จะศึกษาความหมาย การใช้ Big Data อย่างแท้จริงเลยทำให้บ้างครั้งบ้านเราสูญเสียโอกาสไปอย่างมาก ก็เพียงเพราะว่าเราต้องการแค่สร้างภาพและตอบโจทย์เพียงแค่ว่า ฉันได้ทำ Big Data แล้วทั้งๆที่ก็อาจเป็นแค่ข้อมูลเล็กๆธรรมดาๆและก็อาจทำรายงาน หรือทำ Business Intelligence  สรุปข้อมูลออกมากโดยไม่มีการทำ Analytics  วิเคราะห์ข้อมูลขนาดใหญ่เพื่อสร้างศักยภาพการแข่งขันให้หน่วยงานแต่อย่างใด

ผมคงไม่อธิบายความหมายของ Big Data มากนัก เพราะตัวเองก็เคยเขียนแนะนำความหมายมาหลายๆครั้ง ไม่ว่าจะเป็น 3Vs อย่าง Volume, Velocity และ Variety หรือเราจะเพิ่มเรื่องของ Varacity เข้าไปอีก โดยถ้าสนใจจะลองดูความหมายก็อาจกลับไปอ่านบทความเก่าๆของผมได้ที่ Big Data และเทคโนโลยี Hadoop กับการพัฒนาองค์กรด้านการวิเคราะห์ข้อมูล และผมก็เคยพยายามจะชี้ให้เห็นว่าถ้าเรามองถึง Big Data เรามักจะเห็นข้อมูลอยู่สี่ประเภทดังรูปที่ 1 ก็คือ

  • Social media data
  • Mobile data
  • Internet of things data
  • Transactional data

Screenshot 2018-10-20 12.36.37

รูปที่ 1 ประเภทข้อมูลของ  Big Data

(อ่านรายละเอียดเพิ่มเติมได้ในบทความ   การวิเคราะห์พฤติกรรมลูกค้าควรมีข้อมูลธุรกรรมขนาดใหญ่ของลูกค้าแต่ละราย)

คุณลักษณะที่สำคัญสุดประการหนึ่งของข้อมูลแบบ Big Data คือต้องมี Velocity เข้ามา การจะวิเคราะห์ข้อมูลขนาดใหญ่ได้ดีและมีความแม่นยำขึ้นต้องมีข้อมูลที่เข้ามาอย่างต่อเนื่องและทันสมัย อาทิเช่นถ้ามีข้อมูล CRM ที่เก็บย้อนหลังไว้นานๆ แม้จะมีจำนวนลูกค้าเป็นล้านแต่ก็อาจจะไม่ทันสมัยเพราะข้อมูลลูกค้าก็อาจไม่ถูก update เช่นเบอร์โทรศัพท์ ที่อยู่ อาชีพ หรือแม้แต่ชื่อก็อาจเปลี่ยนไป แต่ในทางตรงข้ามถ้าเรามีข้อมูลธุรกรรมที่เข้ามาอย่างต่อเนื่องเช่นข้อมูลมาซื้อสินค้ากับเรา เราจะเข้าใจข้อมูลลูกค้ามากขึ้น อาจเห็นพฤติกรรมของเขาไว้ไปสาขาไหนอยู่ที่ใด ดังนั้นผมเลยเคยเขียนบอกไว้ว่า หลักการสำคัญของ Big Data Analytics ก็คือการที่เราสามารถเก็บข้อมูล Transactional data ให้มากที่สุดและมีรายละเอียดมากที่สุดเท่าที่ทำได้ (อ่านรายละเอียดเพิ่มเติมได้ในบทความ Big data ต้องเริ่มต้นจากการวิเคราะห์ Transactional data ไม่ใช่เล่นกับ summary data)

ดังนั้นถ้าเราต้องการจะสร้างศักยภาพการแข่งขันขององค์กรด้วย Big Data เราคงต้องวางกลยุทธ์ให้องค์กรมีข้อมูลในสี่ประเภทที่ผมกล่าวไว้ข้างต้น แต่คำถามที่ท้าท้ายก็คือว่าเราจะหาข้อมูลเหล่านั้นมาได้อย่างไร ซึ่งหากเราสามารถทำได้ก็จะทำ Big Data Analytics ที่แท้จริงได้ เมื่อวานนี้ผมไปบรรยายให้กระทรวงการท่องเที่ยวและกีฬาและพยายามยกตัวอย่างการใช้  Big Data ในการท่องเที่ยว โดยอาจมีโจทย์ต่างๆที่น่าสนใจดังนี้

  • การใช้เพื่อการวางแผนของภาครัฐในการกำหนดนโยบาย กำหนดเส้นทางการท่องเที่ยว หรือแม้แต่การวางแผนการบริการรถสาธารณะ
  • การเข้าใจพฤติกรรมการท่องเที่ยว
  • การทำ Personalisation ให้นักท่องเที่ยว

ซึ่งจากโจทย์ที่ยกมา ผมก็ชี้ให้เห็นว่าเราไม่สามารถที่จะทำได้โดยได้ข้อมูลแค่จำนวนนักท่องเที่ยวรายวเดือนหรือหรือวันที่เป็นข้อมูลสรุป แต่เราต้องมีข้อมูลต่างๆเช่น

  • ข้อมูลจาก Social Media ที่อาจเป็นการ Tag ตำแหน่งที่อยู่ หรือรูปถ่าย จะต้องมีข้อมูลป้อนเข้ามาในแต่ละวินาทีเป็นจำนวนมาก
  • ข้อมูลจาก Telecom ที่จะเห็นข้อมูลของนักท่องเที่ยวเป็นวินาทีว่าอยู่ที่ไหน เป็นต้น
  • ข้อมูลจาก IoT ที่ในอนาคตอาจมีข้อมูลจาก CCTV ที่เห็นจำนวนนักท่องเที่ยวในแต่ละที่อยู่ตลอดเวลา
  • ข้อมูล Transaction  เช่นข้อมูลจากการจองโรงแรม ข้อมูลการเดินทางจากสายการบิน การรถไฟ หรือการท่าอากาศยาย ซึ่งข้อมูลเหล่านี้ต้องเป็นข้อมูลดิบที่ให้เห็นเป็นนาที หรือเป็นรายธุรกรรม ไม่ใช่ข้อมูลสรุป

จากข้อมูลเหล่านี้เราก็อาจมาทำการวิเคราะห์ในเรื่องต่างๆได้เช่น

  • พฤติกรรมการเดินทางของนักท่องเที่ยวว่าจะเดินทางจากจุดไหนไปยังที่ใดต่อ
  • ตำแหน่งไหนมีคนเยี่ยมชมมากน้อยเพียงใด ในช่วงเวลาใด และอนาคตควรทำอย่างไร
  • วิธีการเดินทางของนักเที่ยวเช่นมาจุดนี้โดยเครื่องบิน หรือรถไฟ หรือรถยนต์
  • การทำ  Segementation นักท่องเที่ยวตามอายุ สัญชาติ เป็นต้น

จากที่กล่าวมาทั้งหมดจะเห็นได้ว่าเมื่อพูดถึง Big Data จะไม่ใช่ข้อมูลสรุป แต่จะต้องมีข้อมูลขนาดใหญ่ที่แท้จริงโดยเฉพาะข้อมูลธุรกรรมในการวิเคราะห์ ในปัจจุบันบางอุตสาหกรรมเริ่มมีความน่ากลัวที่ต่างชาติเข้าเก็บข้อมูลธุรกรรมเหล่านี้ไปหมด โดยที่หน่วยงานในประเทศเรากลับไม่ให้ความสำคัญ และไม่เข้าใจว่าข้อมูลเหล่านั้นมีความสำคัญยิ่งในการที่จะทำ Big Data ที่แท้จริง สุดท้ายเราก็จะสูญเสียศักยภาพการแข่งขันไป

ธนชาติ นุ่มนนท์

IMC Institute

 

การวิเคราะห์พฤติกรรมลูกค้าควรมีข้อมูลธุรกรรมขนาดใหญ่ของลูกค้าแต่ละราย

Screenshot 2018-08-05 11.29.12

วันก่อนไปที่ร้านขายเฟอร์นิเจอร์แห่งหนึ่งเพราะอยากซื้อ ตู้โชว์แบบเดียวกับที่เคยซื้อเมื่อ 6-7 ปีก่อน เพิ่มอีกซักหนึ่งชุด แต่พอไปถึงหารุ่นนั้นไม่เจอ ก็เลยขอพนักงานดูประวัติการซื้อย้อนหลัง เพราะอยากทราบว่าตอนนั้นซื้อรุ่นไหน สิ่งที่น่าสนใจคือร้านนี้เก็บช้อมูลลูกค้าไว้ทุกรายการที่เราซื้อ รวมถึงวัสดุทุกชิ้น แต่พอเกิน 5 ปีก็ไม่มีข้อมูลแล้ว ซึ่งก็พอเข้าใจได้ว่าข้อมูลเก่าไปและต้องการประหยัดพื้นที่เก็บข้อมูล ก็เลยลบข้อมูลเก่าทิ้งไป ผมว่าที่ร้านมีข้อมูล Big Data ของลูกค้าที่น่าสนใจ เพราะเขาเก็บข้อมูลธุรกรรมการซื้อของลูกค้าไว้ทุกรายการ และเขาทราบข้อมูลที่อยู่ของลูกค้าและเบอร์ติดต่อชัดเจน คำถามที่ผมสนใจก็คือว่าจากข้อมูลที่เขามีอยู่ เขาสามารถที่จะวิเคราะห์พฤติกรรมลูกค้าได้ไหม การเก็บข้อมูลธุรกรรมของลูกค้าไว้เพียง 5 ปีเพียงพอจะวิเคราะห์ข้อมูลลูกค้าเป็นรายบุคคลได้ดีแค่ไหน ลูกค้าแต่ละรายจะมาซื้อเฟอร์นิเจอร์และอุปกรณ์ต่างๆบ่อยแต่ไหนในแต่ละปี

แต่อย่างไรก็ตามสิ่งหนึ่งที่น่าสนใจของร้านนี้คือ เขามีกลยุทธ์ที่ดีในการจะทำ Big data โดยสามารถที่จะให้ลูกค้ามาสมัครเป็นสมาชิก ใส่รายละเอียดที่อยู่ได้ และสามารถเก็บธุรกรรมของลูกค้าได้ อย่างที่ผมเคยบอกไว้ว่าถ้าเราจะทำ Big Data เราควรจะต้องเน้นที่ข้อมูลธุรกรรม (ดูรายละเอียดได้ที่ Big data ต้องเริ่มต้นจากการวิเคราะห์ Transactional data ไม่ใช่เล่นกับ summary data) ซึ่งถ้าได้ข้อมูลเหล่านี้มาก็จะทำให้เราวิเคราะห์ข้อมูลพฤติกรรมลูกค้าได้ดีขึ้น ยิ่งมีจำนวนธุรกรรมของลูกค้าแต่ละรายมากเท่าไรก็ยิ่งดีขึ้น

หากเราพิจารณาข้อมูลที่เป็น Big Data เราอาจเห็นข้อมูลใหญ่ๆอยู่สี่ประเภทคือ

  • Social media data
  • Mobile data
  • Internet of things data
  • Transactional data

ซึ่งจะเห็นได้ว่าข้อมูลที่จะเกี่ยวข้องกับพฤติกรรมลูกค้าที่ธุรกิจต่างๆมักจะมีก็คือข้อมูลธุรกรรมต่างๆที่ลูกค้ามาทำกับธุรกิจเช่น การซื้อสินค้า การติดต่อสื่อสาร เพราะข้อมูล Social media หรือ ข้อมูล Mobile โดยมากมักจะเป็นข้อมูลภายนอกองค์กรธุรกิจ ส่วนข้อมูล IoT ก็จำเป็นจะต้องมีการติดตั้งอุปกรณ์ต่างๆ

1a-transactional-data

แต่ความท้าทายของธุรกิจที่จะมีข้อมูลธุรกรรมเหล่านี้ก็คือกลยุทธ์ในการเก็บข้อมูล บางธุรกิจมีการทำธุรกรรมขายให้กับลูกค้าจำนวนมาก แต่ก็อาจไม่ทราบว่าลูกค้าคือใครเช่น ธุรกิจค้าปลีกต่างๆ ซึ่งบางทีฝ่ายการตลาดก็ต้องพยายามจูงใจให้ลูกค้าสมัครเป็นสมาชิกเพื่อทราบข้อมูลของลูกค้าเป็นรายคน บางธุรกิจลูกค้าก็อาจไม่ได้มาทำธุรกรรมบ่อยนักเช่นประกันภัยรถยนต์ ถ้าจะได้ข้อมูลขนาดใหญ่ก็อาจต้องใช้เทคโนโลยีอย่าง IoT หรือข้อมูล  Mobile มาช่วย ซึ่งในปัจจุบันเราจะเห็นว่าธุรกิจที่มีข้อมูลธุรกรรมลูกค้าแต่ละรายจำนวนมากก็อาจมีกลุ่มต่างๆดังนี้

  • ผู้ให้บริการโทรศัพท์เคลื่อนที่
  • ธนาคาร
  • บริษัทหลักทระพย์
  • ธุรกิจด้านการชำระเงินออนไลน์เข่น  Mobile Payment
  • ธุรกิจค้าปลีกที่ลูกค้าลงทะเบียนข้อมูลบุคคลไว้
  • โรงพยาบาล

ดังนั้นจะเห็นได้ว่าความยากของการทำ Big data ประเด็นหนึ่งก็คือข้อมูลที่ธุรกิจส่วนใหญ่มักจะมีข้อมูลลูกค้าแต่ละรายเป็นจำนวนจำกัด ทำให้ไม่สามารถจะวิเคราะห์ข้อมูลพฤติกรรมลูกค้าได้ ดังนั้นจำเป็นอย่างยิ่งที่ธุรกิจจะต้องร่วมกันวางกลยุทธ์เพื่อให้ได้ข้อมูลเหล่านั้นมา

ธนชาติ นุ่มนนท์

IMC Institute