งานเขียนนี้ยังไม่สมบูรณ์เป็นเพียงฉบับร่าง (Draft version) ที่ผมทำขึ้นเพื่อกันลืม แต่ก็คิดว่าน่าเป็นประโยชน์อยู่บ้างจึงนำมาแชร์เลยเสียตอนนี้เลย ผมหวังว่างานเขียนนี้จะช่วยให้ผู้อ่านสามารถพัฒนาจากสิ่งที่ผมเขียนได้บ้าง และไปต่อได้ด้วยตนเองครับ ก่อนหน้านี้ผมได้โพสใน Facebook แนะนำการใช้ ChatGPT ช่วยเขียนโค้ด PySpark ที่มีการทำ Regular expression ดึงข้อมูลสำคัญออกจาก unstructured text และบรรจุข้อมูลสำคัญเหล่านั้นไว้ใน Spark’s dataframe

Accuracy เป็น criteria หรือเกณฑ์การประเมินอย่างหนึ่งที่นำมาใช้ตัดสินคุณค่าของ Machine learning model แต่ก็มิได้หมายความว่า เมื่อโมเดลมีค่า Accuracy ที่สูงแล้ว จะเป็นโมเดลที่สร้างคุณค่าให้กับธุรกิจเสมอไป ในทาง Data science มี criteria อย่างเช่น Recall, Precision, F1, ROC Curve ซึ่งเป็นที่น่าแปลกใจสำหรับผู้ที่ยังใหม่กับเรื่องนี้คือ แม้ว่าจะได้อ่านทำความเข้าใจความหมายของ criteria เหล่านี้แล้วก็ตาม ก็จะยังไม่เห็นภาพชัดในการเลือกใช้และขาดความเชื่อมโยงกับธุรกิจ งานเขียนนี้มุ่งเน้นความเข้าใจที่ถูกต้องชัดเจนเกี่ยวกับการเลือกใช้ criteria เหล่านี้สำหรับการประเมิน Classification model ในมุมมองทางธุรกิจ…

ปัจจุบันการลงทุนทำ Big Data Platform โดยเลือกใช้ Commercialized License มักมีค่าใช้จ่ายด้าน Software License ค่อนข้างสูง และอาจต้องจ่ายแบบ Subscription อย่างต่อเนื่องไปตลอด และในกรณีเลือกใช้ Hadoop ที่มีการติดตั้ง Software ต่างๆ ใน Hadoop Ecosystem ลงไปในระบบด้วยแล้ว อาจต้องเผชิญประเด็นอื่นๆ ที่ตามมาภายหลังอีกด้วย เช่น ภาระการ Maintain services จำนวนมากให้พร้อมใช้งานตลอดเวลา ค่าใช้จ่ายด้านการ Maintenance ระบบเหล่านั้น ปัญหา Software Version Conflict ฯลฯ

โดยทั่วไปบทบัญญัติของกฎหมายจะวางสาระสำคัญว่า “อะไรที่ทำแล้ว” หรือ “อะไรที่ไม่ได้ทำแล้ว” เป็นสิ่งที่ถูกหรือผิดกฎหมาย แต่กฎหมายอาจจะไม่ได้บอกชัดเจนว่า “ต้องทำอย่างไร” (How-to) ให้ถูกกฎหมาย ในกรณีกฎหมายว่าด้วยการคุ้มครองข้อมูลส่วนบุคคลของไทยก็เช่นเดียวกัน งานเขียนนี้มุ่งนำเสนอแนวคิดเชิงกระบวนการว่า องค์ต้องทำอะไรบ้างและทำอย่างไรตามลำดับ เพื่อให้ถูกกฎหมายและลูกค้าขององค์กรเกิดความมั่นใจในการดำเนินงานเกี่ยวข้องข้อมูลส่วนบุคคลขององค์กร

การทำงาน Data Science Project นั้น มักเกิดคำถามระหว่างการทำงานที่ตัวเราเองก็อาจยังคงแคลงใจอยู่ว่า แนวคิด ทฤษฎี หลักการ ที่เคยได้ฟังมา อ่านมา หรือเห็นเค้านิยมทำกันนั้น จำเป็นต้องทำในทุกกรณีหรือไม่ กรณีไหนควรเลือกทำอย่างใด และอะไรคือผลที่ตามมา งานเขียนนี้จึงหยิบยกประเด็นคำถาม​ที่ผู้เขียนพบเจอบ่อยๆ จากการทำงาน และได้เคยทำการค้นคว้า ทำการทดลอง เพื่อหาคำตอบในเชิงเหตุและผลว่า เหตุใดจึงต้องทำสิ่งนี้ ทำหรือไม่ทำมีความแตกต่างกันหรือไม่อย่างไร อีกทั้งให้คำแนะนำทางเลือกอื่นๆ ที่เป็นไปได้ตามหลักการของ Data Science โดยมีการยกตัวอย่างในเรื่อง Prediction of Customer Behavior ประกอบความเข้าใจ…

ในการทำงานการทำงานองค์กร การทำงานโปรเจค และการบรรยายที่เกี่ยวข้องกับ Big Data และ Data Science มักพบเจอ Requirements ด้านการปรับปรุง Machine Learning Model ให้สดใหม่ตามข้อมูลที่เรานำมา Train โดยอัตโนมัติ (Automated Model Refresh) โดยคาดหวังว่าจะทำให้งาน Predictive Analytics มีประสิทธิภาพมากขึ้น การใช้ประโยชน์จาก Big Data Platform ขององค์กร เป็นโอกาสดีที่ปัจจุบันนี้ การทำ Large-Scale Machine Learning นั้น ใน Hadoop Ecosystem มีซอฟต์แวร์/เซอร์วิสให้เลือกใช้ตามวงจรชีวิตของข้อมูล ตั้งแต่การนำเข้าข้อมูล (Ingestion) อย่างเช่น Sqoop มาถึงการจัดเก็บข้อมูลลง Filesystem (Storage) เช่น HDFS แล้วเรียกข้อมูลขึ้นมาทำ Data Preparation, Feature Engineering และ Model…

ปรากฎการณ์ Big Data ทำให้เกิดความเปลี่ยนแปลงหลายอย่าง จากเดิมที่เราใช้ข้อมูลมาทำ Business Optimization แต่วันนี้เรามองว่าข้อมูลเป็น Strategic Asset สามารถสร้างคุณค่า (Value Creation) จากมุมมองการใช้ข้อมูลในแบบใหม่ๆ ซึ่งจะช่วยให้อยู่รอดจาก Disruption ที่เราไม่เคยเผชิญมาก่อนเลยได้. ในช่วง 1 ปีที่ผ่านมาหลายธุรกิจได้มีเริ่มมีการใช้งาน Big Data Technology อย่างจริงจังมากขึ้น มีการทำ Big Data Adoption ทั้งในแบบ on-Premises หรือ on-Cloud. มีการ Train พนักงานในองค์กรหรือรับพนักงานใหม่ที่มีความรู้ความเชี่ยวชาญเฉพาะด้าน Big Data เข้ามาทำงานกับระบบ. ทั้งหมดนี้ดูเหมือนว่า เราจะได้ทำทุกสิ่งอย่างเพื่อเตรียมพร้อมจะ Leveraging Big Data แล้ว อย่างไรก็ตามถ้าเราขาด Data Management ที่เหมาะสมแล้ว ก็เท่ากับว่า เราอาจกำลังจะสร้าง…

วันนี้มี Tools ที่ใช้ทำ Data Science อย่างหลากหลาย รวมถึง Programming Language ที่มีการพูดถึงกันมากที่สุด คือ R และ Python. แต่ถ้าพูดถึง Spark Programming อาจจะยังไม่เป็นที่รู้จักมากนัก. บทความนี้จะนำเสนอแนวทางการเลือกใช้ Programming Language ให้เหมาะสมกับขนาดข้อมูล แม้ว่าผมจะทำมาหากินกับเรื่อง Big Data มานาน แต่ก็ไม่ใช่ว่า ผมจะเชียร์ให้ใช้ Big Data Technology กับทุก Use Case. จากบทความก่อนหน้านี้ “ต้องใหญ่แค่ไหน …จึงจะเรียกว่า Big Data” ผมได้อธิบายให้เข้าใจว่า เมื่อใดที่การใช้ Big Data Tech. จะมีประสิทธิภาพดีกว่าการใช้เทคโนโลยีดั้งเดิม. สำหรับในบทความนี้คือบทพิสูจน์แนวคิดจากบทความที่ผ่านมาดังกล่าว…

การทำ Big Data ต้องอาศัย Big Data Technology อย่างเช่น Hadoop มาบริหารจัดการข้อมูล ทั้งในการเก็บข้อมูลและประมวลผลข้อมูล … การเก็บข้อมูลใน Hadoop มีคนอธิบายไว้เยอะแล้ว แต่การประมวลผลข้อมูลบน Data Center ของเราให้เร็วถึงระดับที่เทียบได้กับ Platform เจ้าใหญ่ๆ เช่น Google Cloud Platform นั้นควรทำอย่างไร … วิธีการหนึ่งที่น่าสนใจคือ การออกแบบสถาปัตยกรรมทางเทคโนโลยีให้เหมาะสมกับการวิเคราะห์ข้อมูล ซึ่งผมขอเรียกว่า “Design by Analytics” ที่ไม่ใช่ยก Template ของ Vendors มาทำ Sizing Hardware Spec. เป็นหลัก หรือไปคัดลอกการทำ Deploy services ต่างๆ จาก Successor มาตรงๆ แต่ต้องเข้าใจ…