Introduction In the rapidly evolving landscape of Big Data, real-time processing goes beyond just managing vast data streams — it’s about reacting to them promptly. Building on insights from a prior article on “Unlocking Real-Time Insights: Building a Stream Processing Solution with Apache Beam, Google Cloud Dataflow, and Terraform,” this…

1. Introduction In an era where immediate insights are pivotal to a business’s success, leveraging the strengths of Apache Beam, Google Cloud Dataflow, and Terraform could be a game-changer. This piece delineates the path to constructing a reliable and scalable data pipeline using this powerful trio. 1.1 Apache Beam: The Cornerstone of Flexible and Portable Solutions Unified Model: A common ground facilitating…

Poor data quality can negatively impact machine learning models and business decision-making. Unresolved data errors can lead to data scars and data shocks, which have long-term consequences. Implementing automated data quality monitoring tools is crucial in the current era to detect and resolve issues promptly, leading to increased trust in…

งานเขียนนี้ที่ผมทำขึ้นเพื่อกันลืม แต่ก็คิดว่าน่าเป็นประโยชน์อยู่บ้างจึงนำมาแชร์เลยเสียตอนนี้เลย ผมหวังว่างานเขียนนี้จะช่วยให้ผู้อ่านสามารถพัฒนาจากสิ่งที่ผมเขียนได้บ้าง และไปต่อได้ด้วยตนเองครับ ก่อนหน้านี้ผมได้โพสใน Facebook แนะนำการใช้ ChatGPT ช่วยเขียนโค้ด PySpark ที่มีการทำ Regular expression ดึงข้อมูลสำคัญออกจาก unstructured text และบรรจุข้อมูลสำคัญเหล่านั้นไว้ใน Spark’s dataframe งานเขียนนี้กำลังเล่าเหตุการณ์ต่อจากนั้น โดยผมยังคงทำงานร่วมกับ ChatGPT ในการเขียนโค้ดเพื่อใช้ dataframe ดังกล่าวในการทำ ETL ข้อมูลเข้าสู่ MSSQL…

Accuracy เป็น criteria หรือเกณฑ์การประเมินอย่างหนึ่งที่นำมาใช้ตัดสินคุณค่าของ Machine learning model แต่ก็มิได้หมายความว่า เมื่อโมเดลมีค่า Accuracy ที่สูงแล้ว จะเป็นโมเดลที่สร้างคุณค่าให้กับธุรกิจเสมอไป ในทาง Data science มี criteria อย่างเช่น Recall, Precision, F1, ROC Curve ซึ่งเป็นที่น่าแปลกใจสำหรับผู้ที่ยังใหม่กับเรื่องนี้คือ แม้ว่าจะได้อ่านทำความเข้าใจความหมายของ criteria เหล่านี้แล้วก็ตาม ก็จะยังไม่เห็นภาพชัดในการเลือกใช้และขาดความเชื่อมโยงกับธุรกิจ งานเขียนนี้มุ่งเน้นความเข้าใจที่ถูกต้องชัดเจนเกี่ยวกับการเลือกใช้ criteria เหล่านี้สำหรับการประเมิน Classification model ในมุมมองทางธุรกิจ…

ปัจจุบันการลงทุนทำ Big Data Platform โดยเลือกใช้ Commercialized License มักมีค่าใช้จ่ายด้าน Software License ค่อนข้างสูง และอาจต้องจ่ายแบบ Subscription อย่างต่อเนื่องไปตลอด และในกรณีเลือกใช้ Hadoop ที่มีการติดตั้ง Software ต่างๆ ใน Hadoop Ecosystem ลงไปในระบบด้วยแล้ว อาจต้องเผชิญประเด็นอื่นๆ ที่ตามมาภายหลังอีกด้วย เช่น ภาระการ Maintain services จำนวนมากให้พร้อมใช้งานตลอดเวลา ค่าใช้จ่ายด้านการ Maintenance ระบบเหล่านั้น ปัญหา Software Version Conflict ฯลฯ

โดยทั่วไปบทบัญญัติของกฎหมายจะวางสาระสำคัญว่า “อะไรที่ทำแล้ว” หรือ “อะไรที่ไม่ได้ทำแล้ว” เป็นสิ่งที่ถูกหรือผิดกฎหมาย แต่กฎหมายอาจจะไม่ได้บอกชัดเจนว่า “ต้องทำอย่างไร” (How-to) ให้ถูกกฎหมาย ในกรณีกฎหมายว่าด้วยการคุ้มครองข้อมูลส่วนบุคคลของไทยก็เช่นเดียวกัน งานเขียนนี้มุ่งนำเสนอแนวคิดเชิงกระบวนการว่า องค์ต้องทำอะไรบ้างและทำอย่างไรตามลำดับ เพื่อให้ถูกกฎหมายและลูกค้าขององค์กรเกิดความมั่นใจในการดำเนินงานเกี่ยวข้องข้อมูลส่วนบุคคลขององค์กร

การทำงาน Data Science Project นั้น มักเกิดคำถามระหว่างการทำงานที่ตัวเราเองก็อาจยังคงแคลงใจอยู่ว่า แนวคิด ทฤษฎี หลักการ ที่เคยได้ฟังมา อ่านมา หรือเห็นเค้านิยมทำกันนั้น จำเป็นต้องทำในทุกกรณีหรือไม่ กรณีไหนควรเลือกทำอย่างใด และอะไรคือผลที่ตามมา งานเขียนนี้จึงหยิบยกประเด็นคำถาม​ที่ผู้เขียนพบเจอบ่อยๆ จากการทำงาน และได้เคยทำการค้นคว้า ทำการทดลอง เพื่อหาคำตอบในเชิงเหตุและผลว่า เหตุใดจึงต้องทำสิ่งนี้ ทำหรือไม่ทำมีความแตกต่างกันหรือไม่อย่างไร อีกทั้งให้คำแนะนำทางเลือกอื่นๆ ที่เป็นไปได้ตามหลักการของ Data Science โดยมีการยกตัวอย่างในเรื่อง Prediction of Customer Behavior ประกอบความเข้าใจ…

ในการทำงานการทำงานองค์กร การทำงานโปรเจค และการบรรยายที่เกี่ยวข้องกับ Big Data และ Data Science มักพบเจอ Requirements ด้านการปรับปรุง Machine Learning Model ให้สดใหม่ตามข้อมูลที่เรานำมา Train โดยอัตโนมัติ (Automated Model Refresh) โดยคาดหวังว่าจะทำให้งาน Predictive Analytics มีประสิทธิภาพมากขึ้น การใช้ประโยชน์จาก Big Data Platform ขององค์กร เป็นโอกาสดีที่ปัจจุบันนี้ การทำ Large-Scale Machine Learning นั้น ใน Hadoop Ecosystem มีซอฟต์แวร์/เซอร์วิสให้เลือกใช้ตามวงจรชีวิตของข้อมูล ตั้งแต่การนำเข้าข้อมูล (Ingestion) อย่างเช่น Sqoop มาถึงการจัดเก็บข้อมูลลง Filesystem (Storage) เช่น HDFS แล้วเรียกข้อมูลขึ้นมาทำ Data Preparation, Feature Engineering และ Model…