Automated Model Training and Deployment, Episode I

การใช้ประโยชน์จาก Big Data Platform ขององค์กร

Apache Oozie คืออะไร

Anatomy of the Oozie Workflow

รูปที่ 1 แสดง Technology Architecture Framework สำหรับทำ Automated Model Training and Deployment

การจัดเตรียมระบบคอมพิวเตอร์

รูปที่ 2 แสดง Hostname ใน Hadoop Cluster
  • Apache Ambari version 2.7.1.0 มี Ambari Server ทำงานอยู่ที่ hw4 และ Ambari Client ทำงานอยู่ทุก Node ใน Cluster
  • มี Client Program อย่างเช่น hdfs, sqoop, oozie และอื่นๆ อยู่ใน hw4
  • ใช้ Command Shell (Terminal) ของ VM ชื่อ hw4 ภายใต้ Privilege ของ User: hdfs ในทุกขั้นตอนของงานเขียนนี้

ขั้นตอนการ Running Workflow of Model Training and Deployment ด้วย Apache Oozie

[root@hw4 ~]# su — hdfs
Last login: Thu Jan 14 03:41:11 UTC 2021 on pts/0
[hdfs@hw4 ~]$ oozie version
Oozie client build version: 4.3.1.3.0.1.0–187
[hdfs@hw4 ~]$ mkdir -p funnelWorkflow[hdfs@hw4 ~]$ cd funnelWorkflow[hdfs@hw4 funnelWorkflow]$ nano job.properties
[hdfs@hw4 funnelWorkflow]$ nano workflow.xml

[hdfs@hw4 funnelWorkflow]$ hdfs dfs -mkdir -p /user/refinedzone/
[hdfs@hw4 funnelWorkflow]$ hdfs dfs -put -f workflow.xml /user/refinedzone/
[hdfs@hw4 funnelWorkflow]$ hdfs dfs -ls /user/oozie/share/lib/
Found 1 items
drwxr-xr-x - oozie hdfs 0 2020-12-30 03:04 /user/oozie/share/lib/lib_20201230030349
[hdfs@hw4 funnelWorkflow]$ hdfs dfs -mkdir -p /user/oozielib/
[hdfs@hw4 funnelWorkflow]$ hdfs dfs -put -f /usr/share/java/mysql-connector-java.jar /user/oozielib/
[hdfs@hw4 funnelWorkflow]$ hdfs dfs -cp -f  /user/oozie/share/lib/lib_20201230030349/spark/oozie-sharelib-spark-* /user/oozielib/[hdfs@hw4 funnelWorkflow]$ hdfs dfs -rm /user/oozielib/hive*[hdfs@hw4 funnelWorkflow]$ hdfs dfs -put -f /usr/hdp/current/spark2-client/jars/* /user/oozielib/
[hdfs@hw4 funnelWorkflow]$ nano hiveCreateTable.sql
[hdfs@hw4 funnelWorkflow]$ hdfs dfs -put -f hiveCreateTable.sql /user/refinedzone/
[hdfs@hw4 funnelWorkflow]$ nano coordinator.xml
[hdfs@hw4 funnelWorkflow]$ hdfs dfs -put -f coordinator.xml /user/refinedzone/
[hdfs@hw4 funnelWorkflow]$ nano deploy.py
[hdfs@hw4 funnelWorkflow]$ hdfs dfs -put -f deploy.py /user/refinedzone/
[hdfs@hw4 funnelWorkflow]$ oozie job — oozie http://hw1:11000/oozie -config job.properties -run
รูปที่ 3 แสดงหน้าจอ Web UI ของ Oozie
[hdfs@hw4 funnelWorkflow]$ hdfs dfs -ls /user/refinedzone/model
Found 2 items
drwxr-xr-x — hdfs hdfs 0 2021–01–14 07:08 /user/refinedzone/model/metadata
drwxr-xr-x — hdfs hdfs 0 2021–01–14 07:08 /user/refinedzone/model/stages

สรุป

--

--

Experienced Senior Big Data & Data Science Consultant with a history of working in many enterprises and various domains . Skilled in Apache Spark, and Hadoop.

Love podcasts or audiobooks? Learn on the go with our new app.

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store