使用 Cloud Dataproc 架設 Hadoop Cluster

dataproc

最近收到任務,希望在 Hadoop Cluster上面跑 Apache log的分析案例,雖然之前已經架設過環境,但是純手工真的不是件容易事,遇到版本衝突、網路沒設好之類的問題會讓人一個頭兩個大。認真覺得裝(懂)過一次,了解 Hadoop的安裝方式就可以了,為了快速完成目標,就直接用現成的雲端服務,開一個 Hadoop Cluster。

原本想用 Kubernetes (k8s) 架設,但是最近的 v1.6版出問題 (Issue #43815),轉而使用 Google Container Engine (k8s v1.5),後來才發現 Google 其實有推出 Cloud Dataproc服務,能直接幫架設好 Hadoop、Spark環境,幾分鐘的時間就能建置完成!

想一探究竟?來繼續研究 Cloud Dataproc 在 GCP上 的細節

本篇文章:https://jerrynest.io/dataproc-hadoop/

jerry本文是現就讀台大電機所 – Jerry所擁有,請勿隨意轉載複製。 Jerry目前從事資安研究,同時也對雲端議題頗有心得,常在傑瑞窩在這分享所見所聞。

 

 

 

 

 


iKala - GCP 專門家

GCP 專門家,Google Cloud 首席合作夥伴暨代理商,協助逾 200 家企業使用 Google Cloud,客戶廣布遊戲、媒體、數據廣告、電商、金融等多種產業。我們擁有超過 30 位技術人員,更通過 Google 原廠雲端架構師及資料工程師認證,具備第一手 GCP 產品開發及導入經驗,能提供您紮實的客製化技術服務。

我們提供了多項的 GCP 加值服務:

了解更多: https://gcp.expert/
加入我們: https://goo.gl/rg9D3Q
Facebook Fan Page: https://www.facebook.com/gcp.expert/
聯絡我們:+886 2 87681110 或請來信 gcp@ikala.tv