使用 Cloud Dataproc 架設 Hadoop Cluster

dataproc

最近收到任務,希望在 Hadoop Cluster上面跑 Apache log的分析案例,雖然之前已經架設過環境,但是純手工真的不是件容易事,遇到版本衝突、網路沒設好之類的問題會讓人一個頭兩個大。認真覺得裝(懂)過一次,了解 Hadoop的安裝方式就可以了,為了快速完成目標,就直接用現成的雲端服務,開一個 Hadoop Cluster。

原本想用 Kubernetes (k8s) 架設,但是最近的 v1.6版出問題 (Issue #43815),轉而使用 Google Container Engine (k8s v1.5),後來才發現 Google 其實有推出 Cloud Dataproc服務,能直接幫架設好 Hadoop、Spark環境,幾分鐘的時間就能建置完成!

繼續閱讀 “使用 Cloud Dataproc 架設 Hadoop Cluster”

Stackdriver介紹 : 統一GCP與AWS的監控與Log紀錄服務

stackdriver-cover

您的監控好夥伴 – Stackdriver!

Google 於 GCP NEXT 2016 興奮地再次發佈了 Stackdriver 的消息。它提供了rich dashboards, 監控, 警告, log 紀錄分析, 追蹤(tracing), 錯誤回報(error reporting)及生產環境除錯(production debugging) ,是一個跨足了 GCP 及 AWS 的統一性服務。Stackdriver 有效地大幅減少團隊在生產時花費的尋找錯誤及修復錯誤的時間。本篇介紹Stackdriver的好處以及其計價方式:

  • 整合 GCP 與 AWS 的統合介面
  • 多項 GCP 原生整合功能
  • 幫您快速發現並修復問題
  • Stackdriver 計價方式

繼續閱讀 “Stackdriver介紹 : 統一GCP與AWS的監控與Log紀錄服務”