使用 Cloud Dataproc 架設 Hadoop Cluster

dataproc

最近收到任務,希望在 Hadoop Cluster上面跑 Apache log的分析案例,雖然之前已經架設過環境,但是純手工真的不是件容易事,遇到版本衝突、網路沒設好之類的問題會讓人一個頭兩個大。認真覺得裝(懂)過一次,了解 Hadoop的安裝方式就可以了,為了快速完成目標,就直接用現成的雲端服務,開一個 Hadoop Cluster。

原本想用 Kubernetes (k8s) 架設,但是最近的 v1.6版出問題 (Issue #43815),轉而使用 Google Container Engine (k8s v1.5),後來才發現 Google 其實有推出 Cloud Dataproc服務,能直接幫架設好 Hadoop、Spark環境,幾分鐘的時間就能建置完成!

繼續閱讀 “使用 Cloud Dataproc 架設 Hadoop Cluster”

【.NET專欄】ASP.NET Core MVC play with Google App Engine – Standard Environment

ASP.NET

先前為大家介紹了Google Cloud Platform,這次將介紹如何實際將ASP.NET Core MVC專案放置在Google App Engine(GAE)的Standard環境運行。

先前分享過一篇Google Cloud Platform Introduction為大家介紹了整個GCP家族的架構與建立一個基本的 Google Compute Engine 並在上面透過 Virtual Machine(VM)的方式運行的Windows Server + IIS + ASP.NET Framework的網頁應用程式。

不同於前一篇我們使用VM的方式將應用程式環境整個架設起來,我們這次將透過 Google Cloud Shell 與 Google App Engine(GAE) 架設一個輕量環境的 ASP.NET Core 網頁應用程式。

繼續閱讀 “【.NET專欄】ASP.NET Core MVC play with Google App Engine – Standard Environment”

【K8S專欄】Kubernetes Service 介紹

k8s-service-pod-access

前言

由於 Kubernetes 的 Deployment 帶來便利性,讓開發者能夠在短時間內於多個節點上部署撰寫好的各種不同應用(application)。但該如何讓使用者能夠存取位於 Pod 上的應用,而無需考慮到不同節點的問題呢?

Service 正是 Kubernetes 解決此問題的關鍵,因此接下來文章將會為各位介紹 Kubernetes Service 的基本概念。

繼續閱讀 “【K8S專欄】Kubernetes Service 介紹”