讓搬遷變簡單!如何輕鬆將 Redshift 搬遷至 BigQuery

企業數據倉儲往往牽涉到大量的數據,在維護成本越來越高的情況之下,傳統使用的數據倉儲難以擴展,如果需要快速獲取數據洞察力,技術團隊只能使用已明顯無法滿足需求的既有舊工具來管理數據。因此企業逐漸將數據倉儲搬遷至雲端,享用雲端所提供的速度、高擴展性、進階分析。

於是 Google 推出了 BigQuery 數據傳輸服務,自動化的將數據搬遷到 BigQuery,您可以在不編寫任何程式碼的情況之下,為雲端數據倉儲建立良好的基礎架構。Google 還新增了透過 BigQuery 數據傳輸服務將數據和 schema 從 Teradata 和 S3 移動到 BigQuery 的功能。為了幫助企業更加善用 BigQuery,Google 新增了將數據從 Amazon Redshift 將資料搬遷至 BigQuery 的服務 (此項服務尚在 beta 中)。 繼續閱讀 “讓搬遷變簡單!如何輕鬆將 Redshift 搬遷至 BigQuery”

如何透過 VPC 將資料從 AWS S3 搬遷至 Google Cloud Storage

我們的雲端儲存移轉服務可以讓您安全的將資料從 Amazon S3 傳輸到 Google Cloud Storage 中。為了使用 GCP 的服務,客戶將 PB 量級的資料從 S3 移轉至 Cloud Storage 中,並希望可以強化此傳輸服務。使用 VPC Service ControlsGCP 上針對敏感資料定義安全邊界的一個服務,增加一層或多層的安全防護,讓您更安全的移轉資料。

讓我們來看看如何使用 VPC Service Controls 安全的將資料傳輸至 Cloud Storage 中。在這個範例中,我們會爲 service account 制定一個簡單版的 VPC Service Control rule,如果您需要更多功能,也可以將他設定的複雜些。如果您想了解更多應用案例,VPC Service Control 相關文件會有更多進階 rules 的介紹。這裡可以看到一些實作範例。 繼續閱讀 “如何透過 VPC 將資料從 AWS S3 搬遷至 Google Cloud Storage”

拆解雲端 Message Service:Google Cloud Pub/Sub vs. AWS SQS 優劣分析

最近有機會在 GCP 上開發分散式的系統,透過 GCP Cloud Pub/Sub 來解決我們系統上的瓶頸,於是整理了有關 Pub/Sub 的使用心得與經驗,同時與過去使用 Amazon Simple Queue Service (SQS) 比較。 繼續閱讀 “拆解雲端 Message Service:Google Cloud Pub/Sub vs. AWS SQS 優劣分析”

IBM Watson 及其他 AI 解決方案 – Google vs Amazon vs Microsoft AI 比較大全 (五)

IBM 及其他 AI 服務 – Google, Microsoft 和 Amazon 機器學習比較系列 (五)

在前幾篇文章,我們為 Google, Amazon, Microsoft 的機器學習服務都提供了相當詳細的說明,來啟動機器學習實作,並在公司基礎架構中部署經過訓練的模型。還有一些其他來自新創公司的 ML-as-a-service 解決方案,並受到 PredicSisBigML 等數據科學家的認可。那知名的 IBM Watson Analytics 呢? 繼續閱讀 “IBM Watson 及其他 AI 解決方案 – Google vs Amazon vs Microsoft AI 比較大全 (五)”