異動資料擷取:如何將資料從 MySQL 搬移到 BigQuery?

在串流分析日益普及的世代,優化資料處理以降低成本,並確保數據品質及完整性是相當重要的。方法之一就是,只專注於處理更動的數據,而非所有可用的數據,而這就是異動資料擷取 (CDC) 派上用場的地方。CDC 就是實現此種優化方法的技術。

Dataflow 的開發人員(Google Cloud 的串流數據處理服務)開發了一個解決方案,可讓用戶從 5.6 版本或更高版本的任何 MySQL 資料庫(自行管理、內部部署等)中接收更動的串流,並同步到 BigQuery 的資料集。Google 在 Dataflow 模板的公開數據庫上提供了解決方案。您可以在 GitHub 數據庫的 README 部分找到有關使用模版的指南。

繼續閱讀 “異動資料擷取:如何將資料從 MySQL 搬移到 BigQuery?”

Google Cloud Platform 是什麼?GCP 產品介紹一覽表

Google Cloud Platform (GCP) 是 Google 在雲端提供的服務名稱,讓您能夠在雲端上使用與 Google 相同的技術和基礎架構,預先準備好各式服務的基本元件,讓您能夠快速上手開發及使用。

Google Cloud Platform (GCP) 提供的服務

以下為 Google Cloud Platform (GCP) 提供的主要服務。 繼續閱讀 “Google Cloud Platform 是什麼?GCP 產品介紹一覽表”

拆解雲端 Message Service:Google Cloud Pub/Sub vs. AWS SQS 優劣分析

最近有機會在 GCP 上開發分散式的系統,透過 GCP Cloud Pub/Sub 來解決我們系統上的瓶頸,於是整理了有關 Pub/Sub 的使用心得與經驗,同時與過去使用 Amazon Simple Queue Service (SQS) 比較。 繼續閱讀 “拆解雲端 Message Service:Google Cloud Pub/Sub vs. AWS SQS 優劣分析”