異動資料擷取:如何將資料從 MySQL 搬移到 BigQuery?

在串流分析日益普及的世代,優化資料處理以降低成本,並確保數據品質及完整性是相當重要的。方法之一就是,只專注於處理更動的數據,而非所有可用的數據,而這就是異動資料擷取 (CDC) 派上用場的地方。CDC 就是實現此種優化方法的技術。

Dataflow 的開發人員(Google Cloud 的串流數據處理服務)開發了一個解決方案,可讓用戶從 5.6 版本或更高版本的任何 MySQL 資料庫(自行管理、內部部署等)中接收更動的串流,並同步到 BigQuery 的資料集。Google 在 Dataflow 模板的公開數據庫上提供了解決方案。您可以在 GitHub 數據庫的 README 部分找到有關使用模版的指南。

閱讀全文〈異動資料擷取:如何將資料從 MySQL 搬移到 BigQuery?〉

2019 下半年回顧:Google Cloud Dataflow SQL 釋出、Apigee hybrid 正式 GA

Google Cloud Next‘19 UK 剛於年底落幕,本篇文章將讓您快速瀏覽 Google Cloud 近期推出的重大功能及亮點。

搬遷、管理、現代化基礎架構

基礎架構是您的 IT 環境以及 Google Cloud 的基礎。先前 Google 推出了最新的通用型和負載優化型虛擬機系列,這意味著您可以搬遷和執行更多的應用程式,包括 3A 級遊戲、HPC 甚至是 SAP HANA。最近 Google 發布了許多功能能夠幫助您更快、更高效地使用它強固的網路基礎架構。 閱讀全文〈2019 下半年回顧:Google Cloud Dataflow SQL 釋出、Apigee hybrid 正式 GA〉

Google Cloud Platform 是什麼?GCP 產品介紹一覽表

Google Cloud Platform (GCP) 是 Google 在雲端提供的服務名稱,讓您能夠在雲端上使用與 Google 相同的技術和基礎架構,預先準備好各式服務的基本元件,讓您能夠快速上手開發及使用。

Google Cloud Platform (GCP) 提供的服務

以下為 Google Cloud Platform (GCP) 提供的主要服務。 閱讀全文〈Google Cloud Platform 是什麼?GCP 產品介紹一覽表〉

機器學習與結構化數據(1):數據分析和準備

在本教程中,您將探索一個結構化數據集,然後為機器學習 (ML) 模型創建訓練和評估數據集。 這是一系列教程中的第一部分; 您可以繼續第二部分:訓練模型第三部分:部署 Web 應用程序

您可以使用 Google Cloud Platform (GCP) 的 Cloud Datalab 進行數據探索,並使用 Cloud Dataflow 來創建您的數據集。作為資料來源的數據集儲存在 BigQuery 中。

以下是教程的架構: 閱讀全文〈機器學習與結構化數據(1):數據分析和準備〉