異動資料擷取:如何將資料從 MySQL 搬移到 BigQuery?

在串流分析日益普及的世代,優化資料處理以降低成本,並確保數據品質及完整性是相當重要的。方法之一就是,只專注於處理更動的數據,而非所有可用的數據,而這就是異動資料擷取 (CDC) 派上用場的地方。CDC 就是實現此種優化方法的技術。

Dataflow 的開發人員(Google Cloud 的串流數據處理服務)開發了一個解決方案,可讓用戶從 5.6 版本或更高版本的任何 MySQL 資料庫(自行管理、內部部署等)中接收更動的串流,並同步到 BigQuery 的資料集。Google 在 Dataflow 模板的公開數據庫上提供了解決方案。您可以在 GitHub 數據庫的 README 部分找到有關使用模版的指南。

繼續閱讀 “異動資料擷取:如何將資料從 MySQL 搬移到 BigQuery?”

[GCP FAQ 集錦] Google Cloud SQL 常見問題指南

Cloud SQL 為 GCP 全代管的關聯式資料庫服務,可以協助用戶輕鬆在雲端建立、維護和管理 PostgreSQL、MySQL 和 SQL Server 資料庫。以下是許多用戶在使用上常遇到的問題。

常見問題

Q:Cloud SQL 一年維護幾次?
A:依照 iKala 我們自己使用的經驗,目前是一季 (三個月) 會有一至兩次的例行性維護,但是官方並沒有表明是幾次。

Q:是否可以設定不要維護?
A:例行維護是強制的,不可以不啟用,但可以自訂維護時段。定期維護是因為 GCP 需要確保 Cloud SQL 執行個體更新最新的 security patch。 繼續閱讀 “[GCP FAQ 集錦] Google Cloud SQL 常見問題指南”

如何透過 VPC 將資料從 AWS S3 搬遷至 Google Cloud Storage

我們的雲端儲存移轉服務可以讓您安全的將資料從 Amazon S3 傳輸到 Google Cloud Storage 中。為了使用 GCP 的服務,客戶將 PB 量級的資料從 S3 移轉至 Cloud Storage 中,並希望可以強化此傳輸服務。使用 VPC Service ControlsGCP 上針對敏感資料定義安全邊界的一個服務,增加一層或多層的安全防護,讓您更安全的移轉資料。

讓我們來看看如何使用 VPC Service Controls 安全的將資料傳輸至 Cloud Storage 中。在這個範例中,我們會爲 service account 制定一個簡單版的 VPC Service Control rule,如果您需要更多功能,也可以將他設定的複雜些。如果您想了解更多應用案例,VPC Service Control 相關文件會有更多進階 rules 的介紹。這裡可以看到一些實作範例。 繼續閱讀 “如何透過 VPC 將資料從 AWS S3 搬遷至 Google Cloud Storage”

認識 Cloud Firestore:Cloud Native NoSQL 資料庫完整介紹

簡介

Cloud Firestore 是一個快速、完全託管、Cloud Native 的 NoSQL 資料庫。適用於在 Firebase 和 GCP 上進行手機 App、網頁和後端開發。Cloud Firestore 目前已 GA 而且已佈署在更多地區,並且支援多種語言,包括:Swift、Java、Go、Python、Node.js 等。 繼續閱讀 “認識 Cloud Firestore:Cloud Native NoSQL 資料庫完整介紹”