異動資料擷取:如何將資料從 MySQL 搬移到 BigQuery?

在串流分析日益普及的世代,優化資料處理以降低成本,並確保數據品質及完整性是相當重要的。方法之一就是,只專注於處理更動的數據,而非所有可用的數據,而這就是異動資料擷取 (CDC) 派上用場的地方。CDC 就是實現此種優化方法的技術。

Dataflow 的開發人員(Google Cloud 的串流數據處理服務)開發了一個解決方案,可讓用戶從 5.6 版本或更高版本的任何 MySQL 資料庫(自行管理、內部部署等)中接收更動的串流,並同步到 BigQuery 的資料集。Google 在 Dataflow 模板的公開數據庫上提供了解決方案。您可以在 GitHub 數據庫的 README 部分找到有關使用模版的指南。

繼續閱讀 “異動資料擷取:如何將資料從 MySQL 搬移到 BigQuery?”

[完整介紹] Google Cloud BigQuery BI Engine

BigQuery BI Engine 是一個快速且純記憶體操作的資料分析服務。透過使用 BI Engine,BigQuery 的查詢效能可以提升至亞秒級,並且支援高 concurrencyBI Engine 與大家熟悉的 Google 工具 (例如 Google Data Studio) 整合在一起,加速數據的探索和分析。借助 BI Engine,你可以在 Data Studio 中構建內容豐富的互動式 dashboard 和報表,而無需妥協於性能、規模、安全性或資料即時性。 繼續閱讀 “[完整介紹] Google Cloud BigQuery BI Engine”

雲端運算解鎖 AI 潛能!DeNA 用機器學習改善玩家流失

1999 年成立於東京的 DeNA 株式會社是日本最大的網路公司之一。在 DeNA 推出的即時對戰的卡牌遊戲《逆轉奧賽羅尼亞》裡,玩家需要策略性地構築牌組,在超過 3,000 個角色、多種技能中選出 16 個角色。可以想見這款遊戲對新手玩家的門檻之高;新手沒有太多機會練等,該遊戲的複雜度也導致流失率上升。而根據業者評估,流失率與收益多寡有直接相關:降低 30 天流失率能提升 10% 收益。因此,DeNA 使用 AI 為初學者創建了一個牌組推薦系統,並建立一個具有各種原型和實力的智能 AI 玩家來對戰。 繼續閱讀 “雲端運算解鎖 AI 潛能!DeNA 用機器學習改善玩家流失”

Hearst Newspapers:透過雲端機器學習與讀者深度互動

對新聞出版商而言,讓讀者能夠在數位內容上快速且精準取得感興趣的文章和廣告非常重要。以全球最大的大眾媒体出版商之一 ── Hearst 媒體集團旗下的新聞部門 Hearst Newspapers 來說,要將內容妥善分類,曾是非常艱鉅的過程。他們平均每天要分類 3,000 篇新文章,標記和分類都非常耗時,而且編輯團隊為了趕上進度,常常不得不將某些內容優先排序處理,而某些文章不予分類。

繼續閱讀 “Hearst Newspapers:透過雲端機器學習與讀者深度互動”

如何在 BigQuery 查詢並計算 Google Analytics 360 資料 (四)

本篇是此系列文的第三篇,系列文將涵蓋以下列點式的內容,本篇文章則是針對「事件追蹤」、「目標追蹤」、「加強型電子商務(交易)」、「電子商務(產品)」、「加強型電子商務(產品)」進行探討: 繼續閱讀 “如何在 BigQuery 查詢並計算 Google Analytics 360 資料 (四)”