Martech 必看!手把手教學帶您正確的建立行銷資料倉儲 (二)

前導文章:Martech 必看!手把手教學帶您正確的建立行銷資料倉儲 (一)

轉換

本節介紹如何準備分析用的資料,包含清理和重新整理格式以達到資料集的一致性。您希望分析人員能夠在幾乎沒有程式撰寫的情況下清理資料,例如:可自動擴充的分散式環境。

您可以使用 BigQuery 從一個表移轉到另一個表或使用 View 進行批量轉換 。但是對於更進階的轉換,您可能會更喜歡視覺化工具,它以最少的程式需求來處理 pipeline 中數 TB 的資料

假設您有一個字串 key,例如 Other_data 導出到 Campaign Manager 活動表中的字串:

key1=value1&key2=value2&...keyN=valueN

您希望將字串們轉換成表,拆分成數個欄 (column) 和相對應的值。

key1 | key2 | … | keyN
----------------------
val1 | val2 | … | valN

讓 Key 的名稱變成欄 (column) 有助於與其他現存的表連接。這些 key 可以包含自定義信息,例如您的 CRM 用戶 ID,產品列表或追蹤網址成效 (UTM) 資料。

Cloud Dataprep by Trifacta 提供了一個名為 recipes (方案) 的功能,可用於定義轉換。recipes 是一系列在分散式環境執行的工作。

定義 recipe 時,Dataprep 可預覽資料的樣貌。在下面的螢幕截圖中,請注意當儲存轉換後的資料時,它包含新的欄 (column),例如 treatments、products、concerns 和 membership。

Dataprep 還支持各種輸入和輸出源,包括 BigQuery,這使其成為此解決方案的一個好選擇。Dataprep 可以讀取從 Campaign Manager 導入的 BigQuery 資料集,並將結果保存回 BigQuery。

分析

集中保存清理過的資料後,您可以開始分析它。資料存放在 BigQuery 有以下優點:

  • 您可以對此範例 (如:Google 廣告管理系統報告 API 或用戶界面可以處理的內容) 進行更大量的資料查詢。
  • 您可以得到更細微的資料,這些資料不一定能從 UI 或者報表 API 中得到。
  • 您可以將多個來源的資料進行結合運用。

本節的其餘部分介紹了可以使用可用資料執行的操作。該部份分為兩部分:

  • 標準分析需要一些 SQL 的基本知識,主要關注兩種類型的分析:
    • 描述性分析,可查看您的業務中發生的事情。
    • 診斷分析,了解它為什麼會發生。
  • 基於機器學習的分析 (可能需要資料分析師或資料科學家) 可以開啟新的分析,例如:
    • 預測分析,藉由歷史資料預測結果。
    • 指導分析,預測結果並準備您的策略。

標準分析

與廣告相關的產品每天可以產生 GB 等級或者甚至 TB 等級的日誌資料,這可能很難分析。制式的報告工具​​有時會限制可以查詢的維度,無法提供正確的連接,或者根本無法查詢所有可用的原始資料,而是提供統計值。

描述性和診斷性分析通常需要資料探索,這意味著對大量的資料進行查詢。這樣的工具需要可擴展的架構。但是,建構如此基礎設施並限縮在又限成本是很困難的,尤其是在技術資源有限的情況下。一種解決方案是使用 BigQuery。BigQuery 是一個儲存和查詢引擎,可以在幾秒鐘而不是幾分鐘或幾小時內運行數 TB 的資料查詢,無需設置伺服器。

在 BigQuery 中運行查詢的最簡單方法是使用互動式介面查詢資料頁面 描述了其他可用選項。

進階分析和豐富分析結果

如果您的技術更為熟練或團隊中有資料分析師或科學家,請嘗試運行預測算法以獲取額外的知識,然後將這些知識重新提取到資料集中。一些常見的任務包括:

  • 通過使用非監督式機器學習 (Unsupervised Machine Learning) 為相似的客戶進行分群。
  • 使用回歸分析預測銷售數量或客戶 LTV
  • 進行產品情感分析, 像是可以用客戶對產品的評論。

雖然演算法在機器學習中很重要,但良好預測的關鍵是模型訓練資料的質與量。BigQuery 獲取資料後,您需要以下內容:

  • 一種互動式工具,可以串連各種 GCP 組件以簡化資料科學家的工作。
  • 一個機器學習平台,可以以最小的維運成本進行大規模運行訓練和預測。

AI Platform 可以採取託管和可擴充的方式運行 TensorFlow 模型,用於訓練和預測,同時添加 Hyperparameter 調整等功能。Tensorflow 是由 Google 主導發佈的開源 (OSS) 數值處理函式庫。

Cloud Datalab 提供 Jupyter Notebooks 作為一項服務,具有連接到 GCP 產品 (如:BigQueryCloud Storage 或 AI 平台) 或 Perception API (如:Cloud Natural Language) 的附加功能。資料科學家可以使用 Cloud Datalab 運行交互式分析會話,並在所有這些產品之間連接點。Cloud Datalab 包括其他標準函式庫,如 NumPyPandas

例如,通過 Cloud Datalab,您可以使用自然語言預測來進行一些情感分析。直方圖顯示大多數客戶對產品、品牌或兩者皆保持積極態度。

x = pd.Series(df.avg_sentiment, name="sentiment")
fig, ax = plt.subplots()
ax.set_title("Avg. Sentiment For All Products")
ax = sns.distplot(x, ax=ax)

視覺化

您可能會發現在 BigQuery UI 中編寫 SQL 查詢或在 Notebook 中編寫 Python 代碼很麻煩。參考下列例子:

  • 某位經理需要快速存取並可互動的儀表板。
  • 一個技術知識有限的分析師需要對資料進行細分。

借助 Google Data Studio,您可以從頭開始或使用預配置的模板快速建立可共享的商務儀表板。這種方法有幾個優點:

  • 可以透過像是拖放的操作建立圖表與瀏覽資料。
  • 分享功能讓使用者可以透過協作完成更有意意的報表。
  • 它使您可以與決策者共享預先建立的儀表板。

以下範例顯示來自多個來源的資料。

  • 在左側的中間行,您可以看到 Google Analytics 360 報表,右側是 Campaign Manager。
  • 在上方第一行中心欄 (column) 中,藍點圖顯示了針對 LTV 繪製的客戶參與度 (customer engagement)。

注意:Data Studio 不是與 BigQuery 中的資料交互的唯一選項。

啟用

將原始資料存放在統一並且可以充份使用資料的平台, 讓資料可以透過程式與儀表板存取, 這讓許多營銷決策成為可能。例如:

  • 針對「頻率對每個用戶在每個廣告中的轉換影響」進行描述性分析:
    有了這項資訊就可以針對不同的用戶列表,投以不同頻率的再行銷廣告。BigQuery 可以存取原始 Campaign Manager 資料的特性,讓我們可以取得這項資訊。
  • 診斷分析,用以了解廣告系列和網站行為對您的銷售的影響:
    要啟用這些分析,可以用資料表的 ID 和 SQL JOIN 語法來進行大量資料間的串聯。
  • 針對特定用戶的LTV預測分析:
    通過預測特定用戶組的價值,您可以運行營銷活動來增加銷售額。一個例子是上圖中的藍點圖,您可能會發現,如果用戶更加投入,那麼品牌參與度有限的一組用戶具有很高的購買潛力。您可以通過加入資料和使用機器學習來構建客戶群並預測LTV金額來獲得這種洞察能力。
  • 對產品情感的規定性分析:
    通過分析文字評論和評比隨時間的演變,您可以通過預測特定用戶組將如何接收具有某些特徵的產品來幫助預防產品定位不精確。例如,您可以使用情感分析和客戶分群來完成此任務。

(原文翻譯自 Google Cloud。)

 

 

相關文章

Martech 必看!手把手教學帶您正確的建立行銷資料倉儲 (一)

告訴你怎麼使用 BigQuery與 Data Studio 分析銷售數據

【雲端金融應用】使用 BigQuery 和 Cloud Datalab 分析金融時間序列


連絡「GCP 專門家」