新型資料倉儲搬遷服務:傳統資料倉儲為什麼要搬遷到 Google Cloud BigQuery

Google Cloud 宣佈了一項資料倉儲遷移服務,讓符合資格的客戶能夠更輕鬆地將傳統資料倉儲 (例如:Teradata、Netezza) 搬遷到 Google Cloud BigQuery,不必再擔心維運相關事務。

過去數十年來,企業一直仰賴自身的資料倉儲來收集和儲存其最有價值的數據。但是,傳統的資料倉儲建置成本昂貴,缺乏靈活性且難以維護,而且對於許多人來說,它們已無法滿足當今的業務需求。現在企業需要的是一種簡單、具擴展性的方式來儲存所有數據,並利用進階分析工具來幫助他們找到有價值的洞見。因此,越來越多人開始使用 BigQuery 等雲端數據倉庫做為解決方案。 繼續閱讀 “新型資料倉儲搬遷服務:傳統資料倉儲為什麼要搬遷到 Google Cloud BigQuery”

為什麼要用 Data lake?淺談企業自建資料湖泊的關鍵因素

企業因應數位化紛紛加速轉型動作。iThome 在 2019 臺灣企業雲端大調查中發現,台灣已有 6 成的企業在推動數位轉型,各產業皆然,另外也有 25% 企業認為有必要推動但尚未執行。這一波數位轉型浪潮來自網路的全面化;無時無刻連網的情境帶動了行動、O2O 等各種全新商業模式;而數據量暴增,也迫使傳統企業思考如何藉由數據與科技提高用戶忠誠度、改善消費體驗、提升內部效率。

大數據分析、AI 技術藉此快速竄起;例如近幾年行銷領域很紅的 Martech(行銷科技),就是透過科技與改善人為判斷的偏誤,改以數據導向、機器學習驅來優化廣告行銷成效。但是,暴增的數據要如何有效整合運用?企業又要有多深的口袋才能做到? 繼續閱讀 “為什麼要用 Data lake?淺談企業自建資料湖泊的關鍵因素”

讓搬遷變簡單!如何輕鬆將 Redshift 搬遷至 BigQuery

企業數據倉儲往往牽涉到大量的數據,在維護成本越來越高的情況之下,傳統使用的數據倉儲難以擴展,如果需要快速獲取數據洞察力,技術團隊只能使用已明顯無法滿足需求的既有舊工具來管理數據。因此企業逐漸將數據倉儲搬遷至雲端,享用雲端所提供的速度、高擴展性、進階分析。

於是 Google 推出了 BigQuery 數據傳輸服務,自動化的將數據搬遷到 BigQuery,您可以在不編寫任何程式碼的情況之下,為雲端數據倉儲建立良好的基礎架構。Google 還新增了透過 BigQuery 數據傳輸服務將數據和 schema 從 Teradata 和 S3 移動到 BigQuery 的功能。為了幫助企業更加善用 BigQuery,Google 新增了將數據從 Amazon Redshift 將資料搬遷至 BigQuery 的服務 (此項服務尚在 beta 中)。 繼續閱讀 “讓搬遷變簡單!如何輕鬆將 Redshift 搬遷至 BigQuery”

資料倉儲、資料湖泊與 DMP 介紹與比較

數位轉型趨勢下,企業蒐集的資料量體越來越大,來源、格式與應用也漸趨多元。因應此一趨勢,企業的資料架構與管理思維也不斷在演進。

以往各單位彼此獨立蒐集資料,為解決這種「資料孤島」的問題,開始有「資料倉儲」集中式儲存企業各個部門的資料。而隨著近年資料科學與大數據興起,資料集延伸,企業逐漸希望由大量未經處理的原始資料 (raw data) 開始著手,也因而有了「資料湖泊」的概念產生。

本文分別針對常見的資料倉儲 (Data Warehouse)、資料湖泊 (Data Lake) 與數位廣告應用常見的 DMP (Data Management Platform) 比較差異。
繼續閱讀 “資料倉儲、資料湖泊與 DMP 介紹與比較”

Martech 必看!手把手教學帶您正確的建立行銷資料倉儲 (二)

前導文章:Martech 必看!手把手教學帶您正確的建立行銷資料倉儲 (一)

轉換

本節介紹如何準備分析用的資料,包含清理和重新整理格式以達到資料集的一致性。您希望分析人員能夠在幾乎沒有程式撰寫的情況下清理資料,例如:可自動擴充的分散式環境。

您可以使用 BigQuery 從一個表移轉到另一個表或使用 View 進行批量轉換 。但是對於更進階的轉換,您可能會更喜歡視覺化工具,它以最少的程式需求來處理 pipeline 中數 TB 的資料

繼續閱讀 “Martech 必看!手把手教學帶您正確的建立行銷資料倉儲 (二)”