【GCP 教學】如何快速將資料從 AWS S3 搬遷到 GCP Storage?

簡單幾步驟帶您快速把資料從 AWS 搬遷到 GCP

作者:Rick
本文轉載自:Complete Think

工作流程

1. 在 AWS 建立 IAM User & Access Key
2. 在 Cloud Storage 建立 Bucket
3. 設定 Transfer Job

1. 建立 IAM User & Access Key

Google Cloud Storage 提供 Transfer Job 快速匯入資料,其中最方便的就是從 AWS S3 傳資料,首要步驟提供 Access Key,讓 Cloud Storage 執行 Job.
1. 建立 IAM User
2. 設定 IAM Policy,這邊設定 AmazonS3ReadOnlyAccess 這個權限
3. 產生一組 Access Key 和 Secret Key

1.1 AWS Console -> Services -> IAM -> Add User

建立一個 IAM User,提供傳輸資料。

1.2 設定 IAM User 類型

這裡 IAM User 範例名稱為: aws-s3-to-gcp,需要 Access Key,所以 Access Type 選擇 Programmatic access

1.3 設定 IAM Policy

使用 AWS 預設的 Policy:
1. 選擇 Attach existing policies directly
2. 搜尋 S3
3. 選擇 AmazonS3ReadOnlyAccess. 如果要允許傳輸完畢之後,刪除 Object,那就選擇 AmazonS3FullAccess

1.4 確認 IAM 設定

1.5 建立 IAM 帳號,取得 Access Key

建立 IAM 帳號,把 Access Key 和 Secret Access Key 存下來。

注意:Secret Access Key 只能看到一次,畫面關閉後,不能再查閱。

2. 在 Cloud Storage 建立 Bucket

2.1 GCP Console -> Storage -> Browser

在 GCP Console 找到 Storage

2.2 建立 Bucket

以下為範例:

  • Bucket Name: aws-gtcafe-us-east-2-temp-data
  • Default Storage Class: Regional
  • Regional Location: us-east-1

關於 Cloud Storage 簡單的介紹,請參閱 Experience GCP#Cloud Storage 的簡介。

3. 設定 Transfer Job

3.1 GCP Console -> Storage -> Transfer

3.2 Select Source

填入 S3 資訊:
• Bucket Name
• Access Key
• Secret Access Key

3.2 Select Destination

選擇目標,這邊範例為 aws-gtcafe-us-east-2-temp-data。

如果想設定移轉完成後,刪除來源的 Object (如下圖),那 IAM Policy 就要選AmazonS3FullAccess

3.3 Config Transfer

設定傳輸的週期,一次性、還是固定週期。設定完成後就會開始從 S3 傳資料到 Cloud Storage。

Compare Google Cloud Storage and AWS S3

下圖是 Google Cloud Platform for AWS Professionals: Storage  比較 Cloud Storage 和 S3。

我覺得兩者的一些差異:
1. Cloud Storage 支援 Multi-regional,不需要管要從哪一個 region 複製。S3 則需要透過 Cross region replication 但是有點麻煩。
2. Cloud Storage 的 UI 反應很快,可以快速刪除整個 Bucket,使用感覺不錯。S3 UI 其實不怎麼好用,像是無法刪除整個 Bucket ,而是要透過 CLI 下 –recursive 才行。

延伸閱讀

• Experience GCP
• Study Notes – AWS S3

參考資料

• Google Cloud Storage
• Amazon Simple Storage Service (S3) » Developer Guide
• Google Cloud Platform for AWS Professionals: Storage 

 


iKala - GCP 專門家

GCP 專門家,Google Cloud 首席合作夥伴暨代理商,協助逾 200 家企業使用 Google Cloud,客戶廣布遊戲、媒體、數據廣告、電商、金融等多種產業。我們擁有超過 30 位技術人員,更通過 Google 原廠雲端架構師及資料工程師認證,具備第一手 GCP 產品開發及導入經驗,能提供您紮實的客製化技術服務。

我們提供了多項的 GCP 加值服務:

了解更多: https://gcp.expert/
加入我們: https://goo.gl/rg9D3Q
Facebook Fan Page: https://www.facebook.com/gcp.expert/
聯絡我們:+886 2 87681110 或請來信 gcp@ikala.tv