[GCP] AWS S3에서 GCP Cloud Storage로 이전하기

AWS에서 GCP로 이전하는 작업 중에서 Bucket을 어떻게 옮겨야하나 고민이 많았다. 프로그램을 작성해야하나 고민 했지만 GCP에서는 손쉽게 이전 할 수 있는 방법을 제공하고 있다.

개인적으로 GCP의 문서들은 보기 어렵다고 생각되는데 이번 가이드 만큼은 아주 쉬워서 따라하기에 무리가 없었다.

1. AWS 작업하기

1.1 CloudFront 배포 생성 🌐

 

🌟🌟AWS CloudFront는 콘텐츠 전송 네트워크(CDN, Content Delivery Network) 서비스로 전 세계에 분산된 엣지 로케이션(Edge Location)을 활용해서 웹 콘텐츠(이미지, 동영상, HTML, CSS, API 응답 등)를 빠르고 안전하게 전달하는 역할을 한다.

 

CloudFront를 이용해 S3 데이터를 배포하려면 아래 단계를 따르면 된다.

1. ✅ Origin domain에서 이전할 S3 버킷을 선택(이름은 자동으로 선택됨)
2. ✅ 기본 설정을 유지한 채, 캐시 정책과 원본 요청 정책을 변경
   • 캐시 정책: CashingDisabled
   • 원본 요청 정책: AllViewerExceptionHostHeader

1.2 Access Key 생성 🔑

1. AWS IAM 콘솔 이동

AWS에서 인증을 위한 방법은 여러 가지가 있지만, 나는 제일 쉬워보이는 Access Key 방식을 사용 했다

https://us-east-1.console.aws.amazon.com/iam/home?region=us-east-1#/security_credentials

https://us-east-1.console.aws.amazon.com/iam/home?region=us-east-1#/security_credentials

2.새 Access Key를 생성하여 저장

 

2. GCP 작업하기

2.1 Storage Transfer 이동

GCP에서 Storage Transfer 서비스를 이용하여 AWS에서 데이터를 이전할 수 있다.

 

2.2 작업 시작하기

- 소스 유형 : Amazon S3

- 대상 위치 유형 : Google Cloud Storage

- 예약모드 : 선택 (필요에 따라 스케줄 설정 가능)

2.3 소스 선택 📌

- AWS S3 관련 정보를 입력한다.

- 앞서 생성한 CloudFront 도메인과 Access Key 입력

2.4 대상 위치 선택

- GCP Bucket 을 선택한다.

2.5 작업 실행 시점 선택

- 즉시 실행하거나 예약 실행 할 수 있다.

2.6 설정 선택 

- 전송 방식, 파일 필터링 등의 추가 설정을 진행

2.7 작업 생성 

- 만들기를 클릭 하면 아래와 같이 전송 작업에 작업이 생성 된 것을 확인 할 수 있다.

 

 

3. 오류 발생 시 해결 방법

작업이 실패한 경우 아래 방법으로 원인을 확인할 수 있다.

1. 해당 작업을 클릭하여 '작업' 탭으로 이동
2. 실행 기록에서 오류 항목을 확인
3. '오류 세부정보 보기'를 클릭하여 실패 원인을 분석

실행 세부 정보

 

오류 세부 정보

 

 

📌 참고자료

https://cloud.google.com/storage-transfer/docs/s3-cloudfront?hl=ko

CloudFront를 통해 S3에서 전송  |  Cloud Storage Transfer Service Documentation  |  Google Cloud