[AWS] S3 스토리지 클래스

BTC_민물공원 — Sun, 10 Sep 2023 00:59:37 +0900

Amazon S3는 데이터 액세스, 복원력 및 비용 요구 사항에 따라 선택할 수 있는 다양한 스토리지 클래스를 제공합니다.

아래와 같이 8개의 스토리지 클래스를 제공합니다.

S3 Standard	자주 액세스하는 데이터의 일반적인 스토리지용
S3 Intelligent-Tiering	액세스 패턴이 바뀌거나 알 수 없는 데이터에 대해 스토리지 등급 간에 객체를 자동으로 이동함으로써 비용 절감
S3 Standard-Infrequent Access(S3 Standard-IA)	장시간 사용하며 액세스 빈도는 낮은 데이터용
S3 One Zone-Infrequent Access(S3 One Zone-IA)	장기간 사용하고 액세스 빈도가 낮으며 가용 영역 하나에 저장할 수 있는 데이터용
S3 Glacier Instant Retrieval	거의 액세스 하지 않지만 복원 시간은 밀리초 단위여야 하는 아카이브 데이터
S3 Glacier Flexible Retrieval	합리적인 비용에 가장 유동적인 검색 옵션을 제공하며 액세스 시간은 몇 분 ~ 몇 시간 범위 서비스 제공 아카이브 데이터
S3 Glacier Deep Archive	클라우드에서 가장 저렴한 스토리지로 장기간 보관해야하는 아카이브 및 디지털 컨텐츠 보존용으로 12시간 이내 객체 보원 가능
S3 Outposts	온프레미스 AWS Outposts 환경에 객체 스토리지를 제공

S3 스토리지 클래스의 성능표

	S3 Standard	S3 Intelligent-Tiering	S3 스탠다드-IA	S3 One Zone-IA	S3 Glacier Instant Retrieval	S3 Glacier Flexible Retrieval	S3 Glacier Deep Archive
내구성을 위한 설계	100.00% (11개의 9)	100.00% (11개의 9)	100.00% (11개의 9)	100.00% (11개의 9)	100.00% (11개의 9)	100.00% (11개의 9)	100.00% (11개의 9)
가용성을 위한 설계	99.99%	99.90%	99.90%	99.50%	99.90%	99.99%	99.99%
가용성 SLA	99.90%	99%	99%	99%	99%	99.90%	99.90%
가용 영역	≥3	≥3	≥3	1	≥3	≥3	≥3
객체당 최소 용량 요금	해당 사항 없음	해당 사항 없음	128KB	128KB	128KB	해당 사항 없음	해당 사항 없음
최소 스토리지 기간 요금	해당 사항 없음	해당 사항 없음	30일	30일	90일	90일	180일
검색 요금	해당 사항 없음	해당 사항 없음	검색한 GB당	검색한 GB당	검색한 GB당	검색한 GB당	검색한 GB당
첫 번째 바이트 지연 시간	밀리초	밀리초	밀리초	밀리초	밀리초	분 또는 시간	시간
스토리지 유형	객체	객체	객체	객체	객체	객체	객체
수명 주기 전환	예	예	예	예	예	예	예

각 스토리지 클래스별 특징

S3 Standard

가장 보편적으로 사용되는 스토리지 타입으로 가장 일반적인 클래스이다.

99.99% 가용성
99.999999999% 내구성

가용성 : 객체에 대한 지속적인 요청을 처리할 수 있는 능력
내구성 : 어떤 조건에서도 데이터가 유지할 수 있는 능력

S3 Intelligent-Tiering

데이터 액세스 패턴이 변화할 때 성능에 대한 영향 및 운영 오버헤드 없이 자동으로 스토리지 비용을 절감하는 클래스이다.

사용 패턴 변화에 따라 데이터가 액세스 티어 간에 이동

등급	액세스 기간	동일 스토리지 비용
Frequent Access	기본 액세스 객체	S3 Standard
Infrequent Access	30일 연속 액세스하지 않은 객체	S3 Standard-IA
Archive Instant Access	90일 연속 액세스하지 않은 객체	S3 glacier Instant Retrieval

S3 Standard - IA (Infrequent Access)

자주 액세스하지 않지만 액세스시 빠른 접근이 요구되는 스토리지 클래스이다.

S3 Standard에 비해 비용은 저렴하나 데이터를 불러올때마다 추가 비용이 발생
128KB보다 작은 객체인 경우 객체 크기 제약이 적용

128KB보다 작은 객체 : 다음과 같은 전환의 경우 Amazon S3는 128KB보다 작은 객체를 전환하지 않습니다.
- S3 Standard 또는 S3 Standard-IA 스토리지 클래스에서 S3 Intelligent-Tiering 또는 S3 Glacier Instant Retrieval로 전환
- S3 Standard 스토리지 클래스에서 S3 Standard-IA 또는 S3 One Zone-IA로 전환

객체를 S3 Standard-IA 또는 S3 One Zone-IA로 전환하기 전에 Amazon S3에 최소 30일 동안 해당 객체를 보관해야 합니다.

S3 One Zone - IA (Infrequent Access)

기본적으로 S3 Standard - IA 와 같지만 하나의 AZ(Availability zone)에만 데이터를 저장하는 클래스이다.

덜 중요하고 자주 사용되지 않는 데이터를 저장하는데 적합
하나의 AZ에만 저장함으로 가용영역에 문제가 생길 경우 데이터가 삭제될 위험이 존재
S3 Standard - IA 와 트래픽 요금은 동일하지만 저장요금은 20% 가량 저렴

S3 Glacier Instant Retrieval

S3 Standard 및 S3 Standard-IA 스토리지 클래스와 동일한 짧은 지연 시간 및 높은 처리량 성능을 갖춰 아카이브 스토리지에 가장 빠르게 액세스할 수 있는 클래스이다.

밀리초 단위의 검색시간, 분기당 한번 액세스에 적합
S3 Standard - IA 보다 최대 68% 더 저렴한 비용

S3 Glacier Flexible Retrieval

즉각적인 액세스가 필요하지 않지만 대규모 데이터를 무료로 검색할 수 있는 유연성이 필요한 아카이브 데이터 스토리지 클래스이다.

수 분 ~ 몇 시간(최대 12시간)의 검색 시간, 연간 1~2회 액세스에 적합
S3 Glacier Instant Retrieval 보다 최대 10% 더 저렴한 비용

신속 검색	1 ~ 5분 내에 복원
표준 검색	3 ~ 5시간 내에 복원
대량 검색	5 ~ 12시간 내에 복원 및 추가 요금 없이 이용 가능

S3 Glacier Deep Archive

클라우드에서 가장 저렴한 스토리지로 장기간 보관해야하는 아카이브 및 디지털 컨텐츠 보존용으로 사용하는 스토리지 클래스이다.

12 ~ 48시간의 검색 시간, 연 1회 미만 액세스에 적합
가장 저렴한 스토리지

기존에는 S3 Glacier 데이터를 복원하여도 Amazon Athena를 사용하여 쿼리를 할 수 없었다. 이로 인해 S3 Standard 스토리지 클래스에 데이터를 복사하여 쿼리해야했다. 이제는 이러한 번거로움 없이 AWS에서 2023.06.29 부터 복원된 S3 Glacier 데이터에 대해 쿼리 기능을 지원하게 되었다.

S3 Outposts

데이터를 Outpost의 버킷 내 객체로 저장하는 객체 스토리지 클래스이다.

AWS Outpost란?
온프레미스 환경에서\도 AWS의 클라우드 기능을 사용할 수 있도록 지원합니다. 실제 AWS 하드웨어를 온프레미스 데이터 센터나 설비에 배치하여 사용하는 형태입니다. AWS가 설비와 유지관리를 풀매니지드 형태로 제공해줍니다. 특정 AWS 리전의 일부로 설정될 수 있으며, 해당 리전의 가용 영역(Availability Zone)와 유사한 환경을 제공합니다.

S3 스토리지 클래스 객체 전환

Amazon S3 는 스토리지 클래스 간 전환을 위해 폭포형(Waterfall) 모델을 지원한다. 이로 인해 아래쪽의 클래스는 위쪽의 클래스로의 전환이 불가능하다.

S3 스토리지 클래스 실전 연습

1. 자주 사용하지 않는 객체(데이터)가 있어 비용절감을 위해 Standard 에서 S3 Standard-IA 스토리지로 전환한다고 가정한다.

전환하고 싶은 객체를 선택 후 [작업] 메뉴에서 [스토리지 클래스 편집] 버튼을 누른다.

변경을 원하는 스토리지 클래스를 선택 후 [변경 사항 저장] 버튼을 누른다.

2. S3 Glacier Deep Archive로 보관중인 객체를 Standard 클래스로 변경하고자 한다.

복원하고 싶은 객체를 선택 후 [작업] 메뉴에서 [복원 시작] 버튼을 누른다.

복원된 사본을 원하는 사용 일 수를 적은 후 [복원 시작] 버튼을 누른다.

해당 객체 콘솔 화면에서 복원이 진행 중임을 알 수 있다.

복원이 완료되면 AWS CLI를 통해 객체 덮어쓰기를 이용하여 Standard로 전환한다.

1) S3의 임시 폴더로 Glacier 객체 복사

aws s3 cp s3://your-bucket-name/your-object-name.obj s3://your-temp-bucket-name/ --force-glacier-transfer

2) 복사한 객체로 Glacier 데이터 덮어쓰기

aws s3 cp s3://your-temp-bucket-name/your-object-name.obj s3://your-bucket-name/

3) 임시 생성 파일 삭제

aws s3 rm s3://your-temp-bucket-name/ --recursive

해당 객체를 Standard로 변경하였다.

Amazon S3 요금

[스토리지 요금]

리전 : 아시아 태평양(서울)

	스토리지 요금
S3 Standard - 모든 데이터 유형에 적합한 범용 스토리지로, 대개 자주 액세스하는 데이터에 사용됨
처음 50TB/월	GB당 0.025 USD
다음 450TB/월	GB당 0.024 USD
500TB 초과/월	GB당 0.023 USD
S3 Intelligent - Tiering - 액세스 패턴을 알 수 없거나 액세스 패턴이 변경되는 데이터에 대해 자동 비용 절감 효과 제공
모니터링 및 자동화, 모든 스토리지/월(객체 > 128KB)	객체 1,000개당 0.0025 USD
Frequent Access 티어, 처음 50TB/월	GB당 0.025 USD
Frequent Access 티어, 다음 450TB/월	GB당 0.024 USD
Frequent Access 티어, 500TB/월 초과	GB당 0.023 USD
Infrequent Access 티어, 모든 스토리지/월	GB당 0.0138 USD
Archive Instant Access 티어, 모든 스토리지/월	GB당 0.005 USD
S3 Intelligent - Tiering - 선택적 비동기 Archive Access 티어
Archive Access 티어, 모든 스토리지/월	GB당 0.0045 USD
Deep Archive Access 티어, 모든 스토리지/월	GB당 0.002 USD
S3 Standard - Infrequent Access - 라이브인 상태가 오래되었지만 밀리초 단위 액세스 성능이 요구되는 자주 액세스하지 않는 데이터용
모든 스토리지/월	GB당 0.0138 USD
S3 One Zone - Infrequent Access - 밀리초 단위 액세스 성능이 요구되는 다시 생성 가능한 자주 액세스하지 않는 데이터용
모든 스토리지/월	GB당 0.011 USD
S3 Glacier Instant Retrieval - 밀리초 단위의 즉각적인 검색을 이용하여 분기에 한 번 액세스하는 장기 아카이브 데이터용
모든 스토리지/월	GB당 0.005 USD
S3 Glacier Flexible Retrieval(이전의 S3 Glacier) - 검색 옵션이 1분부터 12시간까지인 장기 백업 및 아카이브용
모든 스토리지/월	GB당 0.0045 USD
S3 Glacier Deep Archive - 일년에 한두 번 액세스하고 12시간 이내에 복원할 수 있는 장기 데이터 아카이브용
모든 스토리지/월	GB당 0.002 USD

[요청 및 데이터 검색]

리전 : 아시아 태평양(서울)

	PUT, COPY, POST, LIST 요청(요청 1,000개당)	GET, SELECT 및 기타 모든 요청(요청 1,000개당)	수명 주기 전환 요청(요청 1,000개당)	데이터 검색 요청(요청 1,000개당)	데이터 검색(GB당)
S3 Standard	0.0045 USD	0.00035 USD	-	-	-
S3 Intelligent-Tiering	0.0045 USD	0.00035 USD	0.01 USD	-	-
Frequent Access	-	-	-	-	-
Infrequent Access	-	-	-	-	-
Archive Instant	-	-	-	-	-
Archive Access, 표준	-	-	-	-	-
Archive Access, 대량	-	-	-	-	-
Archive Access, 긴급	-	-	-	11.00 USD	0.033 USD
Deep Archive Access, 표준	-	-	-	-	-
Deep Archive Access, 대량	-	-	-	-	-
S3 Standard-Infrequent Access	0.01 USD	0.001 USD	0.01 USD	-	0.01 USD
S3 One Zone-Infrequent Access	0.01 USD	0.001 USD	0.01 USD	-	0.01 USD
S3 Glacier Instant Retrieval	0.02 USD	0.01 USD	0.02 USD	-	0.03 USD
S3 Glacier Flexible Retrieval	0.03258 USD	0.00035 USD	0.03258 USD	아래 참조	아래 참조
긴급	-	-	-	11.00 USD	0.033 USD
표준	-	-	-	0.0543 USD	0.011 USD
대량	-	-	-	-	-
프로비저닝된 용량 단위	-	-	-	-	단위당 110.00 USD
S3 Glacier Deep Archive	0.06 USD	0.00035 USD	0.06 USD	아래 참조	아래 참조
Standard	-	-	-	0.1086 USD	0.022 USD
대량	-	-	-	0.0275 USD	0.005 USD

* S3 수명 주기 전환 요청 요금은 해당 스토리지 클래스에 대한 요청을 나타냅니다. 예를 들어, S3 Standard에서 S3 Standard-Infrequent Access로 데이터를 전환하면 1,000개의 요청당 0.01 USD 요금이 부과됩니다.

* AWS 계산기

https://calculator.aws/#/

AWS Pricing Calculator

calculator.aws

Amazon S3 수명 주기 규칙 생성 실전 연습

1. test-0910 버킷에 저장하고 있는 객체의 수명 주기를 [객체 생성 7일 후 지능형 계층화 클래스로 전환 -> 365일 후 객체 만료] 로 설정하고자 한다.

이번 실습은 접두사를 사용한 필터링을 사용하여 규칙 범위를 제한하는 것이 아닌 버킷의 모든 객체에 적용하여 실습한다.
[관리] 탭에서 [수명 주기 규칙 생성] 버튼을 누른다.

[수명 주기 규칙 이름] 을 작성 한 후 [버킷의 모든 객체에 적용] 버튼을 누르고 주의사항에 동의한다.

아래와 같이 선택 후 [규칙 생성] 버튼을 누른다.

수명 주기 규칙이 생성되었다.

참고자료

1. https://aws.amazon.com/ko/s3/storage-classes/

객체 스토리지 클래스 – Amazon S3

aws.amazon.com

2. https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/lifecycle-transition-general-considerations.html

Amazon S3 수명 주기를 사용하여 객체 전환 - Amazon Simple Storage Service

Amazon S3 수명 주기를 사용하여 객체 전환 S3 수명 주기 구성에서 규칙을 추가하여 Amazon S3이 객체를 다른 Amazon S3 스토리지 클래스로 전환하도록 유도할 수 있습니다. 스토리지 클래스에 대한 자세

docs.aws.amazon.com

3. https://aws.amazon.com/ko/s3/pricing/

Amazon S3 Simple Storage Service 요금 - Amazon Web Services

S3 교차 리전 복제, 동일 리전 복제 및 복제 시간 제어 S3 배치 복제 CRR 및 SRR과 같은 라이브 복제는 새로 업로드된 객체를 버킷에 쓰는 대로 자동으로 복제하는 반면, S3 배치 복제는 기존 객체를

aws.amazon.com

4. https://aws.amazon.com/ko/about-aws/whats-new/2023/06/amazon-athena-querying-restored-data-s3-glacier/

Amazon Athena, 이제 S3 Glacier에서 복원된 데이터를 쿼리하는 기능 지원

이제 Amazon Athena를 사용하여 Amazon Simple Storage Service(S3) Glacier 스토리지 클래스에 저장된 데이터를 쿼리할 수 있게 되었습니다. S3 Glacier는 저렴한 데이터 아카이브 및 장기 백업을 위한 안전하고

aws.amazon.com

머리부터 발끝까지

[AWS] S3 스토리지 클래스

S3 스토리지 클래스의 성능표

각 스토리지 클래스별 특징

S3 Standard

S3 Intelligent-Tiering

S3 Standard - IA (Infrequent Access)

S3 One Zone - IA (Infrequent Access)

S3 Glacier Instant Retrieval

S3 Glacier Flexible Retrieval

S3 Glacier Deep Archive

S3 Outposts

S3 스토리지 클래스 객체 전환

S3 스토리지 클래스 실전 연습

Amazon S3 요금

Amazon S3 수명 주기 규칙 생성 실전 연습

참고자료