AWS

AWS Summit 2023 Conference

heed159 2023. 5. 23. 17:05

컨퍼런스: [AWS] AWS Summit Seoul 2023

장소: 코엑스 컨벤션 센터

시간: 2023년 5월 3일 (수) ~ 4일 (목)

컨퍼런스 참석인원: 10,000명 ↑

 

Overview

AWS Summit Seoul 2023은 국내 최대 규모의 IT 컨퍼런스로 AWS 및 이와 관련된 최신 클라우드 기술, 솔루션부터 데모를 경험해볼 수 있었다.

컨퍼런스는 크게 Day 1(산업 업종별 High Level strategies and use-cases), Day 2(기술 주제별 강연)로 나누어져 클라우드 입문자부터 전문가까지, 개발자부터 비즈니스 리더까지, 모드를 위한 맞춤형 프로그램을 경험할 수 있으며 업종별 고객 사례 강연, AWS 서비스를 활용한 AI/ML 최신 기술, 수준별 기술 강연을 통해 최신 IT 트렌드를 배울 수 있었다. 

아래는 직접 들었던 세션들 가운데 인상 깊게 들었던 세션을 간단하게 요약한 내용이다.

 

HL Mando가 AWS IoT Fleetwise로 그리는 미래 커넥티드 모빌리티 기술

발표자

김종혁 솔루션즈 아키텍트, AWS

이도헌 책임, HL Mando

 

차량에서 생성되는 데이터는 다양한 형태로 정의된 표준 데이터들로 이러한 데이터는 차량이 한번 운행할 때마다 엄청나게 많은 데이터를 생산해내고 이를 차량에서 사용되는 전자제어장치(ECU)로부터 수집하고 유무선 통합 제어장치(CCU)가 이를 통합해서 차량의 전체적인 것을 통제

 

Connected Vehicle을 위한 차량 데이터

  • GPS Location
  • 차량성능(Performance)
  • 센서(Sensor)
  • 시스템(System)
  • 진단(Diagnostic)
  • 유저(User)

 

On-premise, 오프라인 전송은 실시간 전송이 아니므로 그 가치가 떨어지고 체계적으로 데이터를 전달하기에 부족함

출처 : AWS Summit 2023 Conference

[1] 모빌리티 비즈니스의 핵심은 실시간 데이터

(1) AWS IoT FleetWise

차량 데이터를 거의 실시간으로 수집, 변환 및 클라우드로 전송하는 AWS IoT FleetWise

출처 : AWS Summit 2023 Conference

(2) AWS의 다양한 서비스와 연동

수집 데이터는 DB적재 후 머신러닝, 모니터링 대시보드, 스트리밍 등의 서비스와 연동 가능

Vehicle Edge 데이터 전송 AWS Cloud 데이터 수집/저장 AWS Cloud 데이터 활용 (시각화/머신러닝)
AWS IoT Core
AWS IoT Greengrass
Amazon Kinesis Video Streams		 Amazon Timestream
Amazon S3		 Amazon Quicksight
Amazon Managed Grafana
Amazon Sagemaker

 

(3) AWS IoT FleetWise Workflow 활용

모델링 DBC 기반으로 차량 Chassis CAN Signal 표준화하고 차량 모델 설계
연결 차량의 Edge Device와 연결하고 기능 구축 및 설치
조건 선택 특정 조건(Event Trigger)을 만족할 때 특정 Signal만 계측하도록 설정/배포
수집 차량에서 정의된 Chassis CAN Signal 계측
전송 계측된 Chassis CAN Signal을 AWS Timestream DB에 저장하고 차량 관리, Dashboard/BI 분석 실행
어플리케이션 차량 데이터 기반의 차량 이상 감지, 원격 진단 애플리케이션 개발

AWS IoT FleetWise : 차량 데이터를 거의 실시간으로 수집, 변환 및 클라우드로 전송

 

[2] AWS IoT FleetWise에서의 Role

(1) Vehicle Engineer

  • 시그널 카탈로그에 차량센서와 ECU들을 모델링
  • Decoder manifest를 만들어 디코딩 규칙 정의

(2) Data Engineer

  • 예정된 또는 조건부 데이터 수집을 위한 캠페인 정의
  • 캠페인을 차량 전체나 일부 또는 각 개별에 적용
  • AWS IoT FleetWise Agent가 데이터 수집 캠페인을 받아와 클라우드로의 현 차량 데이터 수집 및 인가 작업을 수행

(3) Customer

  • 어플리케이션과 사용자는 AWS에 적재되는 실시간 차량 데이터를 쿼리하고 차량 데이터에서 얻은 Insight를 활용

 

Lessons Learn

확장성 보안 실시간 모니터링 데이터 분석
수요 변화를 수용하기 위해 필요에 따라 확장 또는 축소할 수 있는 집합 관리 솔루션을 제공하여 확장성을 제공 암호화 및 액세스 제어와 같은 내장 보안 기능을 제공하여 민감한 데이터를 보호 차량 성능 및 사용    데이터에 대한 실시간 모니터링을 제공하여 개발자가 발생하는 모든 문제를 신속하게 식별하고 해결 개발자가 차량 성능 및 고객 사용 패턴에 대한 통찰력을 얻는 데 도움이 되는 강력한 데이터 분석 도구로 활용

 

잘나가는 애플리케이션 성능? 알맞은 스토리지로부터!

발표자

명기현 솔루션즈 아키텍트, AWS

김익수 솔루션즈 아키텍트, AWS

 

[1] 개요

기업들의 데이터 규모가 커지고 활용 워크로드가 세분화 됨에 따라 목적에 특화된 스토리지 사용하는 것이 시스템/업무 성능에 더욱 중요해짐

 

[2] Amazon EC2 스토리지 최적화 인스턴스

높은 IOPS 또는 처리량에 최적화된 하드웨어 및 암호화 지원 로컬 인스턴스 스토리지 제공

I Instances D Instances
고성능 로컬 NVMe SSD 고밀도 로컬 HDD
SQL/NoSQL, databases, OLTP 검색엔진, 데이터분석 Map Reduce와 Hadoop 분산 컴퓨팅, 파일시스템, 대규모 데이터 레이크

 

[3] AWS Nitro SSD

AWS에서 맞춤형으로 설계한 고성능, 저지연 SSD

  • 더 낮은 지연시간: AWS Nitro 시스템과 긴밀하게 이식되어 60% 더 낮은 I/O 지연 시간 제공
  • 향상된 신뢰성: 인스턴스에 대한 다운타임 없이 안정성을 개선하기 위한 더 빠른 펌웨어 업데이트
  • Nitro 보안: 디스크에 저장된 모든 데이터는 AES-256 임시키로 저장과 동시 암호화

 

[4] Nitro SSD Torn Write Prevention

Torn Write Prevention을 이용한 MySQL, MariaDB 쓰기 성능 향상

AWS Nitro SSD 데이터베이스 성능 가격
* I4i 스토리지 최적화 인스턴스에 탑재
* Nitro 기반 인스턴스와 함께 Amazon EBS에서 사용 가능		 * MySQL 또는 MariaDB와 같은 데이터베이스를 사용할 경우 이중쓰기 버퍼를 비활성화 할 수 있음
* 내구성에 영향도 없이 최대 30%의 쓰기 성능 향상		 * 향상된 데이터베이스 성능으로 비즈니스 성장에 맞춰 클러스터를 오버프로비저닝하거나 확장할 필요가 없으므로 TCO가 절감

 

[5] 데이터레이크를 위한 최상의 선택 Amazon S3

  • 탁월한 보안, 규정 준수 및 감사 기능
  • GB/월 당 0.1센트 정도로 저렴
  • 가장 광범위한 분석 및 ML 기능과 통합
  • 수십만개의 데이터레이크
  • S3 인텔리전트 티어링으로 10억 달러 이상 절감
  • 280조 개 이상의 객체

 

[6] 대용량의 데이터를 잘게 쪼개어 업로드/다운로드하는 Amazon S3

  • Multipart uploads를 활용한 대용량 객체 분산 업로드
  • Byte-range GETs를 활용한 대용량 객체 병렬 다운로드

 

[7] 급증하는 워크로드를 위한 Prefix 설계

Prefix를 사용하여 Amazon S3에 저장하는 데이터를 구성할 수 있음. Prefix는 객체 키 이름의 시작 부분에 있는 문자열로 디렉터리와 유사한 방식으로 데이터를 구성

Prefix는 키를 계층적으로 구성하고 탐색하는 데 도움을 줌

 

[8] 성능과 병렬화

  • Amazon S3는 광범위한 수평적 확장을 지원
  • 다중 엔드포인트를 활용한 병렬화
  • 단일 작업의 병렬화(Multipart upload/Byte Range Fetches)
  • Prefix 디자인을 통한 Throughput 최적화

 

[9] 클라우드에서의 파일 워크로드 패턴

패턴 종류 파일 스토리지
컨테이너, 서버리스 기반 모던 애플리케이션 Amazon EFS
확장성을 갖춘 NAS(Network-attached-Storage) Amazon FSx for Windows File Server
Amazon FSx for NetApp ONTAP
Amazon FSx for OpenZFS
연산 집약적 워크로드의 무제한 성능 확장 Amazon FSx for Lustre
Amazon File Cache

 

Lessons Learn

워크로드에 최적화된 AWS 스토리지 유형 선택 필요

1. 고성능 블록 스토리지에 최적화된 인스턴스 사용

2. Amazon S3의 성능 확장성을 위한 병렬 처리 및 Prefix 활용

3. 워크로드 유형 별 AWS 파일 스토리지

    -고성능을 위한 Amazon EFS / FSx for OpenZFS / File Cache 활용

저작자표시