AWS Batch, EC2 Spot 으로 효율적 배칭작업 Spot Instance로 배칭작업할 때만, 성능을 일시적으로 높여서 효율적으로 서버 운영을 하는 것이다.다만 비용이 얼마나 줄어들 것이며, 성능이 잘 나오는지는 환경마다 다르겠다.(특히 AWS 직접 이용이 아닌 MSP를 껴서 이용한다면 얼마나 나올지는..?) 필요한 IAMAmazonEC2SpotFleetRoleAWSServiceRoleForEC2SpotAWSServiceRoleForEC2SpotFleet 클라우드/AWS 2024.12.07
AWS Getting Started with DevOps on AWS https://explore.skillbuilder.aws/learn/course/internal/view/elearning/2000/getting-started-with-devops-on-aws[Self-paced digital training on AWS - AWS Skill Builderexplore.skillbuilder.aws](https://explore.skillbuilder.aws/learn/course/internal/view/elearning/2000/getting-started-with-devops-on-aws)요약아래 질문 또는 설명에 대한 대답을 할 수 있어야함Describe challenges associated with traditional software development.. 클라우드/AWS 2024.12.07
AWS Elasticache Fail-over될 때, 주의할 점(경험) 왜 이 경험을 하게 되었을까?현재 Redis의 Memory 용량이 일정 예약사이즈 허용치보다 높아져서 자동 스냅샷 또는 제대로 작동이 어려운 상황에 처했다.아마도 expired가 되지 않는게 이슈였고 TTL이 지나치게 길거나 없는 것이 문제가 되는 것 같았다.레거시 프로젝트기 때문에 요청받은대로 검토만 했었다. 내가 해야할 것은 무엇이었을까?이럴 때, 할 수 있는 일은?- 키제거- 스케일업 내가 뭘 했을까?키 제거는 당연히 할 수 있는 간단한 일이면서 비용적으로 도움이 되는 일이었다.그렇기 때문에 우선 Redis와 Server의 구조를 파악해야 했고Redis에 어떤 정보가 저장되는지? 만약 Redis에서 중요 정보를 사용한다면 언제 DB와 동기화 시키는지?등과 같은 정보가 필요했다.역시 레거시를 파악.. 클라우드/AWS 2024.09.24
AWS STAR answer 앞서 리더십 원칙과 질문을 알아봤다.https://luv-n-interest.tistory.com/1615 AWS Leadership PrincipleAWS에서 채용하기 위한 인재상으로 리더십 원칙이라는 것이 존재한다.이를 바탕으로 면접을 본다고 하는데 이 원칙은 어느 기업에서나 먹힐만한 것으로 알아두면 좋을 것 같아서 적어본다.또한luv-n-interest.tistory.com 하지만 이러한 질문을 전하는데 확실한 방법이 존재한다.그것은 바로 STAR 방법이다.알아보자이 또한 어떤 면접이나 질문을 떠나서 의사소통으로 엄청나게 효과적인 방법이라 생각한다.미리 알아두는 것 또한 나쁘지 않을 듯 싶다.https://www.amazon.jobs/en/landing_pages/in-person-interview.. 클라우드/AWS 2024.09.12
AWS Leadership Principle AWS에서 채용하기 위한 인재상으로 리더십 원칙이라는 것이 존재한다.이를 바탕으로 면접을 본다고 하는데 이 원칙은 어느 기업에서나 먹힐만한 것으로 알아두면 좋을 것 같아서 적어본다.또한 그에 따른 질문도 알아보자.https://www.amazon.jobs/en/landing_pages/in-person-interview#headingFour InterviewAbout Amazon Before you get into the details of our interview process, take some time to learn about Amazon. Get to know our business teams and meet a few Amazonians. Leadership Principles We use o.. 클라우드/AWS 2024.09.12
Opensearch Ingestion 으로 통합 로그 모니터링하기 - 2 구현Opensearch Ingestion pipeline을 구성해야한다. 구현은 크게 3가지로 나눈다Source -> 로그 원문 또는 처리하고자 하는 데이터Processor -> 처리하는 방법Output -> 어디에서 모니터링할 것인가? Source나는 S3의 파일을 읽고자 했다. 하기 위해선 여러가지 작업들이 필요했다.** 나는 S3 SQS를 사용하지 않았다.특히 Multi Account의 구조이기 때문에 Account A에서 Account B, C, D와 같은 다른 계정의 버킷(S3)에 대한 접근이 필요했다. 게다가 S3에 대해서는 Push(X) Pull(O) 권한이 필요했다.즉, Account A가 Pulling하는 주체다.https://docs.aws.amazon.com/AmazonS3/lat.. 클라우드/AWS 2024.09.02
Opensearch Ingestion 으로 통합 로그 모니터링하기 - 1 필요성대부분의 기업들에서는 AWS Organization 밑에 여러가지 서비스 계정이 존재한다.즉, 서비스 계정으로 AWS Resource들이 분리되어 있다.그렇기 때문에 통합을 만들기가 은근히 까다롭다.특히 서비스마다 특성도 다르기 때문에 로그를 파싱하는 것도 어려울 것이다. 하지만 한 번에 관리할 수 있다면?- 각 서비스의 로그가 추가되었을 때, 한 곳에서 파싱구조 변경해서 파싱 가능- 서비스가 새로 생겼을 때, 파이프라인 구성이 용이함- 서비스가 삭제되었을 때, 파이프라인 삭제도 용이함- 통합되어있기 때문에 사용자를 한 곳에서 관리 및 권한 제어가 용이함- Opensearch의 장애를 자동으로 탐지해서 교체함 (Auto Recovery)- Opensearch Alert을 한 곳에서 설정 가능등이 있.. 클라우드/AWS 2024.08.22
AWS 기반 게임 개발 위한 안내서 - 출시 전 Q. 게임 특징은? 높은 처리량이 있는가? 실시간 반응이 필요한가? 지속적인 연결이 필요한가? Region 선택 FPS 또는 실시간 대전 low latency를 유지해야하기 때문에 유저와 가장 근접한 리전 선택 AWS Global Accelerator 사용하여 리전간 최적화된 통신 Amazon GameLift로 지연시간 기반의 플레이어 간 매치메이킹 MMORPG 높은 데이터 처리량, 복잡한 로직, 지속적인 연결 요구하기 때문에 근접한 리전 선택 플레이어 분포에 따라 리전 선택 리전 별로 백엔드 분리 웹 기반, 방치형, 비동기 방식 적절히 하나의 리전을 선택 Edge 최적화 API 엔드포인트를 통해 지연시간 최소화 CloudFront 사용 1) 게임 장르에 따른 리전 선택 먼저 FPS, 실시간 대전류와 같.. 클라우드/AWS 2023.12.01
프리캐싱, Pre-Caching이란? 위에서 보다시피 웹앱에서 DB 접근 전에 메모리에 올려놓는 것을 캐싱이라고 하는 것을 알 것이다. 하지만 Pre-Caching은 그보다 더 성능을 높일 수 있는 방안이다. 조금 다른 방식이라고 생각하면 된다. 알아보자 캐싱보다 pre(앞선) 것이 무엇일까? 캐싱은 요청된 것에 대해서 미리 메모리에 갖고 있다는 측면이지만 Pre 캐싱은 요청하기 전 미리 유저를 예측하여 미리 메모리를 갖고 있는 것이다. 즉, 사후처리가 캐싱, 사전처리가 프리 캐싱이다. 프리 캐싱은 2가지 측면이 있는데 예를 들어보자 Client-Side의 예는 사용자가 미리 자주 방문하는 사이트에 대해 캐싱하고 있다는 것이 되겠고 Server-Side 의 예는 사용자가 다운로드 받을만한 것들을 캐싱하고 있다는 것이 되겠다. 프리 캐싱 플로.. 클라우드/AWS 2023.07.09
Docker_Window Window Docker는 Window에서도 사용이 가능함 → 다만 Linux 환경과 다르게 사용해야 함 Window에서는 Hyper-V 기능을 사용하여 Linux Container를 실행시킬 수 있음 하지만 Linux Kernel을 간접적으로 이용하는 만큼 overhead 가 발생하고 복잡성이 증가함 **Docker Desktop(유료, 무료)를 통해 더욱 쉽게 Docker Engine과 Docker CLI 사용 가능 https://learn.microsoft.com/ko-kr/windows/wsl/tutorials/wsl-containers - 도커 데스크톱 뿐만 아니라 Linux를 WSL을 사용하여 Linux 환경을 구성할 수 있음 WSL2로 Docker Engine 설치, Docker CLI 설치.. 클라우드/Docker & K8s 2023.01.21