728x90 반응형 전체 글100 [스킬업] Docker 기반 CI/CD 파이프라인 구축하기 3주차 GitLab으로 AWS Cloud로의 지속적인 배포 AWS에 배포하는 것이 목표 (AWS Elastic Container Service 를 이용하여 배포 준비)> GitLab에서 aws cli를 이용해 ecs에 접근하고, gitlab-runner를 통해 도커 이미지를 빌드하여 ecr에 업로드.> ecs는 ecr에 저장된 도커 이미지를 가져와 컨테이너로 실행> 이를 통해 사용자는 ecs에서 실행중인 애플리케이션에 접근할 수 있음. ECS란? ECS (AWS Elastic Container Service)는 애플리케이션을 쉽게 배포하고 운영할 수 있도록 지원하는 완전 관리형 Container Orchestration 서비스이다. Kubernetes같은 Container Orchestration 서비.. 2024. 12. 22. [스킬업] Docker 기반 CI/CD 파이프라인 구축하기 4주차 GitLab을 이용한 CI/CD 파이프라인 설계와 구축 GitLab을 이용한 협업 CI/CD 파이프라인 설계와 구축 개발자는 개별 브랜치(feature branch)를 따로 만들어 코드개발PL/PM이나 Reviewer에게 승인을 받아 main 브랜치에 Merge main 브랜치가 변경됨에 따라 GitLab Runner가 변경사항을 확인하여 CI/CD 파이프라인을 수행build, test, deploy 과정을 거치면서 ECS에 deploy하게 됨. 협업을 위한 slack 연동을 함께 그림으로 보자. 개발자가 코드를 수정하고 이를 main브랜치에 MR(Pull Request와 의미는 동일)하게 되면,이를 관리자나 리뷰어가 Approve(승인)하게 되어 Merge 되면,pipeline이 실행되므로써.. 2024. 12. 22. [스킬업] Docker 기반 CI/CD 파이프라인 구축하기 2주차 GitLab을 사용한 CI/CD배포하기 전 단계 : CICD 툴을 사용하는 것 > 도커 이미지 생성 순서GitLab을 이용하여 Docker 애플리케이션 빌드 (= 도커 이미지 만들기)Docker Image를 ECR저장소에 PUSHECR 저장소(AWS EC2 Container Registry) : 도커 이미지 저장소(docker hub의 클라우드 버전 같은 느낌)GitLab을 이용해서 ECR Push 자동화 > 실질적인 CI/CDdocker 이미지 테스트 GitLab GitLab은 세계에서 가장 널리 사용하는 CI/CD툴 중 하나이다.GitLab프로젝트를 만들고 Git기반으로 소스코드를 관리하고, 자동으로 Docker 애플리케이션을 빌드하게 된다. 이렇게 빌드한 애플리케이션을 AWS의 Docker Ima.. 2024. 12. 21. [적분] 몬테 카를로 적분 Monte Carlo Integration (MCMC) 먼저 몬테카를로 방법을 사용하기 위해서는 몇가지 중요한 이론을 알아야 한다.난수와 난수생성큰수의 법칙중심극한정리 (CLT) 몬테카를로 적분법의 기본 원리를 잘 설명하는 대표적인 방법이 "적중법" 이다. 적중법 이란?특정 범위 안에 들어오는 것을 적중으로 판단 후, 그 갯수를 근사화하는 방법.범위를 벗어난다면 적중에 실패한 것으로 판단한다. 몬테카를로 방법 : 반복적으로 무작위 추출된 난수 이용하여 함수의 값을 수리적으로 근사하는 알고리즘 방법.주로 확률 분포에서 확률 변수 값을 생성하는 작업에서 활용된다. 대체적으로 몬테카를로 방법은 확률론적 해석을 가진 문제를 해결하기 위해 사용될 수 있다.큰 수의 법칙에 의해, 어떤 확률변수의 기댓값으로.. 2024. 12. 9. [스킬업] Docker 기반 CI/CD 파이프라인 구축하기 1주차 GitLab CI/CD 소개 및 학습 환경 구축 CI/CD 란? : 지속적인 통합, 지속적인 배포> 소프트웨어 개발 협업의 중심에 있다. CI/CD를 이용해서 개발, 빌드, 테스트, 프로덕트 배포의 전체 과정을 자동화된 파이프라인으로 구축하고, 이 파이프라인을 통해서 각 팀이 협업을 한다. CI/CD 학습을 위해서는 운영체제, 개발환경, Docker, AWS Cloud 등 여러가지 것들이 준비되어야 한다. CI/CD환경은 협업의 기본적인 환경이다.CI/CD는 통합하고 배포하기 위한 프로세스이다.핵심은 자동화! 코드를 작성 > 하나로 패키징 > 검증 및 QA > 배포 CI : 지속적인 통합 - 코드 개발 및 패키징CD : 지속적인 배포 - 통합 패키지를 배포, 사용자에게 제공 (clou.. 2024. 12. 3. [DL] ONNX ONNX란? 딥러닝 모델을 저장하고 공유하는 파일 형식.다양한 딥러닝 프레임 워크 (Pytorch, Tensorflow, Keras 등)에서 만든 모델을 공통된 형식을 저장하고 공유할 수 있도록 설계된 파일 포맷이다. 주요 특징 모델 형식- ONNX는 딥러닝 모델의 구조, 연산과정, 학습된 파라미터를 저장하는 표준형식이다.- 데이터를 저장하거나 표현하는 데이터 타입이 아니라, 모델의 청사진을 담는다고 생각하면 된다.- JSON이 여러프로그램이 데이터를 주고 받을 때 사용하는 표준 형식인 것 처럼, ONNX는 딥러닝 모델 교환의 표준이다..!그래프 기반 표현- ONNX 모델은 계산 그래프 형태로 모델을 나타낸다. ⊙ 노드 (node): 모델의 연산 (예: 합성곱, 활성화 함수) ⊙ 엣지 (Ed.. 2024. 11. 19. 카이제곱 검정 (Chi-Squared Test) 카이제곱 검정 이란?두 범주형 변수에 대한 분석방법으로, 데이터 수집 방법과 가설에 따라 적합도 검정(goodness of fit), 동질성 검정(Test of Homogeneity), 독립성 검정(Test for Independence) 으로 3가지 종류가 있다. 적합도 검정 (Goodness of Fit Test) : 한 범주형 변수의 각 그룹 별 비율이 특정 상수비와 같은지 검정하는 방법 변수의 수 : 1기존에 알려진 기준이 존재해야 함관찰된 비율 값이 기대값과 유의하게 다른지를 검증 동질성 검정 (Test of Homogeneity) : 두 범주형 변수의 분포가 동일한지 검정하는 방법 변수의 수 : 2동질성 검정은 행변수를 고정?각 집단이 서로 유사한 성향을 가지는가 독립성.. 2024. 11. 11. [Python] LabelEncoder VS OrdinalEncoder 데이터 분석을 공부하거나 프로젝트에 적용할 때, 그리고 빅데이터 분석기사를 준비할 때string타입의 범주형 변수를 보면 습관적으로 labelencoder를 쳤다. 그럴때마다 종종 train데이터 셋에서 fit_transform한 encoder를 test데이터셋에 transform할 때면,train데이터셋에서 없었던 범주(class)가 나와 오류가 뜨곤 했다.뭐 당연히 split하기 전에 먼저 encoding 했으면 좋았겠지만,처음부터 train과 test가 따로 제공되기도 하고 test에는 target 변수가 없는 상태로 주어지기에각각의 파일로 제공이 된다.그래서 가끔 이런 오류를 보면 답답했다. 왜 예외값을 처리하는 옵션은 없는가!(우물 안 개구리였다.) LabelEncoder https://scik.. 2024. 11. 6. [Tistory] 2024 오블완 챌린지 https://www.tistory.com/event/write-challenge-2024 작심삼주 오블완 챌린지오늘 블로그 완료! 21일 동안 매일 블로그에 글 쓰고 글력을 키워보세요.www.tistory.comhttps://www.tistory.com/event/write-challenge-2024 작심삼주 오블완 챌린지오늘 블로그 완료! 21일 동안 매일 블로그에 글 쓰고 글력을 키워보세요.www.tistory.com3주 내내 하루도 안빠지고 매일 작성하면혜택이 있는 줄 알았더니그마저도 추첨..!?!??! 이런 각박한 세상,,, 2024. 11. 6. 이전 1 2 3 4 ··· 12 다음 728x90 반응형
