728x90 반응형 전체 글100 [Python] 파이썬 기초 자료형 Tuple, Set 비교 Tuple (튜플) 자료형tuple_a= (1, 2, 3)위와 같이 소괄호로 표현하며,한번 정의된 튜플 변수의 원소 추가, 제거, 변경이 불가능하고,각 원소의 순서가 정해져있다. (변경불가) Set (셋) 자료형set_a= (1, 3, 5)다음과 같이 소괄호로 표현하며,세트 변수의 원소 추가, 제거, 변경이 가능하고 순서가 없지만중복 원소를 허용하지 않는다. 2024. 8. 20. [Goorm] 딥러닝을 이용한 자연어 처리 10 (BERT vs GPT) 트랜스포머의 인코더와 디코더를 활용한 응용그림에서 알 수 있듯이 BERT모델은 Transformer구조의 인코더만을 활용한 예시이고, GPT모델은 Transformer구조의 디코더를 활용한 예시이다. BERT (Bidirectional Encoder Representations from Tramsformers)2018년에 공개된 구글의 pre-trained Model 이다.위키피디아와 BooksCorpus와 같은 레이블이 없는 텍스트 데이터로 사전 훈련된 언어모델이다.다른 모델들과 마찬가지로 fine-tuning이 가능하다. 레이블이 없는 사전훈련된 모델을 가지고, 레이블이 있는 다른 작업에서 추가 훈련과 함께 하이퍼파라미터를 재조정하여 높은 성능을 얻는 BERT모델을 만들 수 있다.또한, Subw.. 2024. 8. 6. [Goorm] 딥러닝을 이용한 자연어 처리 9 (Transformer) 트랜스포머 (Transformer) ; Transformer는 자연어 처리 (NLP)분야에서 혁신을 가져온 모델 기존의 순환 신경망(RNN)과 LSTM, GRU 등은 시퀀스 데이터를 처리하는데 강력한 도구였지만, 긴 시퀀스를 처리할 때 효율성과 성능문제가 발생하곤 했다.Transformer는 이러한 문제를 해결하기 위해 설계되었으며, RNN을 사용하지 않고도 시퀀스 데이터를 병렬로 처리할 수 있다. 어텐션 메커니즘 (Attention Mechanism): Transformer의 핵심. 시퀀스의 각 요소가 다른 요소와 얼마나 관련이 있는지를 계산(셀프 어텐션)하여 중요한 정보를 집중할 수 있게 한다. 이로 인해 모델은 긴 시퀀스를 효과적으로 처리할 수 있다. 셀프 어텐션 메커니즘 (Self- Atten.. 2024. 8. 6. 이코테 2021 - 동적 계획법 (Dynamic Programming) Dynamic Programming : 메모리를 적절히 사용하여 수행 시간 효율성을 비약적으로 향상시키는 방법> 쉽게 말하면, 이미 계산된 결과는 별도의 메모리 영역에 저장하여 다시 계산하지 않도록 한다. 다이나믹 프로그래밍은 일반적으로 두가지 방식으로 구현할 수 있다.: 탑다운방식(위 → 아래), 보텀업 방식 (아래 → 위) 조건1) 최적 부분 구조 (Optimal Substructure) : 큰 문제를 작은 문제로 나눌 수 있으며, 작은 문제의 답을 모아서 큰 문제를 해결할 수 있음 2) 중복되는 부분 문제 (Overlapping Subproblem) : 동일한 작은 문제를 반복적으로 해결 Dynamic : 동적 - 프로그램이 실행되는 도중에 실행에 필요한 메모리를 할당DP알고리즘의 대표적인.. 2024. 8. 3. 주피터 실행결과 출력문 생략 주피터에서 셀 실행 시, 출력 결과가 길어서 종종 생략되거나 잘리는 경우가 있다.특히 데이터프레임 출력시 많이들 잘리곤 한다. pd.set_option('display.max_columns', None) ## 모든 열 출력pd.set_option('display.max_rows', None) ## 모든 행 출력pd.set_option('display.max_colwidth', None) ## 모든 내용 출력> 위의 코드 중 잘리는 부분, 즉 필요한 코드만 가져다 써도 좋을 것 같다 df.columns를 출력할 때도 출력 결과가 생략되는 경우가 많은데pd.set_option('display.max_seq_items', None)> 이때는 이 코드를 사용해보길 바람! pandas 자체의 옵션을 수정하는.. 2024. 8. 1. [Python] sklearn 설치하기 pip install sklearn일줄 알았지? pip install scikit-learn 이라고 입력하면 됩니당 속았쥬~? 2024. 8. 1. VScode 에서 주피터 노트북 가상환경 ctrl + ` : 터미널 창이 열림conda create -n [가상환경 이름] python=[원하는 파이썬 버전] : 터미널 창에 입력conda info --envs : 입력 시, 생성한 가상환경 목록 확인 가능 conda activate [환경이름] 라고 입력하여 가상환경에 접속하라고 나오지만 나같은 경우는usage: conda-script.py [-h] [--no-plugins] [-V] COMMAND ... conda-script.py: error: argument COMMAND: invalid choice: 'activate' (choose from 'clean', 'compare', 'config', 'create', 'info', 'init', 'install', 'list', 'notic.. 2024. 8. 1. [LG AI] 딥러닝 - BackPropagation 이 수식에서의 로지스틱 과정을 먼저 보자(순방향) 이와 같이 입력값과 가중치 초기값이 설정되었다고 할 때,최종적으로는 0.73의 값을 출력하게 된다. 이제 역전파 과정에 대해서 살펴보자최종함수인 손실함수의 결과값이자 마지막 노드에 해당하는 편미분 값을 일단 1로 설정한다.최종함수를 그 함수값 자체로 미분하므로써 $\frac{dL}{dL}$ 결과값은 항상 1이 된다. ( 사실 이해 못함.. ) 마지막 수식이었던 $\frac{1}{x}$ 을 미분하면 $ -\frac{1}{x^{2}}$ 이 되는데이전에 순방향에서의 가중치를 보면 1.37를 $\frac{1}{x}$에 대입하면 0.73이 된다는 걸 알 수 있다. 역전파에서는 미분한 $ -\frac{1}{x^{2}}$에 이전 순방향 가중치 1.37을 대.. 2024. 7. 25. [LG AI] 지도학습 - 2 Classificationbinary 데이터를 linear 분류하기 Linear Classification 선형분류기: 선형그래프를 기준으로 0보다 큰지 작은지 나누어 이진분류> 0-1 손실함수를 사용 이 선형 그래프를 어떻게 찾을 것이냐?> 퍼셉트론 알고리즘 : 데이터가 존재할 때 임의로 선을 긋는다. 이에 계속되는 데이터에 대해 업데이트 된다.gradient를 계산할 필요가 없다. 하지만 선형으로 분류되지 않는 경우에는 이 선형을 찾는 동작이 무한으로 동작한다. > Linera Programming > SVM (Support Vector Machine) : 선형분류기로부터 각 클래스의 가장 가까운 데이터와의 거리를 'margin(마진)' 이라고 하는데, 이 마진값의 크기가 큰 선형 분류기를 고른다... 2024. 7. 24. 이전 1 2 3 4 5 6 7 ··· 12 다음 728x90 반응형
