728x90 반응형 분류 전체보기100 [Goorm] 딥러닝을 이용한 자연어 처리 10 (BERT vs GPT) 트랜스포머의 인코더와 디코더를 활용한 응용그림에서 알 수 있듯이 BERT모델은 Transformer구조의 인코더만을 활용한 예시이고, GPT모델은 Transformer구조의 디코더를 활용한 예시이다. BERT (Bidirectional Encoder Representations from Tramsformers)2018년에 공개된 구글의 pre-trained Model 이다.위키피디아와 BooksCorpus와 같은 레이블이 없는 텍스트 데이터로 사전 훈련된 언어모델이다.다른 모델들과 마찬가지로 fine-tuning이 가능하다. 레이블이 없는 사전훈련된 모델을 가지고, 레이블이 있는 다른 작업에서 추가 훈련과 함께 하이퍼파라미터를 재조정하여 높은 성능을 얻는 BERT모델을 만들 수 있다.또한, Subw.. 2024. 8. 6. [Goorm] 딥러닝을 이용한 자연어 처리 9 (Transformer) 트랜스포머 (Transformer) ; Transformer는 자연어 처리 (NLP)분야에서 혁신을 가져온 모델 기존의 순환 신경망(RNN)과 LSTM, GRU 등은 시퀀스 데이터를 처리하는데 강력한 도구였지만, 긴 시퀀스를 처리할 때 효율성과 성능문제가 발생하곤 했다.Transformer는 이러한 문제를 해결하기 위해 설계되었으며, RNN을 사용하지 않고도 시퀀스 데이터를 병렬로 처리할 수 있다. 어텐션 메커니즘 (Attention Mechanism): Transformer의 핵심. 시퀀스의 각 요소가 다른 요소와 얼마나 관련이 있는지를 계산(셀프 어텐션)하여 중요한 정보를 집중할 수 있게 한다. 이로 인해 모델은 긴 시퀀스를 효과적으로 처리할 수 있다. 셀프 어텐션 메커니즘 (Self- Atten.. 2024. 8. 6. 이코테 2021 - 동적 계획법 (Dynamic Programming) Dynamic Programming : 메모리를 적절히 사용하여 수행 시간 효율성을 비약적으로 향상시키는 방법> 쉽게 말하면, 이미 계산된 결과는 별도의 메모리 영역에 저장하여 다시 계산하지 않도록 한다. 다이나믹 프로그래밍은 일반적으로 두가지 방식으로 구현할 수 있다.: 탑다운방식(위 → 아래), 보텀업 방식 (아래 → 위) 조건1) 최적 부분 구조 (Optimal Substructure) : 큰 문제를 작은 문제로 나눌 수 있으며, 작은 문제의 답을 모아서 큰 문제를 해결할 수 있음 2) 중복되는 부분 문제 (Overlapping Subproblem) : 동일한 작은 문제를 반복적으로 해결 Dynamic : 동적 - 프로그램이 실행되는 도중에 실행에 필요한 메모리를 할당DP알고리즘의 대표적인.. 2024. 8. 3. 주피터 실행결과 출력문 생략 주피터에서 셀 실행 시, 출력 결과가 길어서 종종 생략되거나 잘리는 경우가 있다.특히 데이터프레임 출력시 많이들 잘리곤 한다. pd.set_option('display.max_columns', None) ## 모든 열 출력pd.set_option('display.max_rows', None) ## 모든 행 출력pd.set_option('display.max_colwidth', None) ## 모든 내용 출력> 위의 코드 중 잘리는 부분, 즉 필요한 코드만 가져다 써도 좋을 것 같다 df.columns를 출력할 때도 출력 결과가 생략되는 경우가 많은데pd.set_option('display.max_seq_items', None)> 이때는 이 코드를 사용해보길 바람! pandas 자체의 옵션을 수정하는.. 2024. 8. 1. 이전 1 ··· 5 6 7 8 9 10 11 ··· 25 다음 728x90 반응형
