728x90 반응형 분류 전체보기100 [DL] rnn 과 lstm (수정중) RNN: 순환신경망하이퍼볼릭탄젠트 > 손실이 적음분류 > 소프트맥스tanh대신 relu사용 상관xBut 시퀀스가 길수록 많은 손실을 야기한다. > tanh 사용 LSTM 모델>>링크All gates use the same inputs and activation functions, but different weightsOutput gate: How much of the previous output should contribute? GRU Time Seriesdbtkeh-> 딥러닝 시 추세, 계절성 등을 고려하지 않아도 ㄷ된다(복잡한 패턴을 포착) 2023. 8. 10. [DL] CNN_2 DEPTH를 길게 사이즈를 빨리줄이는게 목표 원본이미지224X224X3convolution 거치면 224x224x64max pooling 거치면 down sampling 됨 > 112x112x128... max pooling...depth를 길게 하기 위해 flatten 이미지 transfer learning(전이학습)을 많이 사용 > 성능이 좋음!사이즈를 줄이고 activation map?을 ~ semi-지도학습 : 비지도학습먼저, 나중에 지도학습을 한다 텐서형태의 입력값을 줄여(인코더를 통해?)디코더를 통해 generative learning 하여 reconstructed data로 변환> 미세하게 변화 O (laternt?? vector 2023. 8. 10. [DL] CNN - data synthesize : 데이터를 더 생성시킴?- data augment: 원본이미지를 변형시켜 다양한 데이터를 확보- 미니 배치- 피처 스케일링(stand~, normal~, minmax)- dropout >>노드수에 맞게 일정노드를 제거함, 가중치도 약간 조정하는 역할도 한다- data shuffling: 배치가 순서대로 되어있으면 학습할때 연관해서 학습하기 때문에 순서에 관계없이 학습하도록 순서를 바꿔줌 batch normalization (배치정규화): dropout보다 좋은 효과를 냄, 학습시간이 짧음 layer build시 사용early stopping: 에러가 변화없는 경우, 가중치가 변하지 않는경우 > 학습이 다 되었다고 생각하고 model con 관찰 optimum 되는 지점을.. 2023. 8. 9. [DL] 딥러닝 개요_2 각 레이어의 노드 수: 입출력의 노드의 수는 차원을 가리킨다. 활성화 함수 x값이 0이상이 되면 1에 급격하게 가까워진다. RNN구성시 활성화함수를 사용한다. ReLU함수를 가장 많이 사용 >> 성능이 잘나와서..ㅎㅎ 확률이 낮을수록 정보량은 높아진다. KL 다이버전스 우도함수: 이유- 모델이 파라미터를 결정할때, 최대우도 추정함. 그래서 함수를 허용 세타가 정해져있을때, 최대값을 정하기 위해 함수 사용 이때 엔트로피 개념 사용 값이 너무 커서? 로그를 취함 -(마이너스) 도 엔트로피개념에서 나옴 엔트로피는 정보이론에서 파생됨 자주 발생하는 것은 확률 높음 드물게 발생하는 사건이 정보량이 높음 > 결과적으로 -log (kl은 참고만) 두개의 확률(p와 q) >> 교차 엔트로피= 크로스 엔트로피 네거티브 .. 2023. 8. 8. 이전 1 ··· 18 19 20 21 22 23 24 25 다음 728x90 반응형
