본문 바로가기
728x90
반응형

Natural Language Processing23

[ChatGPT] 프롬프트 이용하여 시스템 만들기 코어 수, RAM, GPU, SSD(용량), 크기, 무게, 브랜드, 가격, 목적 등 원하는 사양을 적어주세요 코어수: 4, RAM: 16, SSD: 256이상, 크기: 13~14, 무게: 1.2kg 이하, 브랜드: 삼성, 가격: 100만원 내외, 목적: 인공지능 특화 Task AI 특정 태스크에 제한된 사용 고정된 입출력 인터페이스 투자대비 성능 보장 힘듦 자동화/무인화 체계가 마련되어 있지 않다면 적용이 힘듦 대규모 언어모델 (ex. chatGPT) 자연어 처리 기반 대량의 데이터셋으로 기 학습됨 업무효율화에 바로 사용가능 할루세이션 문제?? 에이전트 (특화 테스크 AI + 대규모 언어모델) 특화 테스크 AI + 대규모 언어모델 연동 멀티유저, 방문기억, 이미지 import gradio as gr # .. 2023. 8. 4.
[ChatGPT] Prompt Engineering Dropout ( 드롭아웃 ) ; 뉴런을 임의로 삭제하면서 학습하는 방법. 훈련 때 은닉층의 뉴런을 무작위로 골라 삭제한다. > 주로 과적합데이터에 대해 사용하는데, 데이터의 일부를 날리면 과적합결과에 비해 데이터가 느슨해진다. 내부적으로는 정확도가 떨어지겠지만, 더 많은 데이터를 학습한 것과 같은 효과가 나타난다. RAG 기법 외부틀을 이용해 연동된 지식을 가져옴 ZAPIER: 업무수강용 자동생성화 프롬프트 엔지니어링 기법 - 프롬프팅 : 인공지능에 일련의 지시(프롬프트)를 내리는 과정 지시문 : 인공지능에게 특정한 행동을 수행하도록 명령하는 가장 간단한 방법 AI가 지시문을 정확하게 이해하고, 그에 따라 적절한 결과를 출력할 수 있어야 한다. >> AI에 지시문을 제공할 때는 가능한 명확하고 구체적으.. 2023. 8. 3.
[NLP] Transformer 트랜스포머 모델 Transformer 모델 ; 기존의 seq2seq의 구조인 인코더-디코더를 따르면서도, RNN은 사용하지 않고 attention만으로 구현한 모델 Seq2Seq 모델과 다르게 컨텍스트 벡터를 사용하지 x 인코더의 출력되는 값이 하나의 벡터로 압축되는데 이때 생기는 정보의 손실을 보완하기 위해 나온것이 attention 구조이다. > LSTM모델을 사용하지 않고 Attention 구조를 사용한다. > 입력과 출력의 길이가 다른 경우에 특히 유용 attention만으로 인코더와 디코더를 만든 모델이다. 트랜스포머는 RNN을 사용하지 X 이전 Seq2Seq 구조에서는 인코더와 디코더에서 각각 하나의 RNN이 t개의 시점(time step)을 가지는 구조였다면 이번에는 인코더와 디코더라는 단위가 N개로 구성되.. 2023. 8. 1.
[NLP] Sequence to Sequence 모델 Sequence-to-Sequence ; 입력 시퀀스가 인코더에 들어가면 컨텍스트 벡터 형태로 나와 디코더에 들어가고 그에 따른 디코더의 출력이 출력 시퀀스가 된다. Encoder와 Decoder내에 각 LSTM셀이 들어있고, 이 LSTM셀은 각 입력과 출력을 한다. 예시코드를 보면서 Sequence to Sequence 모델의 구조를 이해하려고 한다. 영어로 된 문장을 한글로 번역하는 모델을 만들어 보자. import pandas as pd import tensorflow as tf from tensorflow.keras.preprocessing.sequence import pad_sequences from tensorflow.keras.utils import to_categorical df= pd.r.. 2023. 8. 1.
728x90
반응형