728x90 반응형 Natural Language Processing23 [NLP] Word2Vector Korean Word2VecABOUT 이곳은 단어의 효율적인 의미 추정 기법(Word2Vec 알고리즘)을 우리말에 적용해 본 실험 공간입니다. Word2Vec 알고리즘은 인공 신경망을 생성해 각각의 한국어 형태소를 1,000차원의 벡터 스페이word2vec.kr>> 한국어 단어(word)로 벡터 연산을 해볼 수 있는 사이트단어들로 벡터연산한 결과를 볼 수 있는데, 위 예시를 풀이해 보자면한국의 수도는 서울 이고, 일본의 수도는 도쿄 라는 사실을 먼저 알고 들어가자한국-서울+도쿄=? 의 식으로 생각할 때, 도쿄를 우변으로 넘기면 -도쿄가 되버린다.그럼 한국-서울=?-도쿄 의 식이 나오게 되는데 좌변과 우변이 같을 때, 물음표에 들어갈 단어는 상식적으로 일본이 되는 것을 알 수 있다. > 컴퓨터가 단어의 의.. 2023. 8. 1. [NLP] Transfer Learning 전이학습 전이학습 (Transfer Learning); 한 작업에서 학습한 지식을 다른 관련작업에 이전하여 학습 성능을 향상시키는 기술. 새로운 모델을 생성할 때, 충분한 양의 데이터가 없거나 학습에 많은 비용이 들어가는 경우가 많다.이러한 문제를 해결하기 위해 이미 학습된 모델이나 그 모델의 일부를 새로운 작업에 활용하는 방식을 전이학습 이라고 한다.이전 모델에서 일부 또는 전체 파라미터를 조정하여 새로운 모델에 적합하도록 만든다. 적은 양의 데이터로도 높은 성능을 달성할 수 있다는 장점이 있다. 사전학습 (Pre-trained); 대규모 데이터셋으로 미리 학습된 모델. 사전학습된 모델들은 일반적이고 추상화된 특성들을 학습하도록 설계되었다. 위 전이학습에서 필요한 사전학습된 모델이 이에 해당한다. 파인튜.. 2023. 7. 31. [NLP] 정규표현식 정규표현식 (Regular Expression); 일정한 규칙(패턴)을 가진 문자열을 표현하는 방법 복잡한 문자열 속에서 특정한 규칙으로 된 문자열을 검색한 뒤 추출하거나 바꿀 때,문자열이 정해진 규칙에 맞는지 판단할 때도 사용 1. 문자열 판단하기; re. match( '패턴' , '문자열' )import rere.match('hello','hello, world!')# 전 문자열을 후 문자열에서 찾을 수 있으므로 정규표현식 매치객체가 반환됨re.match('python','hello, world!')# 전 문자열이 후 문자열에 없으므로 아무것도 반환되지 않음 정규 표현식은 re 모듈을 가져와서 사용하며 match함수에 정규표현식 패턴과 판단할 문자열을 넣는다. 2023. 7. 25. 이전 1 ··· 3 4 5 6 다음 728x90 반응형
