추론 기반 기법1 3장 3.1 추론 기반 기법과 신경망 3.2 단순한 word2vec 3.3 학습 데이터 준비 3.4 CBOW 모델 구현 3.5 word2vec 보충 3.1 추론 기반 기법과 신경망 단어를 벡터로 표현하는 방법: 통계 기반 기법 & 추론 기반 기법 1) 통계 기반 기법의 문제점 대규모 말뭉치를 다룰 때 문제 발생 거대 행렬에 SVD를 적용하는 일은 불가능 함. (SVD = 특이값 분해) 통계 기반 기법은 말뭉치 전체의 통계(동시발생행렬과 PPMI 등)를 이용해 단 1회의 처리(SVD 등)만에 단어의 분산 표현을 얻는다. 추론 기반 기법에서는 미니배치로 학습하는 것이 일반적이다. 통계 기반 기법: 학습 데이터 한꺼번에 처리(배치학습). 추론 기반 기법: 학습 데이터의 일부를 사용해 순차적으로 학습(미니배치 학습).. 2023. 7. 20. 이전 1 다음
