subsampling1 Word2vec 학습 개요 이전 포스팅에서 Word2vec에 대해서 다루었습니다. CBOW와 Skip-Gram 모두 학습할 목적함수의 계산 복잡도가 높았습니다. CBOW의 목적함수는 LCBOW=−u⊤cˆv+log|V|∑j=1exp(u⊤jˆv)와 같으며, Skip-Gram의 경우 Lskip−gram=−2m∑j=0,j≠mu⊤c−m+jvc+2mlog|V|∑k=1exp(u⊤kvc)였습니다. 계산 복잡도가 높다는 말은 |V|와 직접적인 관련이 있습니다. |V|는 분석하고자하는 데이터로 부터 구축한 사전의 단어의 .. 2019. 7. 28. 이전 1 다음
