向阳乔木(@vista8)의 스레드

면접관이 저에게 물었습니다. Word2Vec을 한 문장으로 설명해 주시겠습니까? 그 순간, 제가 생각할 수 있었던 것은 "스킵그램", "CBOW", 그리고 "네거티브 샘플링"뿐이었습니다... 하지만 저는 그 말이 한 번 나오면 인터뷰는 끝난다는 걸 알고 있습니다. 나중에야 알게 됐죠. Word2Vec은 단어를 찾는 데 사용됩니다. 이는 도시의 위치를 ​​정의하는 것과 같습니다. 베이징과 상하이는 둘 다 대도시이기 때문에 "도시 규모" 측면에서 매우 비슷합니다. 베이징과 톈진은 지리적으로 가까워서 "지리적 위치" 측면에서 매우 유사합니다. Word2Vec도 같은 일을 합니다. 각 단어에 위치를 지정합니다. 의미가 비슷한 단어는 서로 가깝게 배치됩니다. 이 위치를 어떻게 찾을 수 있나요? 주변에 누가 있는지 살펴보세요. "사과"라는 단어는 종종 "과일", "바나나", "신선한"과 같은 단어로 둘러싸여 있습니다. '휴대폰' 주변 공간에는 '컴퓨터', '화면', '충전기' 등이 자리 잡고 있는 경우가 많습니다. 따라서 기계는 "사과"가 "바나나"와 가깝고 "휴대폰"과는 멀리 떨어져 있어야 한다는 것을 알고 있습니다. 이것이 Word2Vec입니다. 기계 사전을 가르치는 것이 아니라, 기계가 많은 양의 텍스트를 읽고 각 단어가 어디에 있어야 하는지 스스로 학습하도록 하는 것입니다. 학습을 마치면 두 단어가 얼마나 비슷한지 계산할 수 있게 됩니다. 심지어 덧셈과 뺄셈도 수행할 수 있습니다. 왕 - 남자 + 여자 = 여왕 이 공간에서는 '성별'의 차원이 분리될 수 있기 때문입니다. 이는 2013년에 획기적인 진전이었습니다. 그 이후에야 기계는 정말로 의미를 "이해"하게 되었습니다. 모든 현대 NLP는 이 기반 위에 구축되었습니다. 면접관은 듣고 고개를 끄덕였다. 나는 통과했다. --- AI가 생성한 것으로, Word2Vec 학술 논문의 핵심 개념을 설명합니다.