review: Word2vec: More details

How do we have usable meaning in a computer?

wordNet的問(wèn)題:?

1. 詞語(yǔ)跟詞語(yǔ)之間存在一定的語(yǔ)境差別 2. 有些單詞的新含義缺少 3. 需要主觀調(diào)整 4. 無(wú)法計(jì)算單詞相似度 word2vec

步驟:

1. 尋找大量的文本 2. 固定詞匯表中的每個(gè)單詞都有一個(gè)向量表示 3. 文本中的每一個(gè)位置t，均存在中心詞c和上下詞o 4. 使用c和o的詞向量相似性來(lái)計(jì)算給定c和o的概率 5.不斷調(diào)整詞向量來(lái)最大化這個(gè)概率

word2vec的一些參數(shù):

1. U的每一行都是一個(gè)單詞的詞向量，點(diǎn)乘之后通過(guò)softmax可以得到概率分布，從而得到上下文分布。但是該分布和你在上下文哪個(gè)位置是無(wú)關(guān)的， 2. We want a model that gives a reasonably high probability estimate to all words that occur in the context (fairly often)----我們希望給出一個(gè)合理的高概率估計(jì) 3. 去除一些停用詞 更細(xì)的細(xì)節(jié)

為什么每個(gè)單詞都需要訓(xùn)練兩個(gè)詞向量

1. 更容易優(yōu)化，最后都取平均值 2. 可以每個(gè)單詞只??個(gè)向量

兩個(gè)模型變體

1. Skip-grams (SG)輸?中?詞并預(yù)測(cè)上下?中的單詞 2. Continuous Bag of Words (CBOW)輸?上下?中的單詞并預(yù)測(cè)中?詞 之前?直使?softmax(簡(jiǎn)單但代價(jià)很?的訓(xùn)練?法)

接下來(lái)使?負(fù)采樣?法加快訓(xùn)練速率 The skip-gram model with negative sampling (HW2)

原始的論文中skip-gram模型是最大化的，這里給出:

課程中的公式:

我們希望中?詞與真實(shí)上下?單詞的向量點(diǎn)積更?，中?詞與隨機(jī)單詞的點(diǎn)積更?

k是我們負(fù)采樣的樣本數(shù)?

這里的0.75次方是選擇的比較好的，沒(méi)有科學(xué)依據(jù)

But why not capture co-occurrence counts directly?共現(xiàn)矩陣

共現(xiàn)矩陣 X

1. 兩個(gè)方法：windows vs. full document 2. Window ：與word2vec類(lèi)似，在每個(gè)單詞周?chē)际?Window，包括語(yǔ)法(POS)和語(yǔ)義信息 3. Word-document 共現(xiàn)矩陣的基本假設(shè)是在同?篇?章中出現(xiàn)的單詞更有可能相互關(guān)聯(lián)。假設(shè)單詞i出現(xiàn)在?章 中j，則矩陣元素$X_{ij}$加?，當(dāng)我們處理完數(shù)據(jù)庫(kù)中的所有?章后，就得到了矩陣 X，其??為 |V|*M,其中|V|為詞匯量，而M為文章數(shù)，這?構(gòu)建單詞?章co-occurrencematrix的?法也是經(jīng)典的Latent Semantic Analysis所采?的。{>>潛在語(yǔ)義分析<<} ?

利?某個(gè)定?窗?中單詞與單詞同時(shí)出現(xiàn)的次數(shù)來(lái)產(chǎn)?window-based (word-word) co-occurrence matrix

let me to tell you a example: 句子

1. I like deep learning. 2. I like NLP. 3. I enjoy flying. 則我們可以得到如下的word-word co-occurrence matrix:

使?共現(xiàn)次數(shù)衡量單詞的相似性，但是會(huì)隨著詞匯量的增加?增?矩陣的??，并且需要很多空間來(lái)存儲(chǔ)這??維矩陣，后續(xù)的分類(lèi)模型也會(huì)由于矩陣的稀疏性?存在稀疏性問(wèn)題，使得效果不佳。我們需要 對(duì)這?矩陣進(jìn)?降維，獲得低維(25-1000)的稠密向量 how to reduce the dimensionality？

方法一: SVD分解

方法二: Ramped windows that count closer words more----將window傾斜向能統(tǒng)計(jì)更接近的單詞中

方法三: 采用person相關(guān)系數(shù)

glove

兩種方法:

1. 基于計(jì)數(shù)：使?整個(gè)矩陣的全局統(tǒng)計(jì)數(shù)據(jù)來(lái)直接估計(jì):

優(yōu)點(diǎn)

1. 訓(xùn)練快速 2. 統(tǒng)計(jì)數(shù)據(jù)?效利?

缺點(diǎn)

1. 主要?于捕捉單詞相似性 2. 對(duì)?量數(shù)據(jù)給予?例失調(diào)的重視 2. 轉(zhuǎn)換計(jì)數(shù)：定義概率分布并試圖預(yù)測(cè)單詞

優(yōu)點(diǎn)

1. 提?其他任務(wù)的性能 2. 能捕獲除了單詞相似性以外的復(fù)雜的模式

缺點(diǎn)

1. 與語(yǔ)料庫(kù)??有關(guān)的量表 2. 統(tǒng)計(jì)數(shù)據(jù)的低效使?（采樣是對(duì)統(tǒng)計(jì)數(shù)據(jù)的低效使?） Encoding meaning in vector differences

采用共現(xiàn)矩陣的思想對(duì)meaning進(jìn)行編碼

為什么采用比值有用?這里摘抄至網(wǎng)上: 假如我們想?yún)^(qū)分ice(固體)和stream(蒸汽)，它們之間的關(guān)系可通過(guò)與不同單詞x的共線矩陣相似性比值來(lái)秒速，比如p(solid | ice)和p(solid | stream)相比，雖然它們之間的值都很小，不能透露有效消息，但是它們的比值卻很大，所以相比之下，solid更常見(jiàn)的用來(lái)表示ice而不是stream

我們?nèi)绾卧u(píng)判在線性表達(dá)下的共現(xiàn)矩陣相似度

1. log-bilinear 模型：

2. 向量差異：

公式推導(dǎo)部分來(lái)啦,非常非常重要的目標(biāo)函數(shù)優(yōu)化 基于對(duì)于以上概率比值的觀察，我們假設(shè)模型的函數(shù)有如下形式：

其中，代表了context vector, 如上例中的solid, gas, water, fashion等。則是我們要比較的兩個(gè)詞匯, 如上例中的ice，steam。 ? F的可選的形式過(guò)多，我們希望有所限定。首先我們希望的是F能有效的在單詞向量空間內(nèi)表示概率比值，由于向顯空問(wèn)是線性率間，一個(gè)自然的假設(shè)是 F 是關(guān)于同顯 的差的形式：

或：

在此，作者又對(duì)其進(jìn)行了對(duì)稱性分析，即對(duì)于word-word co-occurrence，將向量劃分為center word還是context word的選擇是不重要的，即我們?cè)诮粨Q與的時(shí)候該式仍然成立。如何保證這種對(duì)稱性呢？ ? ? 我們分兩步來(lái)進(jìn)行, 首先要求滿足

該方程的解為 F=exp(參考上面的評(píng)價(jià)方法)同時(shí)與

相比較有

所以,

注意其中破壞了交換與時(shí)的對(duì)稱性, 但是這一項(xiàng)并不依賴于 k?所以我們可以將其融合進(jìn)關(guān)于的bias項(xiàng)第二部就是為了平衡對(duì)稱性, 我們?cè)偌尤腙P(guān)于的bias項(xiàng)我們就可以得到的形式。另一方面作者注宣到模型的一個(gè)缺點(diǎn)是對(duì)于所有的co-occurence的權(quán)重是一樣的，即使是那些較少發(fā) 生的co-occurrence。作者認(rèn)為這些可能是噪聲聲，所以他加入了前面的項(xiàng)來(lái)做weighted least squares regression模型，即為

的形式。 其中權(quán)重項(xiàng) f 需滿足一下條件：

f(0)=0，因?yàn)橐?是有限的。

較少發(fā)生的co-occurrence所占比重較小。

對(duì)于較多發(fā)生的co-occurrence， f(x)也不能過(guò)大。

優(yōu)點(diǎn)

訓(xùn)練快速

可以擴(kuò)展到?型語(yǔ)料庫(kù)

即使是?語(yǔ)料庫(kù)和?向量，性能也很好

How to evaluate word vectors?

與NLP的?般評(píng)估相關(guān)：內(nèi)在與外在

內(nèi)在

對(duì)特定/中間?任務(wù)進(jìn)?評(píng)估

計(jì)算速度快

有助于理解這個(gè)系統(tǒng)

不清楚是否真的有?，除?與實(shí)際任務(wù)建?了相關(guān)性

外在

對(duì)真實(shí)任務(wù)的評(píng)估

計(jì)算精確度可能需要很?時(shí)間

不清楚?系統(tǒng)是問(wèn)題所在，是交互問(wèn)題，還是其他?系統(tǒng)

如果?另?個(gè)?系統(tǒng)替換?個(gè)?系統(tǒng)可以提?精確度

Intrinsic word vector evaluation

詞向量類(lèi)?a:b = c:?,類(lèi)似于之前的男人對(duì)國(guó)王，求女人對(duì)?

英文解釋: This metric has an intuitive interpretation. Ideally, we want xb?xa = xd ?xc (For instance, queen – king = actress – actor). This implies that we want xb?xa + xc = xd. Thus we identify the vector xd which maximizes the normalized dot-product between the two word vectors (i.e. cosine similarity).

一些結(jié)果舉例子：

結(jié)論

1. 300是?個(gè)很好的詞向量維度 2. 不對(duì)稱上下?(只使?單側(cè)的單詞)不是很好，但是這在下游任務(wù)重可能不同 3. window size 設(shè)為 8 對(duì) Glove向量來(lái)說(shuō)?較好 4. window size設(shè)為2的時(shí)候?qū)嶋H上有效的，并且對(duì)于句法分析是更好的，因?yàn)榫浞ㄐЧ?常局部 5. 當(dāng)詞向量的維度不斷變大的時(shí)候，詞向量的效果不會(huì)一直變差，并且會(huì)保持平穩(wěn) 6. glove的訓(xùn)練時(shí)間越長(zhǎng)越好 7. 數(shù)據(jù)集越大越好，盡量使用百科類(lèi)數(shù)據(jù)集合 8. 使用余弦相似度 Another intrinsic word vector evaluation

the problem：Most words have lots of meanings!(一詞多義問(wèn)題)? Especially common words ? Especially words that have existed for a long time

method1: Improving Word Representations Via Global Context And Multiple Word Prototypes (Huang et al. 2012) -------將常?詞的所有上下?進(jìn)?聚類(lèi)，通過(guò)該詞得到?些清晰的簇，從?將這個(gè)常?詞分解為多個(gè)單詞，例如 bank_1, bank_2, bank_3

method2: Linear Algebraic Structure of Word Senses, with Applications to Polysemy (Arora, …, Ma, …, TACL 2018)

Different senses of a word reside in a linear superposition (weighted sum) in standard word embeddings like word2vec -----------采用加權(quán)和的形式進(jìn)行處理

令人驚訝的是,這個(gè)加權(quán)均值的效果非常好

Training for extrinsic tasks

到目前我們學(xué)的為止，我們的目標(biāo)是內(nèi)在任務(wù)，強(qiáng)調(diào)開(kāi)發(fā)一個(gè)特別優(yōu)秀的word embedding。接下來(lái)我們討論如何處理外部任務(wù)

Problem Formulation

Most NLP extrinsic tasks can be formulated as classi?cation tasks. For instance, given a sentence, we can classify the sentence to have positive, negative or neutral sentiment. Similarly, in named-entity recognition (NER), given a context and a central word, we want to classify the central word to be one of many classes. ------許多nlp的task都可以歸類(lèi)為分類(lèi)任務(wù)

for example:我們有一個(gè)句子: Jim bought 300 shares of Acme Corp. in 2006,我們的目標(biāo)是得到一個(gè)結(jié)果:[Jim]Person bought 300 shares of [Acme Corp.]Organization in [2006]Time.

對(duì)于這類(lèi)問(wèn)題，我們通常從以下形式的訓(xùn)練集合開(kāi)始:

其中是一個(gè)d維度的詞向量，是一個(gè)C維度的one-hot向量，表示我們wished label(情感詞語(yǔ)，其他詞語(yǔ)，命名主體詞語(yǔ)，買(mǎi)賣(mài)決策，等) ? 在機(jī)器學(xué)習(xí)里面，對(duì)于上面問(wèn)題，我們通常固定輸入和輸出的形式，然后采用一些優(yōu)化算法訓(xùn)練權(quán)重。但在nlp里面，我們需要在訓(xùn)練外部任務(wù)的時(shí)候，對(duì)輸入的詞向量進(jìn)行再次訓(xùn)練 ?Retraining Word Vectors?

我們預(yù)訓(xùn)練的詞向量在外部評(píng)估中的表現(xiàn)仍然有提高的可能，然而，如果我們選擇重新訓(xùn)練，我們會(huì)存在很大的風(fēng)險(xiǎn)------可能效果會(huì)比之前差得多

If we retrain word vectors using the extrinsic task, we need to ensure that the training set is large enough to cover most words from the vocabulary. -----因?yàn)閣ord2vec和glove會(huì)產(chǎn)生一些語(yǔ)義接近的單詞，并且這些單詞位于同一個(gè)單詞空間。如果我們?cè)谝粋€(gè)小的數(shù)據(jù)集上預(yù)訓(xùn)練，這些單詞可能在向量空間中移動(dòng)，這會(huì)導(dǎo)致我們的結(jié)果更差

舉例子: 這兩個(gè)例子可以清楚明白的看到，訓(xùn)練集合如果過(guò)于小，我們的分類(lèi)結(jié)果非常差

結(jié)論:如果訓(xùn)練數(shù)據(jù)集合太小，就不應(yīng)該對(duì)單詞向量進(jìn)行再訓(xùn)練。如果培訓(xùn)集很大，再培訓(xùn)可以提高性能Softmax Classi?cation and Regularization

softmax的訓(xùn)練

1. 函數(shù)形式:

2. 上個(gè)式子，是我們計(jì)算x是j的概率，我們采用交叉熵?fù)p失函數(shù):

3. 對(duì)上面損失函數(shù)優(yōu)化，因?yàn)槲覀?y_j$為1，其他類(lèi)別就是0，也就是說(shuō)，對(duì)于單個(gè)詞語(yǔ)我們的損失函數(shù)簡(jiǎn)化為:

4. 上式損失函數(shù)只是一個(gè)單詞的，但是我們需要使用的訓(xùn)練集不止一個(gè)dancing，假設(shè)我們有N個(gè)單詞，將損失函數(shù)擴(kuò)展:

5. 為了防止過(guò)擬合，我們需要加入一個(gè)懲罰項(xiàng):

為什么懲罰項(xiàng)的參數(shù)是？ ? 我們需要同時(shí)訓(xùn)練模型的權(quán)值w和詞向量x。對(duì)于權(quán)值來(lái)將，我們需要一個(gè)d維度向量的輸入和一個(gè)C維度向量輸出，所以是C*d；對(duì)于詞向量來(lái)說(shuō)，我們?cè)~匯表有v個(gè)詞匯，每個(gè)詞匯的維度是d維，所以是|v|*d ? ????6. 如果我們調(diào)整好 λ 這個(gè)超參數(shù)的值，這會(huì)降低損失函數(shù)出現(xiàn)很大值的參數(shù)的可能性因?yàn)閼土P項(xiàng)的存在，同時(shí)，這個(gè)也能提高模型的泛化能力 ?Window Classi?cation

我們通常的輸入不是一個(gè)單詞

更多的情況，我們模型的輸入是一個(gè)單詞序列(取決于你的問(wèn)題的情況，確認(rèn)窗口的大小)，一般來(lái)講，較窄的窗口會(huì)在句法測(cè)試中會(huì)存在更好的性能，而更寬的窗口在語(yǔ)義測(cè)試中表現(xiàn)更好

敲公式敲累了，偷個(gè)懶，這里就是在softmax里面我們擴(kuò)展到你窗口大小就行

本文推薦閱讀論文:

Improving Distributional Similarity with Lessons Learned from Word Embeddings

Evaluation methods for unsupervised word embeddings

責(zé)任編輯：xj

原文標(biāo)題：【CS224N筆記】詞向量和詞義

文章出處：【微信公眾號(hào)：深度學(xué)習(xí)自然語(yǔ)言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。