則該隨機(jī)過(guò) 程 Ｘｎ 為血液溶漿機(jī)離散時(shí) 間的 Ｍａｒｋｏｖ鏈。隨機(jī)過(guò) 程有兩層 含義：第一,，它是 一個(gè)時(shí) 間函 數(shù),，隨時(shí)間的改變而改變,；第二,，每個(gè)時(shí)刻上的函數(shù)值是不確定的,，是按照一定的概率隨機(jī)分 布的,。實(shí)際上,，自然語(yǔ)言中每個(gè)字母或音素的 出現(xiàn) 隨著 時(shí)間的 改變 而改變,，是 時(shí)間 的函數(shù)， 而在每個(gè)時(shí)刻上出現(xiàn)什么字母（或音 素）則有一定 的概率性,，是 隨機(jī)的,。１９１３ 年，Ｍａｒｋｏｖ就 注意到語(yǔ)言符號(hào)出現(xiàn)概率的相互影響,，指出自然語(yǔ)言就是一個(gè)由有記憶 信源發(fā)出 的 Ｍａｒｋｏｖ 鏈,，在這一 Ｍａｒｋｏｖ鏈中，前面的語(yǔ)言符號(hào)對(duì)后面的語(yǔ)言符號(hào)是有影響的,。 如果只考慮前面一個(gè)語(yǔ)言符號(hào)對(duì)后面一個(gè)語(yǔ) 言符 號(hào)出現(xiàn) 概率 的影 響,，這 樣得 出的 語(yǔ)言 成分的鏈稱(chēng)做一階馬爾科夫鏈；如果考慮前面 兩個(gè)語(yǔ) 言符 號(hào)對(duì)后 面一 個(gè)語(yǔ)言 符號(hào) 出現(xiàn) 概率 的影響,，
則稱(chēng)做二階馬爾科夫鏈,，以此類(lèi)推，當(dāng)考慮前面 ｎ個(gè) 語(yǔ)言符號(hào) 對(duì)后面 一個(gè)語(yǔ)言 符號(hào) 出現(xiàn)概率的影響,，則稱(chēng)做 ｎ階馬爾 科夫 鏈,。隨著 馬爾 科夫 鏈階 數(shù)的 增大，隨機(jī) 試驗(yàn) 所得 出 的語(yǔ)言符號(hào)鏈愈來(lái)愈接近有意 義的語(yǔ) 言文 本,。然而,，正 像語(yǔ) 言學(xué) 家喬 姆 斯基（Ｃｈｏｍｓｋｙ）所 指出的，描述自然語(yǔ)言的馬爾科夫鏈的階數(shù)并不是無(wú)窮增加的,，它的極限就是語(yǔ)法上和語(yǔ)義 上成立的自然語(yǔ)言句子的集合，這樣,，就有理由將自然語(yǔ)言的句子看成是重?cái)?shù)很大的馬爾科 夫鏈了,。 ｎ－ｇｒａｍ 模型是近年來(lái)最流行的語(yǔ) 言模 型，它是這 樣定 義的：如 果用 變量 Ｓ代 表文 本 中一個(gè)任意的符號(hào)（字,、詞,、詞 性標(biāo) 記 或義 類(lèi) 標(biāo)記 符 號(hào)）序列，它由 順 序排 列 的 ｎ 個(gè) 符號(hào) 組 成,，即 Ｓ＝ Ｗ１ Ｗ２… Ｗｉ… Ｗｎ,，則 Ｓ在文本中的出現(xiàn)概率 Ｐ（Ｗ１Ｗ２… Ｗｉ… Ｗｎ）可以用 下式 表示： Ｐ（Ｓ）＝ Ｐ（Ｗ１ Ｗ２… Ｗｉ… Ｗｎ） ＝ Ｐ（Ｗ１）Ｐ（Ｗ２／Ｗ１）…Ｐ（Ｗｎ／Ｗ１Ｗ２… Ｗｎ－１） 其中，Ｐ（Ｗｎ／Ｗ１Ｗ２… Ｗｎ－１）表示在給定上下文 信息 Ｗ１ Ｗ２… Ｗｎ－１的條件 下,，Ｗｎ 的 出現(xiàn) 的概率,，即要考慮前面的 ｎ－１ 個(gè)符 號(hào)對(duì) 當(dāng)前符 號(hào)出 現(xiàn)情況 的 影響,。 這種 模型 由于
假設(shè) 當(dāng) 前詞的出現(xiàn)只 與前面 ｎ－１ 個(gè)詞有關(guān)，而 與其他詞 無(wú)關(guān),，可以看 做滿足 Ｍａｒｋｏｖ模型的 無(wú)后 效性條件,，也就可以將其看做是一個(gè)廣義的 ｎ－１階 Ｍａｒｋｏｖ模型。 ２７４ 第七章 自然語(yǔ)言理解 （２） 隱 Ｍａｒｋｏｖ模型 隱 Ｍａｒｋｏｖ模型是由 Ｂａｕｍ 首先提出的,，后被廣泛地應(yīng)用于語(yǔ)音識(shí)別和詞性標(biāo)注,。 它包 含了雙重隨機(jī)過(guò)程，一個(gè)是系統(tǒng)狀態(tài)變化的過(guò) 程,，狀態(tài) 變化所 形成 的狀 態(tài)序列 叫做 狀態(tài)鏈,； 另一個(gè)是由狀態(tài)決定觀察的隨機(jī)過(guò)程，是一個(gè) 輸出 的過(guò) 程,，所 得到 的輸 出序列 稱(chēng)做 輸出鏈,。 “隱”的意思就是輸出鏈?zhǔn)强捎^察到的，但 狀態(tài) 鏈卻 是“隱藏”的,、看不 見(jiàn)的,。 一個(gè)隱 Ｍａｒｋｏｖ 模型的形式描述為 λ＝（Ａ，Ｂ,，π）,，其中，Ａ＝｛ａｉｊ｝為狀態(tài)轉(zhuǎn)移概率矩陣,，且０≤ａｉｊ
