專利名稱：利用語句結(jié)構(gòu)信息的機(jī)器翻譯自動(dòng)評(píng)測(cè)系統(tǒng)及實(shí)現(xiàn)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種機(jī)器翻譯自動(dòng)評(píng)測(cè)系統(tǒng)，特別涉及一種利用語句結(jié)構(gòu)信息的機(jī)器
翻譯自動(dòng)評(píng)測(cè)系統(tǒng)及方法。
背景技術(shù)：
機(jī)器翻譯評(píng)測(cè)是指對(duì)機(jī)器翻譯結(jié)果正確與否做出評(píng)價(jià)。機(jī)器翻譯評(píng)測(cè)技術(shù)對(duì)于機(jī)器翻譯的發(fā)展起著至關(guān)重要的作用，它不但可以推動(dòng)機(jī)器翻譯系統(tǒng)的市場(chǎng)推廣，并且可以幫助研究者對(duì)翻譯系統(tǒng)的關(guān)鍵技術(shù)進(jìn)行研究并改進(jìn)。機(jī)器翻譯評(píng)測(cè)的實(shí)現(xiàn)方法有兩種人工評(píng)測(cè)和自動(dòng)評(píng)測(cè)。人工評(píng)測(cè)主要是通過專家評(píng)測(cè)打分來實(shí)現(xiàn)，這種評(píng)測(cè)方法主觀性比較強(qiáng)，并且非常耗時(shí)耗力，而使用自動(dòng)評(píng)測(cè)就能夠大大降低評(píng)測(cè)的成本。隨著近年來機(jī)器翻譯技術(shù)的發(fā)展，機(jī)器翻譯自動(dòng)評(píng)測(cè)技術(shù)得到了越來越多的重視，機(jī)器翻譯自動(dòng)評(píng)測(cè)系統(tǒng)最基本的目的是對(duì)機(jī)器翻譯結(jié)果和人工翻譯結(jié)果進(jìn)行比較，便于機(jī)器翻譯系統(tǒng)的開發(fā)者對(duì)翻譯系統(tǒng)性能進(jìn)行評(píng)估，通過自動(dòng)評(píng)測(cè)提供給用戶一個(gè)詳細(xì)的系統(tǒng)性能參數(shù)。機(jī)器翻譯自動(dòng)評(píng)測(cè)系統(tǒng)還便于研究人員了解翻譯系統(tǒng)的核心技術(shù)，有助于找到提升機(jī)器翻譯性能的方法。
現(xiàn)有技術(shù)中的機(jī)器翻譯自動(dòng)評(píng)測(cè)系統(tǒng)大多數(shù)是基于字詞或短語的共現(xiàn)匹配原理實(shí)現(xiàn)的，如BLEU評(píng)測(cè)方法和美國國家標(biāo)準(zhǔn)與技術(shù)局NIST在BLEU評(píng)測(cè)標(biāo)準(zhǔn)的基礎(chǔ)上所提出的NIST方法等都是基于字詞或短語的共現(xiàn)匹配原理實(shí)現(xiàn)的。具體的說，這種類型的系統(tǒng)對(duì)機(jī)器翻譯系統(tǒng)的評(píng)價(jià)都是基于詞匯或者字等表層信息進(jìn)行的，在匹配過程中首先根據(jù)字、詞匯或短語做匹配，然后根據(jù)匹配的情況來評(píng)價(jià)譯文的質(zhì)量，在這一匹配過程中，并不考慮語言深層結(jié)構(gòu)信息。然而在語言的表達(dá)中，語句結(jié)構(gòu)也是語義表達(dá)的重要方式。忽略語句結(jié)構(gòu)的評(píng)測(cè)系統(tǒng)由于沒有有效地評(píng)價(jià)機(jī)器翻譯譯文語句結(jié)構(gòu)的合理性，因此常常會(huì)出現(xiàn)機(jī)器譯文的評(píng)測(cè)得分較高但是語句結(jié)構(gòu)卻很不合理，不符合人類專家語感的情況；或者，雖然機(jī)器譯文結(jié)構(gòu)合理，符合人的語感，但是因?yàn)椴捎昧肆硗獾谋硎龇绞?，字詞匹配度較低，從而獲得較低的評(píng)價(jià)得分的情況。上述情況都使得現(xiàn)有的評(píng)測(cè)系統(tǒng)對(duì)機(jī)器譯文質(zhì)量難以做全面完整的評(píng)測(cè)，評(píng)測(cè)所得到的結(jié)果難以符合人的語感，也難以實(shí)際反映出譯文的實(shí)際質(zhì)量。例如源語言句l :All campaigning and media coverage have to stop at midnightFriday, allowing voters to reflect on their choice before the polls open onSundaymorning. 機(jī)器譯文1 :全部參加競(jìng)選和允許投票者考慮他們的選擇，在投票于星期日早上開始之前，媒介報(bào)導(dǎo)必須星期五在午夜停止。 源語言句2 :The motive of the gunman was still unknown.
機(jī)器譯文2 :持槍歹徒的動(dòng)機(jī)仍然是未知的。 從上面例子中可以看到，機(jī)器譯文1的質(zhì)量是比較差的，并且在句子結(jié)構(gòu)上存在問題，而機(jī)器譯文2的翻譯比較準(zhǔn)確。但是如果用現(xiàn)有的機(jī)器翻譯評(píng)測(cè)系統(tǒng)對(duì)上面兩個(gè)機(jī)器譯文進(jìn)行評(píng)測(cè)的話，我們可以發(fā)現(xiàn)，機(jī)器譯文l的得分要高于機(jī)器譯文2。分析原因是由于機(jī)器譯文2采用了不同的表述方法，與四句參考譯文"槍手的動(dòng)機(jī)還不得而知/持槍者的犯罪動(dòng)機(jī)尚不得而知/槍手的動(dòng)機(jī)還不知曉/持槍者的動(dòng)機(jī)尚未查明"相比，從字詞匹配上來講是有區(qū)別的，導(dǎo)致了字詞匹配率很低，所以評(píng)價(jià)得分也會(huì)比較低。但是從人類專家人工評(píng)價(jià)的角度來看，機(jī)器譯文2的質(zhì)量要遠(yuǎn)好于機(jī)器譯文1。所以機(jī)器翻譯自動(dòng)評(píng)價(jià)不能單單通過字詞匹配來獲得結(jié)果，還應(yīng)該對(duì)語言的深層信息(如語句結(jié)構(gòu)信息)進(jìn)行理解，并通過這些信息對(duì)譯文進(jìn)行評(píng)價(jià)。 語句結(jié)構(gòu)本身具有表示語義的作用，結(jié)構(gòu)的錯(cuò)誤在表達(dá)上可能會(huì)扭曲原文的內(nèi)容；同樣，正確的結(jié)構(gòu)也能較好反映源語言句子的語義內(nèi)容。另外，語句結(jié)構(gòu)的好壞是影響譯文質(zhì)量的一個(gè)重要因素，直接反映了譯文的可讀性。目前利用語言理解深層信息對(duì)機(jī)器翻譯系統(tǒng)譯文的語句結(jié)構(gòu)進(jìn)行有效評(píng)價(jià)的評(píng)測(cè)技術(shù)還不存在，已有評(píng)測(cè)技術(shù)的結(jié)果并不能對(duì)語句結(jié)構(gòu)翻譯的合理性給出有效評(píng)價(jià)，而機(jī)器翻譯的發(fā)展需要自動(dòng)評(píng)測(cè)技術(shù)對(duì)譯文語句結(jié)構(gòu)的合理性做出有效的評(píng)價(jià)，以便全面完整地對(duì)譯文質(zhì)量進(jìn)行評(píng)價(jià)。
發(fā)明內(nèi)容
本發(fā)明的目的是為了克服現(xiàn)有機(jī)器翻譯自動(dòng)評(píng)測(cè)系統(tǒng)與方法沒有利用句子的語義信息，使得對(duì)機(jī)器譯文的評(píng)測(cè)不夠合理的缺陷，從而提供了一種更加全面、合理的機(jī)器翻譯自動(dòng)評(píng)測(cè)方法及系統(tǒng)。 為了實(shí)現(xiàn)上述目的，本發(fā)明提供了一種機(jī)器翻譯自動(dòng)評(píng)測(cè)方法，包括 步驟1)、讀取機(jī)器翻譯所得到的機(jī)器譯文、所述機(jī)器譯文的關(guān)于語句結(jié)構(gòu)的標(biāo)注
信息以及所述機(jī)器譯文在被翻譯前所對(duì)應(yīng)的源語言句； 步驟2)、根據(jù)所述機(jī)器譯文的源語言句，讀取該源語言句的關(guān)于語句結(jié)構(gòu)的標(biāo)注
信息、該源語言句的參考譯文、所述參考譯文的關(guān)于語句結(jié)構(gòu)的標(biāo)注信息； 步驟3)、根據(jù)所述機(jī)器譯文的關(guān)于語句結(jié)構(gòu)的標(biāo)注信息分析所述機(jī)器譯文的語句
結(jié)構(gòu)，根據(jù)所述源語言句的關(guān)于語句結(jié)構(gòu)的標(biāo)注信息分析所述源語言句的語句結(jié)構(gòu)，根據(jù)
所述參考譯文的關(guān)于語句結(jié)構(gòu)的標(biāo)注信息分析所述參考譯文的語句結(jié)構(gòu)； 步驟4)、比較所述源語言句的語句結(jié)構(gòu)以及所述參考譯文的語句結(jié)構(gòu)，計(jì)算所述
參考譯文的語句結(jié)構(gòu)的轉(zhuǎn)換情況； 步驟5)、比較所述源語言句的語句結(jié)構(gòu)以及所述機(jī)器譯文的語句結(jié)構(gòu)，計(jì)算所述
機(jī)器譯文的語句結(jié)構(gòu)的轉(zhuǎn)換情況，然后將所述參考譯文的語句結(jié)構(gòu)的轉(zhuǎn)換情況與所述機(jī)器
譯文的語句結(jié)構(gòu)的轉(zhuǎn)換情況進(jìn)行比較，根據(jù)比較結(jié)果對(duì)機(jī)器譯文加以評(píng)價(jià)。 上述技術(shù)方案中，所述的語句結(jié)構(gòu)用句類信息和句式信息表示，所述的關(guān)于語句
結(jié)構(gòu)的標(biāo)注信息用HNC標(biāo)注信息表示；所述的步驟4)包括 步驟4-1)、比較所述源語言句的句類信息以及所述參考譯文的句類信息，計(jì)算所述參考譯文的句類轉(zhuǎn)換強(qiáng)度； 步驟4-2)、比較所述源語言句的句式信息以及所述參考譯文的句式信息，計(jì)算所述參考譯文的句式轉(zhuǎn)換強(qiáng)度。 上述技術(shù)方案中，所述的步驟4-l)包括 步驟4-1-1)、將所述參考譯文的句類與所述源語言句的句類進(jìn)行對(duì)比，在由所述參考譯文所形成的參考譯文組中，當(dāng)一些參考譯文的句類發(fā)生了改變，而另一些沒有發(fā)生改變，則認(rèn)為是句類選擇性轉(zhuǎn)換，標(biāo)記為S_sct ;
步驟4-1-2)、將所述參考譯文的句類與所述源語言句的句類進(jìn)行對(duì)比，當(dāng)所述參考譯文組中所有參考譯文的句類都沒有發(fā)生改變，則認(rèn)為是句類零轉(zhuǎn)換，標(biāo)記為N_sct ;
步驟4-1-3)、將所述參考譯文的句類與所述源語言句的句類進(jìn)行對(duì)比，當(dāng)所述參考譯文組中所有參考譯文的句類都發(fā)生了改變，則認(rèn)為是句類強(qiáng)制性轉(zhuǎn)換，標(biāo)記為F—sct。
上述技術(shù)方案中，所述的步驟4-2)包括 步驟4-2-1)、將所述參考譯文的句式與所述源語言句的句式進(jìn)行對(duì)比，在由所述參考譯文所形成的參考譯文組中，當(dāng)有一些參考譯文的句式發(fā)生了改變，而另一些沒有發(fā)生改變，則認(rèn)為是句式選擇性轉(zhuǎn)換，標(biāo)記為S_sft ; 步驟4-2-2)、將所述參考譯文的句式與所述源語言句的句式進(jìn)行對(duì)比，當(dāng)所述參考譯文組中所有參考譯文的句式都沒有發(fā)生改變，則認(rèn)為是句式零轉(zhuǎn)換，標(biāo)記為N_sft ;
步驟4-2-3)、將所述參考譯文的句式與源語言句的句式進(jìn)行對(duì)比，當(dāng)所述參考譯文組中所有參考譯文的句式都發(fā)生了改變，則認(rèn)為是句式強(qiáng)制性轉(zhuǎn)換，標(biāo)記為F—sft。
上述技術(shù)方案中，所述的步驟5)包括 步驟5-1)、獲取所述機(jī)器譯文的句類信息，然后根據(jù)所述參考譯文的句類轉(zhuǎn)換強(qiáng)
度計(jì)算所述機(jī)器譯文的句類轉(zhuǎn)換得分，進(jìn)而得到多個(gè)機(jī)器譯文的句類平均轉(zhuǎn)換得分； 步驟5-2)、獲取所述機(jī)器譯文的句式信息，然后根據(jù)所述參考譯文的句式轉(zhuǎn)換強(qiáng)
度計(jì)算所述機(jī)器譯文的句式轉(zhuǎn)換得分，進(jìn)而得到多個(gè)機(jī)器譯文的句式平均轉(zhuǎn)換得分； 步驟5-3)、由所述多個(gè)機(jī)器譯文的句類平均轉(zhuǎn)換得分以及句式平均轉(zhuǎn)換得分計(jì)算
相應(yīng)機(jī)器翻譯的句類句式聯(lián)合評(píng)價(jià)得分。 上述技術(shù)方案中，所述的步驟5-l)包括 步驟5-1-1)、獲得參考譯文組Ri中參考答案的個(gè)數(shù)lRil，參考答案組Ri中與翻譯系統(tǒng)譯文ti的句類相同的參考答案r的個(gè)數(shù)co爐(k" e ;
步驟5-1-2)、獲取機(jī)器譯文的句類信息； 步驟5-1-3)、讀取參考譯文的句類轉(zhuǎn)換強(qiáng)度，如果轉(zhuǎn)換強(qiáng)度表明是選擇性轉(zhuǎn)換S_sct，則轉(zhuǎn)步驟5-1-4);如果轉(zhuǎn)換強(qiáng)度表明是零轉(zhuǎn)換N—sct，則轉(zhuǎn)步驟5-1-5);如果轉(zhuǎn)換強(qiáng)度表明是強(qiáng)制性轉(zhuǎn)換F_sct，則轉(zhuǎn)步驟5-1-6); 步驟5-1-4)、對(duì)于選擇性轉(zhuǎn)換的轉(zhuǎn)換強(qiáng)度S—sct，根據(jù)下述公式計(jì)算出機(jī)器譯文的句類轉(zhuǎn)換評(píng)價(jià)得分 s" —/"/0化}= l + log(l + -
co爐
尺 轉(zhuǎn)步驟5-1-7); 步驟5-1-5)、對(duì)于零轉(zhuǎn)換的轉(zhuǎn)換強(qiáng)度N_sct，把機(jī)器譯文的句類句式和參考譯文組的句類進(jìn)行對(duì)比，然后根據(jù)下述公式計(jì)算出機(jī)器譯文的句類轉(zhuǎn)換評(píng)價(jià)得分 — /"X^ }=
尺
1 + log 2 ' 5T」,=^C一i ,. 轉(zhuǎn)步驟5-1-7); 步驟5-1-6)、對(duì)于強(qiáng)制性轉(zhuǎn)換的轉(zhuǎn)換強(qiáng)度F—sct，把機(jī)器譯文的句類和參考譯文
8組的句類進(jìn)行對(duì)比，然后根據(jù)下述公式計(jì)算出機(jī)器譯文的句類轉(zhuǎn)換評(píng)價(jià)得分
1
1 + lOg(l +--'/ SC一^ # 7—& € } 轉(zhuǎn)步驟5-1-7); 步驟5-1-7)、對(duì)所有機(jī)器譯文的句類轉(zhuǎn)換評(píng)價(jià)得分求平均值，得到句類轉(zhuǎn)換平均評(píng)價(jià)得分sct」nfo。 上述技術(shù)方案中，所述的步驟5-2)包括 步驟5-2-1)、獲得參考譯文組&中參考答案的個(gè)數(shù)I & I ，參考答案組&中與機(jī)器譯文ti的句式相同的參考答案r的個(gè)數(shù)co"""b—,, ;
步驟5-2-2)、獲取機(jī)器譯文的句式信息； 步驟5-2-3)、讀取參考譯文的句式轉(zhuǎn)換強(qiáng)度，如果轉(zhuǎn)換強(qiáng)度表明是選擇性轉(zhuǎn)換S_sft，則執(zhí)行步驟5-2-4);如果轉(zhuǎn)換強(qiáng)度表明是零轉(zhuǎn)換N—sft，則執(zhí)行步驟5-2-5);如果轉(zhuǎn)換強(qiáng)度表明是強(qiáng)制性轉(zhuǎn)換F_sft，則執(zhí)行步驟5-2-6); 步驟5-2-4)、對(duì)于選擇性轉(zhuǎn)換的轉(zhuǎn)換強(qiáng)度S—sft，根據(jù)下述公式計(jì)算出機(jī)器譯文的句式轉(zhuǎn)換評(píng)價(jià)得分
coww/(k , G《})
祈—l + log(l十-^~~, ,/ S —祈 轉(zhuǎn)步驟5-2-7); 步驟5-2-5)、對(duì)于零轉(zhuǎn)換的轉(zhuǎn)換強(qiáng)度N_sft，如果機(jī)器譯文進(jìn)行了句式轉(zhuǎn)換，根據(jù)下述公式計(jì)算出機(jī)器譯文的句式轉(zhuǎn)換評(píng)價(jià)得分 > / 一/"/0化.}=
l + log(+) 轉(zhuǎn)步驟5-2-7); 步驟5-2-6)、對(duì)于強(qiáng)制性轉(zhuǎn)換的轉(zhuǎn)換強(qiáng)度F—sft，根據(jù)下述公式計(jì)算出機(jī)器譯文
的句式轉(zhuǎn)換評(píng)價(jià)得分
祈—f"/o化]:
肖^)
l + log(l十-~~L) ^ s/—( ^ s/—s, & s/—f, e 《}
l《l
z/ 祈 轉(zhuǎn)步驟5-2-7); 步驟5-2-7)對(duì)所有機(jī)器譯文的句式轉(zhuǎn)換評(píng)價(jià)得分求平均值，得到句式轉(zhuǎn)換平均
9評(píng)價(jià)得分sft」nfo。 上述技術(shù)方案中，在所述的步驟5-3)中，采用下列公式計(jì)算句類句式轉(zhuǎn)換聯(lián)合評(píng)價(jià)得分scft—info : <formula>formula see original document page 10</formula> 其中，！^。表示發(fā)生句類轉(zhuǎn)換的概率，Psf表示發(fā)生句式轉(zhuǎn)換的概率，sctjnfo表
示句類轉(zhuǎn)換平均評(píng)價(jià)得分，sft」nfo表示句式轉(zhuǎn)換平均評(píng)價(jià)得分。 上述技術(shù)方案中，所述13 s。取值為0. 593 ，所述13 sf取值為0. 339 。 本發(fā)明還提供了一種機(jī)器翻譯自動(dòng)評(píng)測(cè)系統(tǒng)，包括待評(píng)測(cè)數(shù)據(jù)存儲(chǔ)模塊、參考譯
文數(shù)據(jù)庫、參考譯文標(biāo)注數(shù)據(jù)庫、譯文句類句式轉(zhuǎn)換情況獲取模塊、評(píng)價(jià)打分模塊；其中， 所述的待評(píng)測(cè)數(shù)據(jù)存儲(chǔ)模塊用于保存機(jī)器翻譯所得到的機(jī)器譯文、所述機(jī)器譯文
的關(guān)于語句結(jié)構(gòu)的標(biāo)注信息； 所述的參考譯文數(shù)據(jù)庫用于保存源語言句以及源語言句的參考譯文； 所述的參考譯文標(biāo)注數(shù)據(jù)庫用于保存所述源語言句的關(guān)于語句結(jié)構(gòu)的標(biāo)注信息
以及所述參考譯文的關(guān)于語句結(jié)構(gòu)的標(biāo)注信息； 所述的譯文句類句式轉(zhuǎn)換情況獲取模塊根據(jù)所述機(jī)器譯文的關(guān)于語句結(jié)構(gòu)的標(biāo)注信息分析所述機(jī)器譯文的語句結(jié)構(gòu)，根據(jù)所述源語言句的關(guān)于語句結(jié)構(gòu)的標(biāo)注信息分析所述源語言句的語句結(jié)構(gòu)，根據(jù)所述參考譯文的關(guān)于語句結(jié)構(gòu)的標(biāo)注信息分析所述參考譯文的語句結(jié)構(gòu)，然后比較所述源語言句的語句結(jié)構(gòu)以及所述參考譯文的語句結(jié)構(gòu)，計(jì)算所述參考譯文的語句結(jié)構(gòu)的轉(zhuǎn)換情況； 所述的評(píng)價(jià)打分模塊比較所述源語言句的語句結(jié)構(gòu)以及所述機(jī)器譯文的語句結(jié)構(gòu)，計(jì)算所述機(jī)器譯文的語句結(jié)構(gòu)的轉(zhuǎn)換情況，然后將所述參考譯文的語句結(jié)構(gòu)的轉(zhuǎn)換情況與所述機(jī)器譯文的語句結(jié)構(gòu)的轉(zhuǎn)換情況進(jìn)行比較，根據(jù)比較結(jié)果對(duì)機(jī)器譯文加以評(píng)價(jià)。
上述技術(shù)方案中，所述參考譯文數(shù)據(jù)庫包括英中參考譯文數(shù)據(jù)庫和中英參考譯文數(shù)據(jù)庫，數(shù)據(jù)庫的格式為(源語言句ID，源語言句，參考譯文1，參考譯文2，……，參考譯文N)。 上述技術(shù)方案中，所述參考譯文標(biāo)注數(shù)據(jù)庫包括英中參考譯文標(biāo)注數(shù)據(jù)庫和中英參考譯文標(biāo)注數(shù)據(jù)庫；該數(shù)據(jù)庫的格式為(源語言句ID，源語言句，源語言句標(biāo)注信息，參考譯文1，參考譯文1標(biāo)注信息，……，參考譯文N，參考譯文N標(biāo)注信息)。
與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于 1)本發(fā)明突破了傳統(tǒng)機(jī)器翻譯自動(dòng)評(píng)測(cè)系統(tǒng)和方法一直以來基于字詞匹配的評(píng)測(cè)原理，利用語義信息對(duì)機(jī)器譯文進(jìn)行評(píng)測(cè)，從而切近專家評(píng)測(cè)的結(jié)果，更加細(xì)致地反映出機(jī)器譯文結(jié)果的質(zhì)量； 2)本發(fā)明在HNC(概念層次網(wǎng)絡(luò))自然語言理解框架之下，基于HNC機(jī)器翻譯策略，利用句類知識(shí)，從句類轉(zhuǎn)換和句式轉(zhuǎn)換入手，針對(duì)機(jī)器譯文的語句結(jié)構(gòu)質(zhì)量進(jìn)行了有效的評(píng)價(jià)；很多機(jī)器譯文字詞忠實(shí)度很高，但是語句結(jié)構(gòu)完全不符合語言習(xí)慣，可讀性很差，而傳統(tǒng)評(píng)價(jià)得分卻很高，本發(fā)明所涉及的評(píng)測(cè)方法對(duì)于譯文質(zhì)量的評(píng)價(jià)更加準(zhǔn)確，彌補(bǔ)了傳統(tǒng)評(píng)價(jià)結(jié)果與語言習(xí)慣相比時(shí)有偏差的缺點(diǎn)，克服了傳統(tǒng)評(píng)測(cè)方法對(duì)于譯文語句結(jié)構(gòu)的評(píng)價(jià)并不有效的缺點(diǎn)，從而使得評(píng)測(cè)系統(tǒng)對(duì)于譯文可讀性的評(píng)價(jià)更加有效。
圖1表示參考譯文數(shù)據(jù)庫以及參考譯文標(biāo)注數(shù)據(jù)庫的示意圖； 圖2表示本發(fā)明的利用語句結(jié)構(gòu)信息的機(jī)器翻譯自動(dòng)評(píng)測(cè)方法的流程圖； 圖3表示機(jī)器譯文句類轉(zhuǎn)換評(píng)價(jià)打分流程圖； 圖4表示機(jī)器譯文句式轉(zhuǎn)換評(píng)價(jià)打分流程圖。
具體實(shí)施例方式
下面結(jié)合附圖和具體實(shí)施方式
對(duì)本發(fā)明作進(jìn)一步的詳細(xì)描述。
在對(duì)本發(fā)明做詳細(xì)說明之前，首先對(duì)本發(fā)明中所涉及的一些概念做簡要說明。
HNC理論概念層次網(wǎng)絡(luò)理論，該理論建立了一種模擬大腦語言感知過程的自然語言表述模式和計(jì)算機(jī)理解處理模式。在參考文獻(xiàn)l "《HNC(概念層次網(wǎng)絡(luò))理論——計(jì)算機(jī)理解語言研究的新思路》，黃曾陽著，清華大學(xué)出版社，1998年11月第1版"以及參考文獻(xiàn)2 "《語言概念空間的基本定理和數(shù)學(xué)物理表示式》，黃曾陽著，海洋出版社，2004年7月第1版"中對(duì)HNC的詳細(xì)內(nèi)容有具體的說明。 句類HNC中所定義的一種語句結(jié)構(gòu)信息。具體的說，它是指根據(jù)語句中主要概念
團(tuán)塊間的聯(lián)想脈絡(luò)進(jìn)行分類而形成的語句類型體系，即語句的概念類型。 句式HNC中所定義的另一種語句結(jié)構(gòu)信息。具體的說，它是指語句格式，用來表
述語句中主語義塊在句中的出現(xiàn)順序。
源語言句機(jī)器翻譯系統(tǒng)翻譯時(shí)待翻譯的句子。
機(jī)器譯文機(jī)器翻譯系統(tǒng)根據(jù)語種要求，對(duì)源語言句進(jìn)行翻譯所得的句子。
目標(biāo)語言句、參考譯文表示供評(píng)測(cè)所用的正確的譯文，是與源語言句相對(duì)應(yīng)的概念。
在對(duì)上述概念做相關(guān)說明后，下面對(duì)本發(fā)明做詳細(xì)說明。 本發(fā)明的機(jī)器翻譯自動(dòng)評(píng)測(cè)系統(tǒng)包括待評(píng)測(cè)數(shù)據(jù)存儲(chǔ)模塊、參考譯文數(shù)據(jù)庫、參考譯文標(biāo)注數(shù)據(jù)庫、譯文句類句式轉(zhuǎn)換情況獲取模塊、評(píng)價(jià)打分模塊。其中，所述的待評(píng)測(cè)數(shù)據(jù)存儲(chǔ)模塊用于存儲(chǔ)機(jī)器翻譯系統(tǒng)所生成的機(jī)器翻譯結(jié)果；所述的參考譯文數(shù)據(jù)庫、參考譯文標(biāo)注數(shù)據(jù)庫分別用于存儲(chǔ)參考譯文以及參考譯文標(biāo)注信息；所述的譯文句類句式轉(zhuǎn)換情況獲取模塊用于對(duì)機(jī)器翻譯系統(tǒng)的翻譯結(jié)果的句類句式轉(zhuǎn)換情況進(jìn)行評(píng)價(jià)，并獲取相應(yīng)的評(píng)價(jià)結(jié)果；所述的評(píng)價(jià)打分模塊根據(jù)句類句式轉(zhuǎn)換情況對(duì)機(jī)器翻譯結(jié)果做評(píng)價(jià)打分。在下文中將結(jié)合上述模塊，對(duì)本發(fā)明的機(jī)器翻譯自動(dòng)評(píng)測(cè)系統(tǒng)的相關(guān)方法進(jìn)行說明。
待評(píng)測(cè)的機(jī)器翻譯系統(tǒng)對(duì)待翻譯的源語言句進(jìn)行翻譯后，會(huì)生成源語言句的機(jī)器翻譯結(jié)果。根據(jù)HNC理論的相關(guān)知識(shí)，本領(lǐng)域技術(shù)人員為機(jī)器翻譯系統(tǒng)所生成的機(jī)器翻譯結(jié)果標(biāo)注HNC標(biāo)注信息。在得到前述的機(jī)器翻譯結(jié)果以及機(jī)器翻譯結(jié)果的HNC標(biāo)注信息后，將這些信息存儲(chǔ)在待評(píng)測(cè)數(shù)據(jù)存儲(chǔ)模塊中。 一般來說，待翻譯的源語言句與后面所提到的參考譯文之間存在對(duì)應(yīng)關(guān)系，即出于評(píng)測(cè)的需要，機(jī)器翻譯系統(tǒng)所翻譯的源語言句在機(jī)器翻譯自動(dòng)評(píng)測(cè)系統(tǒng)中應(yīng)當(dāng)存在相應(yīng)的參考譯文，以使得所述源語言句的翻譯結(jié)果可以與參考譯文進(jìn)行比較。 機(jī)器翻譯自動(dòng)評(píng)測(cè)系統(tǒng)的目的在于對(duì)機(jī)器翻譯系統(tǒng)的翻譯結(jié)果進(jìn)行評(píng)測(cè)。為了使得機(jī)器翻譯系統(tǒng)的翻譯結(jié)果有一個(gè)被比較的對(duì)象，由參考譯文數(shù)據(jù)庫以及參考譯文標(biāo)注數(shù)據(jù)庫來存儲(chǔ)參考譯文數(shù)據(jù)以及參考譯文標(biāo)注數(shù)據(jù)。具體的說，所述的參考譯文數(shù)據(jù)庫用于存儲(chǔ)源語言句、對(duì)源語言句的參考譯文。所述的參考譯文標(biāo)注數(shù)據(jù)庫則用于存放參考譯文的HNC標(biāo)注信息。例如，假設(shè)機(jī)器翻譯自動(dòng)評(píng)測(cè)系統(tǒng)用于對(duì)中英文互譯的機(jī)器翻譯系統(tǒng)進(jìn)行評(píng)測(cè)，則其參考譯文數(shù)據(jù)庫包括英中參考譯文數(shù)據(jù)庫以及中英參考譯文數(shù)據(jù)，而參考譯文標(biāo)注數(shù)據(jù)庫也包括英中參考譯文標(biāo)注數(shù)據(jù)庫以及中英參考譯文標(biāo)注數(shù)據(jù)庫。在圖1中給出了上述參考譯文數(shù)據(jù)庫以及參考譯文標(biāo)注數(shù)據(jù)庫的示意圖。對(duì)于參考譯文數(shù)據(jù)庫B1而言，該數(shù)據(jù)庫的格式為(源語言句ID，源語言句，參考譯文1，參考譯文2，……，參考譯文N)，若為英中參考譯文數(shù)據(jù)庫B11，則源語言句用英文表示，參考譯文用中文表示，相反，若為中英參考譯文數(shù)據(jù)庫B12，則源語言句用中文表示，參考譯文用英文表示。從上述說明也可以看出，對(duì)于同一個(gè)源語言句，其參考譯文可以有多個(gè)，以利于更好地對(duì)翻譯結(jié)果進(jìn)行評(píng)測(cè)。對(duì)于參考譯文標(biāo)注數(shù)據(jù)庫B2而言，該數(shù)據(jù)庫的格式為(源語言句ID，源語言句，源語言句標(biāo)注信息，參考譯文1 ，參考譯文1標(biāo)注信息，……，參考譯文N，參考譯文N標(biāo)注信息)，類似的，若為英中參考譯文標(biāo)注數(shù)據(jù)庫B21 ，則源語言句用英文表示，參考譯文用中文表示，若為中英參考譯文標(biāo)注數(shù)據(jù)庫B22，則源語言句用中文表示，參考譯文用英文表示。在前文中已經(jīng)提到，參考譯文標(biāo)注信息的具體內(nèi)容可由本領(lǐng)域技術(shù)人員根據(jù)HNC的相關(guān)知識(shí)生成，在本發(fā)明中不關(guān)心如何生成參考譯文標(biāo)注信息，而是直接利用已有的參考譯文標(biāo)注信息。
由于源語言句在經(jīng)過機(jī)器翻譯系統(tǒng)翻譯后，其包括句類句式在內(nèi)的語句結(jié)構(gòu)信息可能會(huì)發(fā)生變化，而翻譯結(jié)果的句類句式信息與參考譯文的句類句式也可能會(huì)有所不同，因此需要對(duì)翻譯結(jié)果的句類句式轉(zhuǎn)換情況進(jìn)行評(píng)價(jià)。在評(píng)價(jià)時(shí)，首先根據(jù)翻譯結(jié)果所對(duì)應(yīng)的HNC句類標(biāo)注信息分析出機(jī)器譯文的句類句式，然后從前面所提到的參考譯文數(shù)據(jù)庫以及參考譯文標(biāo)注數(shù)據(jù)庫中提取出源語言句、參考譯文以及它們所對(duì)應(yīng)的HNC標(biāo)注信息，由這些信息可得到源語言句和參考譯文的句類句式，最后就可以將翻譯結(jié)果的句類句式和源語言、參考譯文的句類句式分別加以比較，從而知道翻譯結(jié)果的句類句式與源語言句相比是否有了不同，與參考譯文的句類句式轉(zhuǎn)換情況是否一致。 在本發(fā)明中，對(duì)參考譯文的句類句式轉(zhuǎn)換情況用句類轉(zhuǎn)換強(qiáng)度和句式轉(zhuǎn)換強(qiáng)度分別予以說明。其中，對(duì)參考譯文的句類轉(zhuǎn)換強(qiáng)度做如下定義 (1)與源語言句的句類進(jìn)行對(duì)比，參考譯文組中，有一些參考譯文的句類發(fā)生了改變，而有一些沒有發(fā)生改變，則認(rèn)為是句類選擇性轉(zhuǎn)換，標(biāo)記為S_sct ; (2)與源語言句的句類進(jìn)行對(duì)比，參考譯文組中所有參考譯文的句類都沒有發(fā)生改變，則認(rèn)為是句類零轉(zhuǎn)換，標(biāo)記為N_sct ; (3)與源語言句的句類進(jìn)行對(duì)比，參考譯文組中所有參考譯文的句類都發(fā)生了改變，則認(rèn)為是句類強(qiáng)制性轉(zhuǎn)換，標(biāo)記為F_sct。
對(duì)參考譯文的句式轉(zhuǎn)換強(qiáng)度做如下定義 (1)與源語言句的句式進(jìn)行對(duì)比，參考譯文組中，有一些參考譯文的句式發(fā)生了改變，而有一些沒有發(fā)生改變，認(rèn)為是句式選擇性轉(zhuǎn)換，標(biāo)記為S_sft ; (2)與源語言句的句式進(jìn)行對(duì)比，參考譯文組中所有參考譯文的句式都沒有發(fā)生改變，認(rèn)為是句式零轉(zhuǎn)換，標(biāo)記為N_sft ; (3)與源語言句的句式進(jìn)行對(duì)比，參考譯文組中所有參考譯文的句式都發(fā)生了改
12變，認(rèn)為是句式強(qiáng)制性轉(zhuǎn)換，標(biāo)記為F_sft。 根據(jù)上述定義，可以知道某一參考譯文的句類句式轉(zhuǎn)換情況。例如，一個(gè)源語言 句"The People' s Bank of China, the central bank， raised interest rateson March
8."，存在如下標(biāo)注信息
0100] 〈root>
0101] 0102]
=〃 〃
0103] 0104]
0105]
=〃 〃
0106] 0107] 0108]
=〃 〃
0109] 0110]
sc
0
XY40*21J' 〃 role
format ,,,A
red
〈S connect = 〃 〃 〃 〈Ch皿k cat '"""plug="""" >
The People' s Bank of China， the central bank
role format
EK'
red
〈Ch皿k cat = """"plug ，raised
role
XY40
role format
red
〈Ch皿k cat = 〃 """plug="" interest rates
role
YC
role format
red
0112] 0113] 0114] 0115]
〈Ch皿k cat = 〃 〃 〃 plug=' on March 18.
role
Cn
role format
《>
/root〉
0116] 根據(jù)上述標(biāo)注信息知道該源語言句的句類sc是XY4(^21J，句式format是！ 0(即 決省)；
0117] 通過查找數(shù)據(jù)庫可以知道該源語言句存在以下多個(gè)參考譯文。
0118] 參考譯文1 "中國人民銀行這個(gè)核心銀行在3月18日提高了利率。"同樣根據(jù)標(biāo)
注信息，句類是XY40*21J，句式是！ 0 ; 0119] 參考譯文2"三月18號(hào)，中國人民銀行，即央行，提升了銀行利率。"根據(jù)標(biāo)注信息，
句類是XY4(^21J，句式是！ 0;
0120] 參考譯文3 "中國的中央銀行-一 中國人民銀行-一三月十八日提高了利率。"根 據(jù)標(biāo)注信息，句類是XY40*21J，句式是！ 0 ;
0121] 參考譯文4 "中央銀行，中國人民銀行3月18日提高利率。"根據(jù)標(biāo)注信息，句類 是XY4(^21J，句式是！ 0;
0122] 在這個(gè)例子中，所有參考譯文的句類都跟源語言句的句類相同(XY4(^21J)，所有 參考譯文的句式都跟源語言句的句式相同(！ O)，所以根據(jù)轉(zhuǎn)換強(qiáng)度定義是句類零轉(zhuǎn)換 N—sct)，句式零轉(zhuǎn)換(N_sft)。
0123] 在由譯文句類句式轉(zhuǎn)換情況獲取模塊得到機(jī)器翻譯結(jié)果的句類句式轉(zhuǎn)換情況后，進(jìn)一步地由評(píng)價(jià)打分模塊進(jìn)行評(píng)測(cè)。評(píng)價(jià)打分模塊包括對(duì)機(jī)器翻譯結(jié)果句類轉(zhuǎn)換情況的評(píng) 價(jià)打分、對(duì)機(jī)器翻譯結(jié)果句式轉(zhuǎn)換情況的評(píng)價(jià)打分，并根據(jù)句類轉(zhuǎn)換的分值以及句式轉(zhuǎn)換 的分值計(jì)算句類句式轉(zhuǎn)換的綜合分值。如圖3所示，對(duì)句類轉(zhuǎn)換情況的評(píng)價(jià)打分過程包括
步驟11)、獲得參考譯文組&中參考答案的個(gè)數(shù)& I ，參考答案組&中與機(jī)器譯
文ti的句類相同的參考答案r的個(gè)數(shù)c做""b^ e《j); 步驟12)、獲取機(jī)器譯文的句類； 步驟13)、讀取參考譯文的句類轉(zhuǎn)換強(qiáng)度，如果轉(zhuǎn)換強(qiáng)度表明是選擇性轉(zhuǎn)換(S_ sct)，則轉(zhuǎn)步驟14);如果轉(zhuǎn)換強(qiáng)度表明是零轉(zhuǎn)換(N—sct)，則轉(zhuǎn)步驟15);如果轉(zhuǎn)換強(qiáng)度表 明是強(qiáng)制性轉(zhuǎn)換(Fjct)，則轉(zhuǎn)步驟16); 步驟14)、對(duì)于選擇性轉(zhuǎn)換的轉(zhuǎn)換強(qiáng)度(S_sct)，那么對(duì)于機(jī)器譯文來講句類轉(zhuǎn)換 的評(píng)價(jià)對(duì)最后的得分并沒有太大的影響，權(quán)值可以大于等于1。根據(jù)下述公式計(jì)算出機(jī)器譯 文的句類轉(zhuǎn)換評(píng)價(jià)得分 5^一/">仏}= l + log(l +-Y"f-^")' z/ ^一W
一 — (1) 然后轉(zhuǎn)步驟17); 步驟15)、對(duì)于零轉(zhuǎn)換的轉(zhuǎn)換強(qiáng)度(N—sct)，如果機(jī)器譯文進(jìn)行了句類轉(zhuǎn)換，則給 予較低的權(quán)值，即機(jī)器譯文所進(jìn)行的轉(zhuǎn)換可能是不合適的，反之如果機(jī)器譯文沒有進(jìn)行句 類的轉(zhuǎn)換，則權(quán)值應(yīng)該大于等于1。根據(jù)下述公式計(jì)算出機(jī)器譯文的句類轉(zhuǎn)換評(píng)價(jià)得分 W
(2)
l + log2 , 然后轉(zhuǎn)步驟17); 步驟16)、對(duì)于強(qiáng)制性轉(zhuǎn)換的轉(zhuǎn)換強(qiáng)度(F_sct)，機(jī)器譯文的情況可以分為三種， 一是機(jī)器譯文沒有進(jìn)行句類轉(zhuǎn)換，那么譯文的句類基本上可以認(rèn)為是錯(cuò)誤的，給予小于1 的權(quán)值；二是機(jī)器譯文進(jìn)行了句類轉(zhuǎn)換，但是轉(zhuǎn)換后的句類類型不在參考譯文的句類類型 之內(nèi)，那么譯文的句類有可能是錯(cuò)誤的，給予小于等于1的權(quán)值；三是機(jī)器譯文不僅進(jìn)行了 句類轉(zhuǎn)換，且其句類類型在參考譯文的句類類型之內(nèi)，那么譯文句類認(rèn)為是合理的，權(quán)值可
以大于等于1。根據(jù)下述公式計(jì)算出機(jī)器譯文的句類轉(zhuǎn)換評(píng)價(jià)得分
5C, jw/0"}=
1 + log(l +--!/* sc一t # (§; sK e {sc—代}
(3) 然后轉(zhuǎn)步驟17); 步驟17)、對(duì)所有機(jī)器譯文的句類轉(zhuǎn)換評(píng)價(jià)得分求平均值，得到整個(gè)機(jī)器翻譯系統(tǒng) 的句類轉(zhuǎn)換平均評(píng)價(jià)得分sctjnfo。 沿用上面的例子，對(duì)于源語言句"The People' s Bank of China, the
14centralbank， raised interest rates on March 18.，，某一機(jī)器翻譯系統(tǒng)英譯漢的結(jié)果 (即機(jī)器譯文)為"中國人民銀行中國，中央銀行調(diào)高利率，在3月18日。" 根據(jù)此機(jī)器譯文的HNC句類標(biāo)注信息，得到其句類是Y40，句式是！ 0。 由于此例在上面轉(zhuǎn)換強(qiáng)度判斷時(shí)得到的結(jié)論是，參考譯文的句類轉(zhuǎn)換強(qiáng)度表明是
零轉(zhuǎn)換，根據(jù)句類轉(zhuǎn)換評(píng)價(jià)的打分方法，因此需要采用步驟15)中的公式(2)。由于機(jī)器譯
文的句類(Y40)與參考譯文的句類(XY40*21J)是不同的，所以根據(jù)公式計(jì)算，得到的句類
轉(zhuǎn)換評(píng)價(jià)得分是0. 3979，表示此機(jī)器譯文的句類是不合理的，得分較低。 如圖4所示，對(duì)句式轉(zhuǎn)換情況的評(píng)價(jià)打分過程包括 步驟21)、獲得參考譯文組Ri中參考答案的個(gè)數(shù)lRil，參考答案組Ri中與機(jī)器譯 文tj勺語句格式(即句式)相同的參考答案r的個(gè)數(shù)cow""bj,ei ,j);
步驟22)、獲取機(jī)器譯文的句式； 步驟23)、讀取參考譯文的句類句式轉(zhuǎn)換強(qiáng)度，如果轉(zhuǎn)換強(qiáng)度表明是選擇性轉(zhuǎn)換 (S—sft)，則轉(zhuǎn)步驟24);如果轉(zhuǎn)換強(qiáng)度表明是零轉(zhuǎn)換(N—sft)，則轉(zhuǎn)步驟25);如果轉(zhuǎn)換強(qiáng)度 表明是強(qiáng)制性轉(zhuǎn)換(F—sft)，則轉(zhuǎn)步驟26); 步驟24)、對(duì)于選擇性轉(zhuǎn)換的轉(zhuǎn)換強(qiáng)度(S_sft)，那么對(duì)于機(jī)器譯文來講句式轉(zhuǎn)換 的評(píng)價(jià)對(duì)最后的得分并沒有太大的影響，權(quán)值可以大于等于1。根據(jù)下述公式計(jì)算出機(jī)器譯 文的句式轉(zhuǎn)換評(píng)價(jià)得分 <formula>formula see original document page 15</formula>
轉(zhuǎn)步驟27); 步驟25)、對(duì)于零轉(zhuǎn)換的轉(zhuǎn)換強(qiáng)度(N_sft)，如果機(jī)器譯文進(jìn)行了句式轉(zhuǎn)換，則給 予較低的權(quán)值，即機(jī)器譯文所進(jìn)行的轉(zhuǎn)換可能是不合適的，反之如果機(jī)器譯文沒有進(jìn)行句 式的轉(zhuǎn)換，則權(quán)值應(yīng)該大于等于1。根據(jù)下述公式計(jì)算出機(jī)器譯文的句式轉(zhuǎn)換評(píng)價(jià)得分<formula>formula see original document page 15</formula> 轉(zhuǎn)步驟27); 步驟26)、對(duì)于強(qiáng)制性轉(zhuǎn)換的轉(zhuǎn)換強(qiáng)度(F_sft)，機(jī)器譯文的情況可以分為三種， 一是機(jī)器譯文沒有進(jìn)行句式轉(zhuǎn)換，那么譯文的句式基本上可以認(rèn)為是錯(cuò)誤的，給予小于1 的權(quán)值；二是機(jī)器譯文進(jìn)行了句式轉(zhuǎn)換，但是轉(zhuǎn)換后的句式類型不在參考譯文的句式類型 之內(nèi)，那么譯文的句式有可能是錯(cuò)誤的，給予小于等于1的權(quán)值；三是機(jī)器譯文不僅進(jìn)行了 句式轉(zhuǎn)換，且其句式類型在參考譯文的句式類型之內(nèi)，那么譯文句式被認(rèn)為是合理的，權(quán)值
可以大于等于1。根據(jù)下述公式計(jì)算出機(jī)器譯文的句式轉(zhuǎn)換評(píng)價(jià)得分
轉(zhuǎn)步驟27); 步驟27)對(duì)所有機(jī)器譯文的句式轉(zhuǎn)換評(píng)價(jià)得分求平均值，得到整個(gè)系統(tǒng)的句式轉(zhuǎn) 換平均評(píng)價(jià)得分sftjnfo。 沿用前面所提到的例子，已經(jīng)得到的機(jī)器譯文"中國人民銀行中國，中央銀行調(diào)高 利率，在3月18日。"的句式是！ 0。 由于此例在上面轉(zhuǎn)換強(qiáng)度判斷時(shí)得到的結(jié)論是參考譯文的句式轉(zhuǎn)換強(qiáng)度表明是
零轉(zhuǎn)換，因此根據(jù)句式轉(zhuǎn)換評(píng)價(jià)的打分方法，采用步驟25)中的公式(5)。由于機(jī)器譯文的
句式(！ O)與參考譯文的句式(！ 0)是相同的，所以根據(jù)公式計(jì)算，得到的句式轉(zhuǎn)換評(píng)價(jià)
得分是1. 3010，表示此機(jī)器譯文的句式較為合理，句式轉(zhuǎn)換評(píng)價(jià)得分較高。 在獲得系統(tǒng)的句類轉(zhuǎn)換平均評(píng)價(jià)得分和句式轉(zhuǎn)換平均評(píng)價(jià)得分后，評(píng)價(jià)打分模塊
還要進(jìn)一步計(jì)算句類句式轉(zhuǎn)換聯(lián)合評(píng)價(jià)得分。對(duì)句類句式轉(zhuǎn)換聯(lián)合評(píng)價(jià)得分scft」nfo的
計(jì)算可以采用以下公式
. S"」"/OxAc+祈一爭(zhēng)xA/ 4 一 =-^-^-^ 其中，13 s。是發(fā)生句類轉(zhuǎn)換的概率，取值0. 593 ; 13 sf是發(fā)生句式轉(zhuǎn)換的概率，取值 0. 339。這兩個(gè)概率值是對(duì)參考譯文數(shù)據(jù)庫進(jìn)行統(tǒng)計(jì)后所得到的。 在前面所提到的例子中，sctjnfo值為0. 3979， sftjnfo值為1. 3010，根據(jù)上述 聯(lián)合評(píng)價(jià)得分公式進(jìn)行計(jì)算，最后的得分scft」nfo為0. 7125。 評(píng)價(jià)打分模塊在計(jì)算出句類轉(zhuǎn)換評(píng)價(jià)得分sctjnfo、句式轉(zhuǎn)換評(píng)價(jià)得分sft_
info和聯(lián)合評(píng)價(jià)得分scft」nfo后，會(huì)將這些得分作為評(píng)價(jià)結(jié)果返回。 本發(fā)明所涉及的機(jī)器翻譯自動(dòng)評(píng)測(cè)方法與傳統(tǒng)的機(jī)器翻譯自動(dòng)評(píng)測(cè)方法有很大
的不同。傳統(tǒng)評(píng)測(cè)方法并不需要理解譯文句子的語義，即并不關(guān)心譯文的語句結(jié)構(gòu)是怎么
樣的以及應(yīng)該是什么樣的。傳統(tǒng)方法完全只是在字詞層面上，將翻譯結(jié)果與參考答案進(jìn)行
字詞的直接對(duì)比和匹配，然后對(duì)統(tǒng)計(jì)結(jié)果進(jìn)行一些計(jì)算，得到評(píng)價(jià)得分。這些方法完全是依
賴字詞、短語的匹配，嚴(yán)重影響了評(píng)測(cè)結(jié)果的準(zhǔn)確性。而本發(fā)明方法的實(shí)現(xiàn)建立在在理解句
子的基礎(chǔ)上。本發(fā)明的方法首先從機(jī)器譯文和參考譯文中抽取出句類句式信息，也就是是
直接獲得它們的語句結(jié)構(gòu)信息，然后再對(duì)機(jī)器譯文和參考譯文的語句結(jié)構(gòu)進(jìn)行對(duì)比、統(tǒng)計(jì)
和計(jì)算，從而得到評(píng)價(jià)結(jié)果。這樣的評(píng)價(jià)方式非常直觀和有針對(duì)性，可以非常有效地評(píng)價(jià)出
譯文句子結(jié)構(gòu)的好壞，同時(shí)語句結(jié)構(gòu)的好壞也可以直接地反映出語句的通順性和可讀性。
1權(quán)利要求
一種機(jī)器翻譯自動(dòng)評(píng)測(cè)方法，包括步驟1)、讀取機(jī)器翻譯所得到的機(jī)器譯文、所述機(jī)器譯文的關(guān)于語句結(jié)構(gòu)的標(biāo)注信息以及所述機(jī)器譯文在被翻譯前所對(duì)應(yīng)的源語言句；步驟2)、根據(jù)所述機(jī)器譯文的源語言句，讀取該源語言句的關(guān)于語句結(jié)構(gòu)的標(biāo)注信息、該源語言句的參考譯文、所述參考譯文的關(guān)于語句結(jié)構(gòu)的標(biāo)注信息；步驟3)、根據(jù)所述機(jī)器譯文的關(guān)于語句結(jié)構(gòu)的標(biāo)注信息分析所述機(jī)器譯文的語句結(jié)構(gòu)，根據(jù)所述源語言句的關(guān)于語句結(jié)構(gòu)的標(biāo)注信息分析所述源語言句的語句結(jié)構(gòu)，根據(jù)所述參考譯文的關(guān)于語句結(jié)構(gòu)的標(biāo)注信息分析所述參考譯文的語句結(jié)構(gòu)；步驟4)、比較所述源語言句的語句結(jié)構(gòu)以及所述參考譯文的語句結(jié)構(gòu)，計(jì)算所述參考譯文的語句結(jié)構(gòu)的轉(zhuǎn)換情況；步驟5)、比較所述源語言句的語句結(jié)構(gòu)以及所述機(jī)器譯文的語句結(jié)構(gòu)，計(jì)算所述機(jī)器譯文的語句結(jié)構(gòu)的轉(zhuǎn)換情況，然后將所述參考譯文的語句結(jié)構(gòu)的轉(zhuǎn)換情況與所述機(jī)器譯文的語句結(jié)構(gòu)的轉(zhuǎn)換情況進(jìn)行比較，根據(jù)比較結(jié)果對(duì)機(jī)器譯文加以評(píng)價(jià)。
2. 根據(jù)權(quán)利要求1所述的機(jī)器翻譯自動(dòng)評(píng)測(cè)方法，其特征在于，所述的語句結(jié)構(gòu)用句類信息和句式信息表示，所述的關(guān)于語句結(jié)構(gòu)的標(biāo)注信息用HNC標(biāo)注信息表示；所述的步驟4)包括步驟4-1)、比較所述源語言句的句類信息以及所述參考譯文的句類信息，計(jì)算所述參考譯文的句類轉(zhuǎn)換強(qiáng)度；步驟4-2)、比較所述源語言句的句式信息以及所述參考譯文的句式信息，計(jì)算所述參考譯文的句式轉(zhuǎn)換強(qiáng)度。
3. 根據(jù)權(quán)利要求2所述的機(jī)器翻譯自動(dòng)評(píng)測(cè)方法，其特征在于，所述的步驟4-l)包括步驟4-1-1)、將所述參考譯文的句類與所述源語言句的句類進(jìn)行對(duì)比，在由所述參考譯文所形成的參考譯文組中，當(dāng)一些參考譯文的句類發(fā)生了改變，而另一些沒有發(fā)生改變，則認(rèn)為是句類選擇性轉(zhuǎn)換，標(biāo)記為S_sct ;步驟4-1-2)、將所述參考譯文的句類與所述源語言句的句類進(jìn)行對(duì)比，當(dāng)所述參考譯文組中所有參考譯文的句類都沒有發(fā)生改變，則認(rèn)為是句類零轉(zhuǎn)換，標(biāo)記為N_sct ;步驟4-1-3)、將所述參考譯文的句類與所述源語言句的句類進(jìn)行對(duì)比，當(dāng)所述參考譯文組中所有參考譯文的句類都發(fā)生了改變，則認(rèn)為是句類強(qiáng)制性轉(zhuǎn)換，標(biāo)記為F—sct。
4. 根據(jù)權(quán)利要求2所述的機(jī)器翻譯自動(dòng)評(píng)測(cè)方法，其特征在于，所述的步驟4-2)包括步驟4-2-1)、將所述參考譯文的句式與所述源語言句的句式進(jìn)行對(duì)比，在由所述參考譯文所形成的參考譯文組中，當(dāng)有一些參考譯文的句式發(fā)生了改變，而另一些沒有發(fā)生改變，則認(rèn)為是句式選擇性轉(zhuǎn)換，標(biāo)記為S_sft ;步驟4-2-2)、將所述參考譯文的句式與所述源語言句的句式進(jìn)行對(duì)比，當(dāng)所述參考譯文組中所有參考譯文的句式都沒有發(fā)生改變，則認(rèn)為是句式零轉(zhuǎn)換，標(biāo)記為N_sft ;步驟4-2-3)、將所述參考譯文的句式與源語言句的句式進(jìn)行對(duì)比，當(dāng)所述參考譯文組中所有參考譯文的句式都發(fā)生了改變，則認(rèn)為是句式強(qiáng)制性轉(zhuǎn)換，標(biāo)記為F—sft。
5. 根據(jù)權(quán)利要求2所述的機(jī)器翻譯自動(dòng)評(píng)測(cè)方法，其特征在于，所述的步驟5)包括步驟5-1)、獲取所述機(jī)器譯文的句類信息，然后根據(jù)所述參考譯文的句類轉(zhuǎn)換強(qiáng)度計(jì)算所述機(jī)器譯文的句類轉(zhuǎn)換得分，進(jìn)而得到多個(gè)機(jī)器譯文的句類平均轉(zhuǎn)換得分；步驟5-2)、獲取所述機(jī)器譯文的句式信息，然后根據(jù)所述參考譯文的句式轉(zhuǎn)換強(qiáng)度計(jì)算所述機(jī)器譯文的句式轉(zhuǎn)換得分，進(jìn)而得到多個(gè)機(jī)器譯文的句式平均轉(zhuǎn)換得分；步驟5-3)、由所述多個(gè)機(jī)器譯文的句類平均轉(zhuǎn)換得分以及句式平均轉(zhuǎn)換得分計(jì)算相應(yīng)機(jī)器翻譯的句類句式聯(lián)合評(píng)價(jià)得分。
6.根據(jù)權(quán)利要求5所述的機(jī)器翻譯自動(dòng)評(píng)測(cè)方法，其特征在于，所述的步驟5-l)包括步驟5-1-1)、獲得參考譯文組Ri中參考答案的個(gè)數(shù)lRil，參考答案組Ri中與翻譯系統(tǒng)譯文ti的句類相同的參考答案r的個(gè)數(shù)co贈(zèng)(j、,, e ;步驟5-1-2)、獲取機(jī)器譯文的句類信息；步驟5-1-3)、讀取參考譯文的句類轉(zhuǎn)換強(qiáng)度，如果轉(zhuǎn)換強(qiáng)度表明是選擇性轉(zhuǎn)換S_sct，則轉(zhuǎn)步驟5-1-4);如果轉(zhuǎn)換強(qiáng)度表明是零轉(zhuǎn)換N—sct，則轉(zhuǎn)步驟5-1-5);如果轉(zhuǎn)換強(qiáng)度表明是強(qiáng)制性轉(zhuǎn)換F—sct，則轉(zhuǎn)步驟5-1-6);步驟5-1-4)、對(duì)于選擇性轉(zhuǎn)換的轉(zhuǎn)換強(qiáng)度S—sct，根據(jù)下述公式計(jì)算出機(jī)器譯文的句類轉(zhuǎn)換評(píng)價(jià)得分<formula>formula see original document page 3</formula>轉(zhuǎn)步驟5-1-7);步驟5-1-5)、對(duì)于零轉(zhuǎn)換的轉(zhuǎn)換強(qiáng)度N_sct，把機(jī)器譯文的句類句式和參考譯文組的句類進(jìn)行對(duì)比，然后根據(jù)下述公式計(jì)算出機(jī)器譯文的句類轉(zhuǎn)換評(píng)價(jià)得分<formula>formula see original document page 3</formula>轉(zhuǎn)步驟5-1-7);步驟5-1-6)、對(duì)于強(qiáng)制性轉(zhuǎn)換的轉(zhuǎn)換強(qiáng)度F—sct，把機(jī)器譯文的句類和參考譯文組的句類進(jìn)行對(duì)比，然后根據(jù)下述公式計(jì)算出機(jī)器譯文的句類轉(zhuǎn)換評(píng)價(jià)得分<formula>formula see original document page 3</formula>轉(zhuǎn)步驟5-1-7);步驟5-1-7)、對(duì)所有機(jī)器譯文的句類轉(zhuǎn)換評(píng)價(jià)得分求平均值，得到句類轉(zhuǎn)換平均評(píng)價(jià)得分sct—info。
7.根據(jù)權(quán)利要求5所述的機(jī)器翻譯自動(dòng)評(píng)測(cè)方法，其特征在于，所述的步驟5-2)包括步驟5-2-1)、獲得參考譯文組Ri中參考答案的個(gè)數(shù)lRil，參考答案組Ri中與機(jī)器譯文ti的句式相同的參考答案r的個(gè)數(shù)co""/"r(,, e ;步驟5-2-2)、獲取機(jī)器譯文的句式信息；步驟5-2-3)、讀取參考譯文的句式轉(zhuǎn)換強(qiáng)度，如果轉(zhuǎn)換強(qiáng)度表明是選擇性轉(zhuǎn)換S_sft， 則執(zhí)行步驟5-2-4);如果轉(zhuǎn)換強(qiáng)度表明是零轉(zhuǎn)換N—sft，則執(zhí)行步驟5-2-5);如果轉(zhuǎn)換強(qiáng)度 表明是強(qiáng)制性轉(zhuǎn)換F_sft，則執(zhí)行步驟5-2-6);步驟5-2-4)、對(duì)于選擇性轉(zhuǎn)換的轉(zhuǎn)換強(qiáng)度S—sft，根據(jù)下述公式計(jì)算出機(jī)器譯文的句 式轉(zhuǎn)換評(píng)價(jià)得分<formula>formula see original document page 4</formula>轉(zhuǎn)步驟5-2-7);步驟5-2-5)、對(duì)于零轉(zhuǎn)換的轉(zhuǎn)換強(qiáng)度N—sft，如果機(jī)器譯文進(jìn)行了句式轉(zhuǎn)換，根據(jù)下述 公式計(jì)算出機(jī)器譯文的句式轉(zhuǎn)換評(píng)價(jià)得分祈」"/。{,,}=<formula>formula see original document page 4</formula>轉(zhuǎn)步驟5-2-7);步驟5-2-6)、對(duì)于強(qiáng)制性轉(zhuǎn)換的轉(zhuǎn)換強(qiáng)度F—sft，根據(jù)下述公式計(jì)算出機(jī)器譯文的句 式轉(zhuǎn)換評(píng)價(jià)得分1 <formula>formula see original document page 4</formula>轉(zhuǎn)步驟5-2-7);步驟5-2-7)對(duì)所有機(jī)器譯文的句式轉(zhuǎn)換評(píng)價(jià)得分求平均值，得到句式轉(zhuǎn)換平均評(píng)價(jià) 得分sft」nfo。
8. 根據(jù)權(quán)利要求5所述的機(jī)器翻譯自動(dòng)評(píng)測(cè)方法，其特征在于，在所述的步驟5-3)中， 采用下列公式計(jì)算句類句式轉(zhuǎn)換聯(lián)合評(píng)價(jià)得分scft」nfo :<formula>formula see original document page 4</formula>其中，！^。表示發(fā)生句類轉(zhuǎn)換的概率，！^f表示發(fā)生句式轉(zhuǎn)換的概率，sct」nfo表示句 類轉(zhuǎn)換平均評(píng)價(jià)得分，sft」nfo表示句式轉(zhuǎn)換平均評(píng)價(jià)得分。
9. 根據(jù)權(quán)利要求5所述的機(jī)器翻譯自動(dòng)評(píng)測(cè)方法，其特征在于，所述！^。取值為 0. 593，所述Psf取值為0. 339。
10. —種機(jī)器翻譯自動(dòng)評(píng)測(cè)系統(tǒng)，其特征在于，包括待評(píng)測(cè)數(shù)據(jù)存儲(chǔ)模塊、參考譯文數(shù) 據(jù)庫、參考譯文標(biāo)注數(shù)據(jù)庫、譯文句類句式轉(zhuǎn)換情況獲取模塊、評(píng)價(jià)打分模塊；其中，所述的待評(píng)測(cè)數(shù)據(jù)存儲(chǔ)模塊用于保存機(jī)器翻譯所得到的機(jī)器譯文、所述機(jī)器譯文的關(guān)于語句結(jié)構(gòu)的標(biāo)注信息；所述的參考譯文數(shù)據(jù)庫用于保存源語言句以及源語言句的參考譯文；所述的參考譯文標(biāo)注數(shù)據(jù)庫用于保存所述源語言句的關(guān)于語句結(jié)構(gòu)的標(biāo)注信息以及 所述參考譯文的關(guān)于語句結(jié)構(gòu)的標(biāo)注信息；所述的譯文句類句式轉(zhuǎn)換情況獲取模塊根據(jù)所述機(jī)器譯文的關(guān)于語句結(jié)構(gòu)的標(biāo)注信 息分析所述機(jī)器譯文的語句結(jié)構(gòu)，根據(jù)所述源語言句的關(guān)于語句結(jié)構(gòu)的標(biāo)注信息分析所述 源語言句的語句結(jié)構(gòu)，根據(jù)所述參考譯文的關(guān)于語句結(jié)構(gòu)的標(biāo)注信息分析所述參考譯文的 語句結(jié)構(gòu)，然后比較所述源語言句的語句結(jié)構(gòu)以及所述參考譯文的語句結(jié)構(gòu)，計(jì)算所述參 考譯文的語句結(jié)構(gòu)的轉(zhuǎn)換情況；所述的評(píng)價(jià)打分模塊比較所述源語言句的語句結(jié)構(gòu)以及所述機(jī)器譯文的語句結(jié)構(gòu)，計(jì) 算所述機(jī)器譯文的語句結(jié)構(gòu)的轉(zhuǎn)換情況，然后將所述參考譯文的語句結(jié)構(gòu)的轉(zhuǎn)換情況與所 述機(jī)器譯文的語句結(jié)構(gòu)的轉(zhuǎn)換情況進(jìn)行比較，根據(jù)比較結(jié)果對(duì)機(jī)器譯文加以評(píng)價(jià)。
11. 根據(jù)權(quán)利要求io所述的機(jī)器翻譯自動(dòng)評(píng)測(cè)系統(tǒng)，其特征在于，所述參考譯文數(shù)據(jù)庫包括英中參考譯文數(shù)據(jù)庫和中英參考譯文數(shù)據(jù)庫，數(shù)據(jù)庫的格式為(源語言句ID，源語 言句，參考譯文1，參考譯文2，……，參考譯文N)。
12. 根據(jù)權(quán)利要求IO所述的機(jī)器翻譯自動(dòng)評(píng)測(cè)系統(tǒng)，其特征在于，所述參考譯文標(biāo)注 數(shù)據(jù)庫包括英中參考譯文標(biāo)注數(shù)據(jù)庫和中英參考譯文標(biāo)注數(shù)據(jù)庫；該數(shù)據(jù)庫的格式為(源 語言句ID，源語言句，源語言句標(biāo)注信息，參考譯文l，參考譯文1標(biāo)注信息，……，參考譯 文N，參考譯文N標(biāo)注信息)。
全文摘要
本發(fā)明公開了一種機(jī)器翻譯自動(dòng)評(píng)測(cè)方法，包括讀取機(jī)器翻譯所得到的機(jī)器譯文、機(jī)器譯文的關(guān)于語句結(jié)構(gòu)的標(biāo)注信息以及源語言句；根據(jù)源語言句，讀取該源語言句的關(guān)于語句結(jié)構(gòu)的標(biāo)注信息、源語言句的參考譯文、參考譯文的關(guān)于語句結(jié)構(gòu)的標(biāo)注信息；分析所述機(jī)器譯文的語句結(jié)構(gòu)，分析所述源語言句的語句結(jié)構(gòu)，分析所述參考譯文的語句結(jié)構(gòu)；比較源語言句的語句結(jié)構(gòu)以及參考譯文的語句結(jié)構(gòu)，計(jì)算參考譯文的語句結(jié)構(gòu)的轉(zhuǎn)換情況；比較源語言句的語句結(jié)構(gòu)以及機(jī)器譯文的語句結(jié)構(gòu)，計(jì)算所述機(jī)器譯文的語句結(jié)構(gòu)的轉(zhuǎn)換情況，然后將所述參考譯文的語句結(jié)構(gòu)的轉(zhuǎn)換情況與所述機(jī)器譯文的語句結(jié)構(gòu)的轉(zhuǎn)換情況進(jìn)行比較，根據(jù)比較結(jié)果對(duì)機(jī)器譯文加以評(píng)價(jià)。
文檔編號(hào)G06F17/28GK101777044SQ201010103639
公開日2010年7月14日 申請(qǐng)日期2010年1月29日 優(yōu)先權(quán)日2010年1月29日
發(fā)明者丁澤亞, 張全, 繆建明, 袁毅, 韋向峰, 黃曾旸 申請(qǐng)人:中國科學(xué)院聲學(xué)研究所