智東西(公眾號:zhidxcom)
編 |?王穎
導語：亞馬遜研究人員用遷移學習簡化為Alexa添加新語種的過程，將訓練數據減少50%。
智東西4月9日消息，亞馬遜研究人員開發了一種新方法，通過遷移學習來簡化為Alexa語音助手添加新語言的過程。
亞馬遜研究人員在報告中提到，通過不斷實驗，機器學習模型學習新語言所需的數據需求已經降低了50%。他們將在5月在巴塞羅那舉行的國際聲學、語言和信號處理會議ICASSP上展示這項語言訓練的方法。
一、什么是遷移學習？
遷移學習的過程是，首先在基礎數據集和任務上訓練基礎網絡，然后將學習的新特征重新調整或轉移到第二個目標網絡，以便在目標數據集和任務上進行訓練。
亞馬遜研究人員發表的論文（跨語言學習促進口語理解），描述了一種用最少的訓練數據，將原本只適應一種固定語言訓練的機器學習模型，適應到另一種語言的技術過程。
該論文的合著者，Alexa AI 自然理解實驗室的科學家Quynh Do和Judith Gaspers表示，這種機器學習模型依靠跨語言遷移學習（cross-lingual transfer learning）來引導新的功能，這是跨語言遷移學習第一次被用來將聯合意圖槽分類器翻譯成一種新的語言。
二、跨語言遷移機器學習模型的開發過程
模型中包含的口語理解（SLU）系統通常包括兩個子任務，意圖分類和插槽標記。意圖是用戶想要執行的任務，插槽表示意圖所作用的實體。（例如，人們語音命令Alexa播放Panic演唱的High Hopesby，意圖是播放音樂，插槽即在相應的位置填上歌曲名和藝人名。）
Quynh Do和Judith Gaspers注意到，通過不斷的訓練，意圖和插槽分類器共同提高了性能。因此他們又繼續探索了六種不同的聯合訓練AI系統。在將這六種訓練系統的表現與英語SLU示例的開源基準數據集進行比較后，研究人員確定了三個表現優于前系統的聯合訓練AI系統。
接下來，他們嘗試了詞嵌入（與多維空間中的點對應的一系列固定長度坐標）和字符嵌入（反映單詞及其組成部分的意義的集群），他們總共輸入了六個不同的神經網絡，其中包括一種稱為長短時記憶模型（LSTM）網絡的循環網絡類型，該網絡按順序處理有序輸入和有序輸出。研究人員預先訓練SLU模型，并對目標數據集進行微調，使用源語言（英語）的數據來提高SLU在目標語言（德語）中的表現。
二、跨語言遷移機器學習模型的效果
在一次大規模測試中，亞馬遜研究團隊創建了一個語料庫，其中包括從英語Alexa SLU系統中采集的一百萬個語句，以及來自德國Alexa SLU系統的10000和20000個隨機語句樣本。開發集包括來自德國系統的2000個語句。
通過訓練雙語輸入嵌入，對來自兩種語言中語義相似的單詞進行分組，研究人員發現，一個源數據為100萬個英語單詞，目標數據為10000個德語單詞的遷移模型，比一個訓練了2萬個德語單詞的單語模型更準確地分類了意圖。與單語言訓練系統相比，跨語言學習模型的槽分類得分提高了4%。
研究人員表示，盡管LSTM模型在英語測試集中表現最好，但并不能保證它會產生最佳的遷移學習效果。在正在進行的工作中，他們也在嘗試把其他模型轉移到德語環境中。
論文鏈接：//arxiv.org/pdf/1904.01825.pdf
原文來自：Machine Learning、VentureBeat
