圓耳貓的呢喃

A Mandarin edutainment system integrated virtual learning environments

利用虛擬學習環境的中文寓教於樂學習系統

http://www.sciencedirect.com/science/article/pii/S... 原文出處

1.介紹

這paper想建立一個完整結合中文語音識別和評估的中文寓教於樂學習系統，讓學生可以透過互動式的虛擬學習遊戲來學習中文及中國的歷史和文化。

2.系統框架

圖一、中文教育娛樂系統的流程圖

3.即時中文語音識別和語音評價

3.3聲學韻律參數

3.3.1 HMM模型

HMM模型可以有效地評估聲音相似度程度

3.3.2音量大小: 韻律

3.3.3發音持續時間

持續時間的數據可以用來評估語速（ROS）是否適中

3.3.4時間

實證研究表明，非母語的人不能的說話速度不如當地人說話速度，故計算說一段話的時間可以有效的評估流暢性

4.虛擬3D遊戲設計

這裡介紹如何有效地構建虛擬學習環境(VLE)系統和設計將中文學習寓教於樂的遊戲。

4.1 VLE系統的建設

為了追求豐富色彩，寬廣視角，和模擬現實世界所以利用Virtools來構造一個身臨其境的3D遊戲場景。

VLE系統可以有效地提高學習者的興趣，尤其是對傳統的方法感到障礙或困難的學習者。

4.2中文寓教於樂VR遊戲設計

虛擬現實(VR)技術的研究和應用，可以比現有的方法更加有效地提高學習效率和激發語言學習的興趣。

這個系統的主要3D場景是一個荒島上，島上關主是中國神話的角色例如孫悟空，沙僧，觀音，菩薩

舉例來說在這張圖5。使用者遇到虛擬角色詢問“我背後的情景是什麼？”學習者回答後系統會顯示得分，若使用者提供了一個不合理的答案就會顯示0分然後角色會重複問題並給予提示。

以VLE的角度來看，這款教育娛樂系統不僅豐富了語言學習的形式，也提供了一個全面的，多視角的教材，以豐富的學習經驗發音特點進行分析和掌握的新知識，了解中國文化。

5.實驗

中文教育娛樂系統的效能評估是基於四個方面：

1.準確的語音識別和語音評價，

2.易用性，

3 .VLE系統的喜好度，

4.從語言學和文化上獲取知識的角度來進行評估。

5.1語言識別和語音評價的準確性

從表1中，我們可以得出結論就是機器分數跟識別結果有一定的關係。使用者的分數逐漸增大，誤判的錯誤會相應減少。以0.6-0.9分數的範圍內，部分的片語可能有錯誤。如果得分是高達0.9，錯誤將顯著降低。

表2機器和人類對分數評估結果的相關性

在表2中，列出了基於不同層次的中文發音，包括音素，音節，詞和片語的相關性。從結果來看，我們評估方法跟真人打的分數能夠獲得令人滿意的的相關性，特別是對於語詞的級別。可以看出，發音的評估相結合的韻律參數可以有效地反映中文的特性和提高的評價績效。此外，更多的評價因素應考慮進一步提高績效，例如，學生的語言背景，文化習慣，和中文的語言特性。

5.2可用性

如表3所示，新提出的系統顯著改善各個級別學習者的發音正確性，尤其是對新手學習者。

在系統中有一些輔助功能來幫助學習者使用系統。從圖4可以看到學習者在第二個小時使用輔助功能跟第一個小時相比是有顯著的改善尤其是對於初學者，這表示這個系統是相當容易把握，使用者很快就能熟悉界面不需常用輔助功能。

從圖5我們可以看到，有經驗的學習者比新手學習者有較少的導航困難，這使得他們有更多的時間閱讀相關的中文理論和加強自己的發音。

VR環境可能會讓學習者分心所以進行實測來了解使用者的分心情形，實驗方法是紀錄使用者在2個小時的分心次數及時間，從表6可看到新手分心程度最低而中級學習者是最高的。

分心的原因之一是學習者可能會被VR場景，動畫，虛擬對象和故事等吸引，所以在未來應添加更多的個性化選擇自定義虛擬環境的組件，以減少干擾。

5.3喜好度

如何提高學習者的學習動機和參與度是重要因素。所以利用衡量比較研究來看使用者對於此系統的喜愛度:除了此軟體還找一個是相對於非遊戲類的語言學習軟體。另一個是非教育VR遊戲軟體。

評估方法是花費時間較多的軟體就能顯示使用者對軟體的喜好度。實驗提供所有學生在不同的軟體都有900分鐘，並記錄使用者在每個軟體花費多少時間。表7中的數據顯示所有軟體相比，此中文寓教於樂學習系統有顯著的偏好，特別是對有經驗的學習者。

結果表明，此系統比非遊戲的教育應用軟體，更具吸引力和激勵的目的以及比非教育遊戲軟體更具指導性和知識。新手學習者開始遇到了一些困難，如中文語音系統操作，所以對軟體感到一點無聊和煩躁的心情。然而，當他們的發音技巧漸漸改善，學員就越來越多被吸引到這個系統，更頻繁地沉浸到中文的學習環境。

5.4知識性

為了瞭解系統帶來的知識所以採取發問券的方式，在問卷中主要提出有關知識性的問題有6項:

1.發音有沒有更好？輔音，元音，聲調嗎？

2.對於流暢性最具影響力的因素？節奏，語調，或壓力？

3.你更喜歡哪一個課程內容？社會，歷史，文化嗎？

4.在系統中的哪個單元更有吸引力？詞，片語或句子？

5.你認為知識在哪裡是有幫助嗎？在課堂上，在家裡，還是在社會呢？

6.對於中文教育娛樂系統有什麼其他的建議？

藉由問卷結果，我們可以進一步分析學習者的偏好，然後去改變課程分配，以促進更有效的學習。

首先，為了更有效地提高他們的積極性，大多數的學習者表示，如果VLE系統涉及更多的VR對象，更多的文化背景，和更多如商業遊戲的冒險，這樣系統會更好。另外有一些學生指出，系統的挑戰性不夠，應該包含更多的中國成語，諺語和詩歌。

6.結論

研究結果有效的表明，與傳統的非遊戲學習方式相比，這款系統具有獨特的優勢。

另外系統中開放，共享和互動的特性，可以提高學生的溝通能力和建立現實生活中的社交能力。

7.未來展望

要根據最新的語音處理技術，並詳細分析中文特性來提高語言支持模型的效能。

還有開發出更多的人物和故事情節，讓系統可以幫助學習者的中文發音能接近母語人士。