自動化評分英文句子正確性系統
1.介紹
研究背景
近年來，在檢測自動化系統和糾正英文語法錯誤方面已經有大量的研究(Lee and Seneff, 2006, Gamon等人, 2008 and De Felice and Pulman, 2008) 。學習英語以當作第二語言的人數一直持續增長(Crystal, 1997)。學生在英文學習的初始階段要學習非母語的基本語法時更加需要具體的指導，以更快提高學生的寫作能力。
研究動機
研究動機是因為想要提高英文寫作能力的最佳方法就是需要多練習，但是學習者要隨時將文章給專家批閱是相當困難的，另外老師要人工將所有學生的文章做批改及評分是需要大量的時間和精力，所以無法讓學生大量練習寫作。此外，整個評分過程中難以維持一致性。基於上述原因，若能有一個自動化的英文句子評分系統將可減少教師/評分者的工作量，此外還可以讓學生的英文寫作能力大大提高。
研究目的
英語並非是母語的人士在學習外語時容易受到自己母語的影響以致於在英文句子上犯下一些錯誤，所以研究目的是建置一個自動化英文評分系統可自動檢測到英文句子的錯誤，最後系統會提供正確答案並根據文章正確性給予成績以讓學習者可以知道自己句子錯誤的地方。
研究架構
在系統自動評分學生句子的過程中。第一個步驟是老師在系統上提供了一些英文寫作的問題。由於句子寫作並不止有一種標準正確答案因此所有可能的答案都會被輸入到系統。首先系統會顯示問題，接下來學生根據問題輸入適當的英文句子，待作答完畢後該系統會根據教師提供正確的答案集來評分句子。當評分過程完成時，學生可以得到成績，然後這些得分也會反饋到系統以讓系統判斷正確性提高。
我們的研究提出的系統由兩個階段組成。
在第一階段，用手工編寫的語法規則來分析學生的英文句子。由於學生的句子可能包括各種形式的錯誤，故系統應該能夠處理使用者所輸入的英文句子在語法上的任何錯誤。
在第二階段，系統評估學生的答案是否正確表達題目的意思。因為學生的句子可能在語法上是對的但不符合語意。為了判別語意差異度，系統利用依賴關係來分析學生句子結構與答案的相似性以判斷是否符合語意。
2.相關研究
Chodorow and Leacock (2000) 在該領域的早期研究作品中，建置一個採用統計模型為基礎的評估詞彙智能（ALEK）的系統，它可以檢測不恰當使用詞語的英文作文。雖然這種方法有一個優勢，就是可自動從語料庫採集檢測錯誤的訊息，但它也有一些缺點。它並不能解決各種語法問題，像是在非連續句子中的單詞判斷。
Lee and Seneff (2006)提出了一個語法檢測模塊的對講系統。該系統利用傳統的n-gram語言模型來選擇最佳的順序。但該系統的檢測範圍是有限的，錯誤檢測的範圍也只限於文章中的名詞、介詞和動詞。
Gamon等人 (2008) 引入了一個的ESL錯誤校正系統，它利用上下文拼寫檢查器技術和語言模型。系統處理可分辨8個不同的錯誤類型，此外，該系統提供了“真實世界的例子，使用者透過網路搜索後可以有助於他們知道在各狀況下適當的措辭。然而，該系統沒有解決的問題，就是網路上有些錯誤的建議會混淆使用者反而讓學習者學到錯誤的資訊。
Mohler and Mihalcea (2009) 引入了評估簡短的回答後可自動分級的系統，該系統採用無監督的技術。他們的系統會自行培訓，它從維基百科獲得一般和特定領域的語料庫進行潛語義分析（LSA），他們還引入了新的技術以改善系統的性能，並能從學生的答案自動反饋。然而，該系統處理的只有個別學生的答案和正確答案之間的語義相似性。而且該系統無法判別語法錯誤。
我們的研究是想設計一個自動化英文評分系統，它可藉由教師提供的正確答案集，來給使用者更精確的反饋，這可以幫助學生知道英文句子在語法及語意上的錯誤並能夠了解正確寫法，學生透過此系統不斷練習寫作便可提高他們的英文寫作技能。
3.英文句子自動評分系統
整個系統由兩個模塊組成。
第一個模塊是“語法檢測”，它識別一個句子中出現的錯誤。為了確保自動評分過程的正確性，首先讓教師提供一套正確答案。當學生輸入句子後，系統透過形態-句法分析來檢測學生輸入句子。系統可判別各種錯誤，例如拼寫以及句法上的錯誤。
第二個模塊是“語意檢測”。即使學生所輸入的句子是沒有語法錯誤但句子可能會不正確，原因有：（1）未使用適當的時態（2）未正確表達題目的意思，和（3）句子中有不必要的贅詞等等。在這種情況下，系統利用依賴分析來把學生句子和正確答案之間的語義相似性進行評估，系統會產生一份報告，它包含評分結果及錯誤的地方，並提供正確答案反饋給學生。
最後系統將2個模組檢測的結果透過系統中的評分模組轉換成分數以供老師及學生參考。
3.1自動評分系統辭庫
系統從各種來源,如中英辭典、學校教材、參考書來收集詞彙，句法規則及同義詞相關資訊。該系統處理錯誤句子後的錯誤信息也會被儲存在詞庫，未來系統提供的反饋會越來越準確。
4.參考文獻
De Felice and Pulman, 2008
A classifier-based approach to preposition and determiner error correction in L2 English.
Crystal, 1997
English as a Global Language
Chodorow and Leacock, 2000
An unsupervised method for detecting grammatical errors
Lee and Seneff, 2006
Automatic grammar correction for second-language learners
Gamon等人, 2008
Using contextual speller techniques and language modeling for ESL error correction
Mohler and Mihalcea, 2009
Text-to-text semantic similarity for automatic short answer grading
留言列表
