高瑞 朱榮
摘 要： 以往在線學習成績檢測系統，僅能給出得分情況，測評效果差。設計智慧學習視角下在線學習成績智能測試系統，由初級資源層、中級平台層、高級應用層構成，通過學習科目、電子圖書、在線測試、自我信息四大功能模塊實現在線學習成績的智能處理分析。採用基於IRT的知識水平診斷方法測試用戶知識水平，通過MCMC方法推算考核參數，實現在線學習成績的準確測試。實驗結果表明，系統能夠對用戶的六級詞彙水平進行精確測試，用戶滿意度和性能高。
關鍵詞： 智慧學習； 在線學習； 成績測試； IRT； MCMC方法； 系統設計
中圖分類號： TN915.5?34； G434 文獻標識碼： A 文章編號： 1004?373X（2018）14?0154?04
Design of online learning performance intelligent test system from
intelligent learning perspective
GAO Rui1， ZHU Rong2
（1. Department of Automotive and Electronic Engineering， Hanjiang Normal University， Shiyan 442000， China；
2. Department of Computer Science， Hanjiang Normal University， Shiyan 442000， China）
Abstract： The past online learning performance test system can only present scores， and has poor test and evaluation results. Therefore， an online learning performance intelligent test system from intelligent learning perspective is designed. The system is composed of the primary resource layer， intermediate platform layer， and advanced application layer. The intelligent processing and analysis of online learning performance are realized by means of four functional modules of learning subjects， electronic books， online test， and self information. The IRT?based knowledge level diagnosis method is used to test users′ knowledge level， and the MCMC method is used to calculate assessment parameters， so as to realize accurate test of online learning performance. The experimental results show that the system can accurately test users′ vocabulary level of CET6， and has high user satisfaction and performance.
Keywords： intelligent learning； online learning； performance test； IRT； MCMC method； system design
多元智能測評系統已經進入人們的生活，但它只是提供給用戶一些智能狀況分析。智慧學習視角下在線學習成績智能測試系統是利用大量的數據與雲計算來實現成績在線智能測試，並通過對用戶學習情況的分析，提供具有個人特點的學習服務[1]。智慧學習視角下在線學習成績智能測試系統採取有關數據實施專項學習，滿足學習者的學習需求。
1 智慧學習視角下在線學習成績智能測試系統
1.1 系統總體結構設計
在大數據與雲計算服務的基礎上創建在線學習成績測試系統，即智慧學習視角下在線學習成績智能測試系統[2?3]。該測試系統由初級資源層、中級平台層、高級應用層三個部分組成，具體見圖1。
1.2 組織結構設計
成績智能測試系統為每一位需要學習的人創建了一個在線學習、成績智能測試、相互溝通的地方[4]。圖2為系統的組織結構圖。
1.3 在線測試模塊設計
在線測試是一個智能的題庫系統。該系統可以滿足用戶完成各種各樣科目訓練檢驗的需求[5]。圖3展示了在線測試模塊的詳細功能結構。
1.3.1 題庫訓練
題庫訓練的主要功能是方便用戶在線進行知識考核及訓練。其由特定智能訓練、章節訓練、錯題智能訓練與真題演練4個板塊組成[6]。
1.3.2 能力測評
系統將根據各個用戶參加訓練的數據實行儲存並總結。按照所參加題目數量、正確度、平均分等部分提供具有個人特點的能力測評。這樣用戶可以實現自我評價和特定習題訓練[7]。
2 系統診斷實現
2.1 基於IRT的知識水平診斷方法
系統以IRT為基礎對用戶的學習知識水平進行測試。IRT主要包括：三參數模型、雙參數模型和單參數模型，文中構建的系統使用三參數模型[8]。
在IRT的基礎上，對用戶學習知識水平進行判定程序是：用戶知識掌握的基本程度，通過對用戶整體能力的了解來決定相應的試題，在每一題答完後，還要對用戶的能力再一次進行了解，然後接著考核，最終達到可以考核結束要求才會完成考核。
2.2 用戶知識掌握的基本程度
新用戶在考核前無法了解自身對知識的掌握程度，因此有必要了解新用戶的能力[9]。假設不能了解用戶的基本情況，則認為用戶對知識的掌握程度為一般，在題庫中選擇難易程度一般的試題，若回答正確，升為較難的試題考核，否則降低到簡單的試題進行考核，推算出用戶知識掌握的基本程度。
2.3 採用MCMC方法推算考核參數
系統考核回饋理論本質在於對考核參數的推算[10]，馬爾科夫鏈蒙特卡洛算法（MCMC）使用多元後驗分布對隨機樣本進行模仿，能更快更準確地推算出所需參數。本文使用MCMC方法來推算參數。
MCMC方法推算參數的過程為：創建Markov鏈，符合穩態分布；利用Markov鏈進行試驗；獲取試驗結果推算參數。
3 實驗分析
3.1 六級英語詞彙測試性能分析
實驗採用智慧學習視角下在線學習成績智能測試系統對123名考核者實施檢測。對參與測試人員進行大學六級英語測試，將他們的六級測試分數逐一記錄下來，藉助本文系統的分析軟體將考核人員的詞彙本領與測試分數二者信息進行有關研究，獲得本文系統推算大學英語六級詞彙本領的精準度。Ability代表考核者的詞彙水平，Score代表考核者的六級分數，圖4展現了二者的散點排列圖。
圖4的散點排列顯示，橫坐標為六級分數與縱坐標為詞彙本領相互對比可知二者宏觀上體現為線性正關聯，說明本文系統檢驗出考核人員的六級詞彙掌握程度和考核人員的六級本領在一定條件下有相似性。
實驗通過關聯繫數與突出性程度的值對六級分數與詞彙本領進行具體關聯深度的驗證。突出性機率P在非假設條件下進行分析，先設想二者變量並沒有線性關聯，通常設想檢測的突出性值是0.049 9，若P值比該值低，則二者變量存在線性關聯，否則不存在線性關聯。表1與表2是本文系統獲取用戶六級分數同詞彙本領變量關聯性情況。
表2中Confidence Intervel為94%；關聯繫數大小隻負責表示數據之間關聯性的大小，和正負無關。
根據表1、表2數據得知，智能學習視角下在線學習成績智能測試系統獲取的考核人員六級詞彙本領和他們的六級測驗分數間存在的關聯繫數為0.801，突出性機率值是0.026，證實六級詞彙本領與六級分數的變量值極其有關。關聯性研究成果里展示的關聯繫數0.801符合統計學運算，它們的確具有關聯性。實驗得到的關聯繫數，說明詞彙本領和相應得分間的關聯深度是0.801，說明本文系統可以較精準地了解考核人員六級詞彙掌握本領情況，也可對考核人員的實際能力情況進行準確測試。
3.2 調查報告統計測試分析
實驗檢測本文系統運行的滿意度情況，從表3，表4可以看出，用戶對本文系統的滿意度較高。表3中，92%的考核人員對在線成績測試系統的運行持有「支持」態度，95%的人表示對智慧學習視角下在線學習成績智能測試系統的運行步驟了如指掌，100%的人表示該系統能夠是他們參加考核不受時間地點的限制，存在4.3%的人因個體設備差異而對對本文系統持有「否決」態度。能夠得出用戶對本文系統的運行情況滿意度高。
表4展示了此系統可以加強考核人員的學習狀態的滿意度，能夠得出有96%的人表示該系統方法使他們對英語詞彙更加喜歡，有94%的人員表示系統了解的真正六級詞彙能力，92%的人表示明確了學習的重點，能夠自行複習。
表5主要是用戶提出關於該系統的意見總結，獲取本文系統優勢以及劣勢情況。能夠看出，95%的用戶覺得本文系統可以減少考核用時，並且能夠什麼時候需要就什麼時候開始考核，非常方便；98%的用戶覺得本文系統考核試題的難易程度合理，符合自身實際情況；94%的用戶則表示本文系統適合不同情況的用戶，可以說是「對症下藥」。
實驗基於考核人員滿意度訪問情況檢測本文系統的性能，說明本文提出的系統可以檢驗考核者的真實六級詞彙掌握情況。而在問卷訪問中可以證實本文系統可以達到大部分考核者的要求，獲取使用人員的認同。
4 結 論
本文設計出智慧學習視角下在線學習成績智能測試系統，對系統結構和組織構架進行設計，系統採用基於IRT的知識水平診斷方法測試用戶知識水平，通過MCMC方法推算考核參數，實現用戶在線學習成績的準確測試。
參考文獻
[1] 謝幼如，劉嘉欣，孫寧蔚，等.智慧學習環境下學生科學探究心智技能的培養[J].開放教育研究，2016，22（2）：104?112.
XIE Youru， LIU Jiaxin， SUN Ningwei， et al. Research on cultivating elementary students′ scientific inquiry intellectual skills in a smart learning environment [J]. Open education research， 2016， 22（2）： 104?112.
[2] 張偉，許愛強，高明哲.一種基於積累一致性測量的在線狀態預測算法[J].上海交通大學學報，2017，51（11）：1391?1398.
ZHANG Wei， XU Aiqiang， GAO Mingzhe. An online condition prediction algorithm based on cumulative coherence measurement [J]. Journal of Shanghai Jiao Tong University， 2017， 51（11）： 1391?1398.
[3] 李爽，王增賢，喻忱，等.在線學習行為投入分析框架與測量指標研究：基於LMS數據的學習分析[J].開放教育研究，2016，22（2）：77?88.
LI Shuang， WANG Zengxian， YU Chen， et al. Mining LMS data for behavioral engagement indicators in online learning environments [J]. Open education research， 2016， 22（2）： 77?88.
[4] 楊紅紅，曲仕茹，米秀秀.基於權值分配及多特徵表示的在線多示例學習跟蹤[J].北京航空航天大學學報，2016，42（10）：2146?2154.
YANG Honghong， QU Shiru， MI Xiuxiu. Tracking approach based on online multiple instance learning with weight distribution and multiple feature representation [J]. Journal of Beijing University of Aeronautics and Astronautics， 2016， 42（10）： 2146?2154.
[5] 李宇翀，魏東，羅興國，等.基於多元增量分析的全網絡在線異常檢測方法[J].上海交通大學學報，2016，50（9）：1368?1375.
LI Yuchong， WEI Dong， LUO Xingguo， et al. Online network?wide anomaly detection algorithm based on multivariate incremental component analysis [J]. Journal of Shanghai Jiao Tong University， 2016， 50（9）： 1368?1375.
[6] LIU R， ZHONG G， CAO J， et al. Learning to diffuse： a new perspective to design PDEs for Visual analysis [J]. IEEE transactions on pattern analysis and machine intelligence， 2016， 38（12）： 2457?2471.
[7] 王益斌，黃加亮.海船船員考證網絡在線平台軟體的開發[J].中國航海，2017，40（1）：88?92.
WANG Yibin， HUANG Jialiang. Development and application of online platform for seafarer training [J]. Navigation of China， 2017， 40（1）： 88?92.
[8] 郭修敏.漢語口語成績測試評分員培訓體系建構及實證研究[J].語言教學與研究，2016（1）：24?31.
GUO Xiumin. A rater training program for the Chinese oral achievement test： its design and a related empirical research[J]. Language teaching and linguistic studies， 2016（1）： 24?31.
[9] 高媛，黃真真，李冀紅，等.智慧學習環境中的認知負荷問題[J].開放教育研究，2017，23（1）：56?64.
GAO Yuan， HUANG Zhenzhen， LI Jihong， et al. Analysis of cognitive load in smart learning environment [J]. Open education research， 2017， 23（1）： 56?64.
[10] GUILLY T L， NIELSEN M K， PEDERSEN T， et al. User constraints for reliable user?defined smart home scenarios [J]. Journal of reliable intelligent environments， 2016， 2（2）： 75?91.
摘 要： 以往在線學習成績檢測系統，僅能給出得分情況，測評效果差。設計智慧學習視角下在線學習成績智能測試系統，由初級資源層、中級平台層、高級應用層構成，通過學習科目、電子圖書、在線測試、自我信息四大功能模塊實現在線學習成績的智能處理分析。採用基於IRT的知識水平診斷方法測試用戶知識水平，通過MCMC方法推算考核參數，實現在線學習成績的準確測試。實驗結果表明，系統能夠對用戶的六級詞彙水平進行精確測試，用戶滿意度和性能高。
關鍵詞： 智慧學習； 在線學習； 成績測試； IRT； MCMC方法； 系統設計
中圖分類號： TN915.5?34； G434 文獻標識碼： A 文章編號： 1004?373X（2018）14?0154?04
Design of online learning performance intelligent test system from
intelligent learning perspective
GAO Rui1， ZHU Rong2
（1. Department of Automotive and Electronic Engineering， Hanjiang Normal University， Shiyan 442000， China；
2. Department of Computer Science， Hanjiang Normal University， Shiyan 442000， China）
Abstract： The past online learning performance test system can only present scores， and has poor test and evaluation results. Therefore， an online learning performance intelligent test system from intelligent learning perspective is designed. The system is composed of the primary resource layer， intermediate platform layer， and advanced application layer. The intelligent processing and analysis of online learning performance are realized by means of four functional modules of learning subjects， electronic books， online test， and self information. The IRT?based knowledge level diagnosis method is used to test users′ knowledge level， and the MCMC method is used to calculate assessment parameters， so as to realize accurate test of online learning performance. The experimental results show that the system can accurately test users′ vocabulary level of CET6， and has high user satisfaction and performance.
Keywords： intelligent learning； online learning； performance test； IRT； MCMC method； system design
多元智能測評系統已經進入人們的生活，但它只是提供給用戶一些智能狀況分析。智慧學習視角下在線學習成績智能測試系統是利用大量的數據與雲計算來實現成績在線智能測試，並通過對用戶學習情況的分析，提供具有個人特點的學習服務[1]。智慧學習視角下在線學習成績智能測試系統採取有關數據實施專項學習，滿足學習者的學習需求。
1 智慧學習視角下在線學習成績智能測試系統
1.1 系統總體結構設計
在大數據與雲計算服務的基礎上創建在線學習成績測試系統，即智慧學習視角下在線學習成績智能測試系統[2?3]。該測試系統由初級資源層、中級平台層、高級應用層三個部分組成，具體見圖1。
1.2 組織結構設計
成績智能測試系統為每一位需要學習的人創建了一個在線學習、成績智能測試、相互溝通的地方[4]。圖2為系統的組織結構圖。
1.3 在線測試模塊設計
在線測試是一個智能的題庫系統。該系統可以滿足用戶完成各種各樣科目訓練檢驗的需求[5]。圖3展示了在線測試模塊的詳細功能結構。
1.3.1 題庫訓練
題庫訓練的主要功能是方便用戶在線進行知識考核及訓練。其由特定智能訓練、章節訓練、錯題智能訓練與真題演練4個板塊組成[6]。
1.3.2 能力測評
系統將根據各個用戶參加訓練的數據實行儲存並總結。按照所參加題目數量、正確度、平均分等部分提供具有個人特點的能力測評。這樣用戶可以實現自我評價和特定習題訓練[7]。
2 系統診斷實現
2.1 基於IRT的知識水平診斷方法
系統以IRT為基礎對用戶的學習知識水平進行測試。IRT主要包括：三參數模型、雙參數模型和單參數模型，文中構建的系統使用三參數模型[8]。
在IRT的基礎上，對用戶學習知識水平進行判定程序是：用戶知識掌握的基本程度，通過對用戶整體能力的了解來決定相應的試題，在每一題答完後，還要對用戶的能力再一次進行了解，然後接著考核，最終達到可以考核結束要求才會完成考核。
2.2 用戶知識掌握的基本程度
新用戶在考核前無法了解自身對知識的掌握程度，因此有必要了解新用戶的能力[9]。假設不能了解用戶的基本情況，則認為用戶對知識的掌握程度為一般，在題庫中選擇難易程度一般的試題，若回答正確，升為較難的試題考核，否則降低到簡單的試題進行考核，推算出用戶知識掌握的基本程度。
2.3 採用MCMC方法推算考核參數
系統考核回饋理論本質在於對考核參數的推算[10]，馬爾科夫鏈蒙特卡洛算法（MCMC）使用多元後驗分布對隨機樣本進行模仿，能更快更準確地推算出所需參數。本文使用MCMC方法來推算參數。
MCMC方法推算參數的過程為：創建Markov鏈，符合穩態分布；利用Markov鏈進行試驗；獲取試驗結果推算參數。
3 實驗分析
3.1 六級英語詞彙測試性能分析
實驗採用智慧學習視角下在線學習成績智能測試系統對123名考核者實施檢測。對參與測試人員進行大學六級英語測試，將他們的六級測試分數逐一記錄下來，藉助本文系統的分析軟體將考核人員的詞彙本領與測試分數二者信息進行有關研究，獲得本文系統推算大學英語六級詞彙本領的精準度。Ability代表考核者的詞彙水平，Score代表考核者的六級分數，圖4展現了二者的散點排列圖。
圖4的散點排列顯示，橫坐標為六級分數與縱坐標為詞彙本領相互對比可知二者宏觀上體現為線性正關聯，說明本文系統檢驗出考核人員的六級詞彙掌握程度和考核人員的六級本領在一定條件下有相似性。
實驗通過關聯繫數與突出性程度的值對六級分數與詞彙本領進行具體關聯深度的驗證。突出性機率P在非假設條件下進行分析，先設想二者變量並沒有線性關聯，通常設想檢測的突出性值是0.049 9，若P值比該值低，則二者變量存在線性關聯，否則不存在線性關聯。表1與表2是本文系統獲取用戶六級分數同詞彙本領變量關聯性情況。
表2中Confidence Intervel為94%；關聯繫數大小隻負責表示數據之間關聯性的大小，和正負無關。
根據表1、表2數據得知，智能學習視角下在線學習成績智能測試系統獲取的考核人員六級詞彙本領和他們的六級測驗分數間存在的關聯繫數為0.801，突出性機率值是0.026，證實六級詞彙本領與六級分數的變量值極其有關。關聯性研究成果里展示的關聯繫數0.801符合統計學運算，它們的確具有關聯性。實驗得到的關聯繫數，說明詞彙本領和相應得分間的關聯深度是0.801，說明本文系統可以較精準地了解考核人員六級詞彙掌握本領情況，也可對考核人員的實際能力情況進行準確測試。
3.2 調查報告統計測試分析
實驗檢測本文系統運行的滿意度情況，從表3，表4可以看出，用戶對本文系統的滿意度較高。表3中，92%的考核人員對在線成績測試系統的運行持有「支持」態度，95%的人表示對智慧學習視角下在線學習成績智能測試系統的運行步驟了如指掌，100%的人表示該系統能夠是他們參加考核不受時間地點的限制，存在4.3%的人因個體設備差異而對對本文系統持有「否決」態度。能夠得出用戶對本文系統的運行情況滿意度高。
表4展示了此系統可以加強考核人員的學習狀態的滿意度，能夠得出有96%的人表示該系統方法使他們對英語詞彙更加喜歡，有94%的人員表示系統了解的真正六級詞彙能力，92%的人表示明確了學習的重點，能夠自行複習。
表5主要是用戶提出關於該系統的意見總結，獲取本文系統優勢以及劣勢情況。能夠看出，95%的用戶覺得本文系統可以減少考核用時，並且能夠什麼時候需要就什麼時候開始考核，非常方便；98%的用戶覺得本文系統考核試題的難易程度合理，符合自身實際情況；94%的用戶則表示本文系統適合不同情況的用戶，可以說是「對症下藥」。
實驗基於考核人員滿意度訪問情況檢測本文系統的性能，說明本文提出的系統可以檢驗考核者的真實六級詞彙掌握情況。而在問卷訪問中可以證實本文系統可以達到大部分考核者的要求，獲取使用人員的認同。
4 結 論
本文設計出智慧學習視角下在線學習成績智能測試系統，對系統結構和組織構架進行設計，系統採用基於IRT的知識水平診斷方法測試用戶知識水平，通過MCMC方法推算考核參數，實現用戶在線學習成績的準確測試。
參考文獻
[1] 謝幼如，劉嘉欣，孫寧蔚，等.智慧學習環境下學生科學探究心智技能的培養[J].開放教育研究，2016，22（2）：104?112.
XIE Youru， LIU Jiaxin， SUN Ningwei， et al. Research on cultivating elementary students′ scientific inquiry intellectual skills in a smart learning environment [J]. Open education research， 2016， 22（2）： 104?112.
[2] 張偉，許愛強，高明哲.一種基於積累一致性測量的在線狀態預測算法[J].上海交通大學學報，2017，51（11）：1391?1398.
ZHANG Wei， XU Aiqiang， GAO Mingzhe. An online condition prediction algorithm based on cumulative coherence measurement [J]. Journal of Shanghai Jiao Tong University， 2017， 51（11）： 1391?1398.
[3] 李爽，王增賢，喻忱，等.在線學習行為投入分析框架與測量指標研究：基於LMS數據的學習分析[J].開放教育研究，2016，22（2）：77?88.
LI Shuang， WANG Zengxian， YU Chen， et al. Mining LMS data for behavioral engagement indicators in online learning environments [J]. Open education research， 2016， 22（2）： 77?88.
[4] 楊紅紅，曲仕茹，米秀秀.基於權值分配及多特徵表示的在線多示例學習跟蹤[J].北京航空航天大學學報，2016，42（10）：2146?2154.
YANG Honghong， QU Shiru， MI Xiuxiu. Tracking approach based on online multiple instance learning with weight distribution and multiple feature representation [J]. Journal of Beijing University of Aeronautics and Astronautics， 2016， 42（10）： 2146?2154.
[5] 李宇翀，魏東，羅興國，等.基於多元增量分析的全網絡在線異常檢測方法[J].上海交通大學學報，2016，50（9）：1368?1375.
LI Yuchong， WEI Dong， LUO Xingguo， et al. Online network?wide anomaly detection algorithm based on multivariate incremental component analysis [J]. Journal of Shanghai Jiao Tong University， 2016， 50（9）： 1368?1375.
[6] LIU R， ZHONG G， CAO J， et al. Learning to diffuse： a new perspective to design PDEs for Visual analysis [J]. IEEE transactions on pattern analysis and machine intelligence， 2016， 38（12）： 2457?2471.
[7] 王益斌，黃加亮.海船船員考證網絡在線平台軟體的開發[J].中國航海，2017，40（1）：88?92.
WANG Yibin， HUANG Jialiang. Development and application of online platform for seafarer training [J]. Navigation of China， 2017， 40（1）： 88?92.
[8] 郭修敏.漢語口語成績測試評分員培訓體系建構及實證研究[J].語言教學與研究，2016（1）：24?31.
GUO Xiumin. A rater training program for the Chinese oral achievement test： its design and a related empirical research[J]. Language teaching and linguistic studies， 2016（1）： 24?31.
[9] 高媛，黃真真，李冀紅，等.智慧學習環境中的認知負荷問題[J].開放教育研究，2017，23（1）：56?64.
GAO Yuan， HUANG Zhenzhen， LI Jihong， et al. Analysis of cognitive load in smart learning environment [J]. Open education research， 2017， 23（1）： 56?64.
[10] GUILLY T L， NIELSEN M K， PEDERSEN T， et al. User constraints for reliable user?defined smart home scenarios [J]. Journal of reliable intelligent environments， 2016， 2（2）： 75?91.
收藏