閆寒冰 段春雨 王文嬌
摘要：在線討論是遠程培訓的重要活動形式，其討論質量直接關涉到遠程培訓的成效。然而，以往的在線討論質量分析往往局限於或者對分析框架進行學理層面的探討，或者對內容質量進行事後分析，或者採用部分抽樣而非全樣本分析。這致使原有研究可操作性不強、過程性干預較弱、數據抽樣和分析不夠科學。為了改進研究的不足，遠程培訓在線討論質量分析框架應圍繞話題質量、討論參與和討論深度三個關鍵要素進行建構，分別設置質量分析計算規則，嵌入到網絡研修平台中，使其能為學生、教師和管理者自動提供實時的可視化分析儀錶盤。以兩期遠程培訓學員為對象，通過對比實驗和問卷調查等方法，對在線討論質量分析工具的應用效果檢驗表明：在線討論質量分析工具不僅有利於提高遠程培訓中學員的討論參與度與積極性，而且對其討論深度與討論質量也具有積極影響。此外，在線討論質量分析工具還具備一定的自我導向作用，有利於改善遠程培訓中學員參與討論的行為，保持和提高其討論積極性。
關鍵詞：在線討論；遠程培訓；討論質量；分析工具；實效驗證
中圖分類號：G434 文獻標識碼：A 文章編號：1009-5195（2018）01-0088-11 doi10.3969/j.issn.1009-5195.2018.01.010
一、引言
得益於網際網路在跨越時空限制、共享優質資源等方面的優勢，遠程培訓正在成為各行各業專業人員能力提升的重要渠道之一。以教育領域為例，自「國培計劃」實施以來，我國每年均有幾百萬的中小學教師會通過遠程培訓來提升自身的專業能力。「大規模」已成為遠程培訓的常態。建構主義學者認為，社會性交互對一個人的認知發展具有重要的支撐作用（Vygotsky，1978）。以計算機為中介的交流（CMC）理論認為，基於文本的異步討論活動不僅有利於發展學習者的批判性思維，還有助於促進其深度學習與知識建構。正是基於這樣的理念，在線討論已成為各級各類遠程培訓中不可或缺的組成部分。
然而，由於缺乏正確的在線討論質量管理方法，以發帖量、點擊數、回帖量為主的質量分析方法在導向上助長了平庸帖子的大量出現，甚至在有些遠程培訓中，在線討論活動已完全淪為一種「湊分作業」。學員只顧各自發帖，以帖子數量來湊足分值，很少或從不與同伴進行互動與交流。在線討論的質量直接影響遠程培訓的成效，如何常態化、伴隨性地對在線討論質量進行形成性分析，以便精準判斷與及時干預，已成為培訓實踐中亟待解決的問題。
在線討論質量分析一直是CMC領域的研究熱點。許多學者開展了大量的研究工作，形成了許多質量分析方法與工具。但總體而言，當前研究與實踐應用的距離較遠。大部分研究以內容分析為主，無法嵌入平台實現自動化分析。此外，許多研究方法多為事後分析法，其分析結果只能為下次培訓或學習借鑑，而對本次培訓活動難以產生實質性影響（Fujita，2013）。本研究借鑑已有研究，系統構建了在線討論質量分析模型，並據此設計開發了一套可實現自動化分析與可視化呈現的在線討論質量分析運算規則。為驗證其實踐成效，將該運算規則以工具形式嵌入教師遠程培訓平台，並從主觀和客觀兩方面對其有效性進行了檢驗。
二、在線討論質量分析研究綜述
縱觀已有研究，從研究範式上可以分為三類：一是以討論行為計量為取向的研究範式；二是以討論內容分析為取向的研究範式；三是以行為數據挖掘為取向的研究範式。相比而言，以內容分析為取向的研究範式是當前研究的主流。
以討論行為計量為取向的研究範式強調量化的分析標準，倡導從討論行為數量上分析討論的質量，典型人物有喬納森。喬納森認為在分析CMC交互質量上，有必要採用量化的分析方法，從信息數量上進行研究（Jonassen，1996）。以討論行為計量為主的研究範式產生較早，許多學者都採用這種方法對在線討論質量進行了研究。典型研究如Levin等人設計的討論信息「內容地圖」（Concept Maps），通過對遠程學習者的交流信息進行統計，以分析與判斷討論交互的質量與信息流向（Levin et al.，1990）。Knutzen開發的「參與版」（Participation Forum）和「參與地圖」（Participation Map）等Moodle插件，通過對學生的討論參與量進行統計，以判定其討論參與的質量等級（Knutzen，2013）。彭敏軍等建構了討論參與度考量方法，從發帖數、回複數等方面對學生討論的參與質量進行了計算與測量（彭敏軍等，2011）。
後續研究發現，定量的分析標準與方法並不能完全反映在線討論的交互質量（吳亞婕等，2012）。為了揭示在線討論活動規律，研究者開始聚焦討論內容，採用內容分析法評價在線討論的質量。以討論內容分析為取向的研究範式比較注重質性分析方法，提倡利用討論內容分析編碼表對在線討論質量進行分析。其中，最具有代表性的編碼表是Henri設計的異步討論分析框架。Henri以認知學習理論為基礎，聚焦於個人發展，提出了參與、社會、交互、認知和元認知等5個分析維度（Henri，1991）。該分析框架目前已被廣泛應用與借鑑，成為在線討論質量分析的先驅性工具。趙建華等對討論內容分析編碼表進行了研究，梳理出15種具有代表性的內容分析工具（趙建華等，2015）。當前以內容分析為取向的研究有很多，典型的有Nandi等藉助Henri提出的異步討論分析框架對網絡學習環境下師生的異步交互深度進行了評價，發現學生的在線討論參與行為易受教師影響，其交互質量取決於教師的及時反饋（Nandi et al.，2012）。黃慶玲等借鑑Garrison等開發的討論內容分析表（Garrison et al.，2003），對教師工作坊的討論深度進行了實證研究，通過對比分析話題類型、發帖數以及工作坊的討論深度，揭示了教師工作坊的討論特徵與影響因素（黃慶玲等，2016）。嚴亞利等採用自製的交互內容編碼表，對海鹽博客群中教師的在線交互深度進行研究，發現教師博客交互深度僅限於淺度水平，還無法實現深度學習的預期目標（嚴亞利等，2010）。
近年來，隨著學習分析技術與教育大數據的興起，以行為數據挖掘為取向的研究範式正逐步成為在線討論質量分析的「新貴」。典型研究有Gibbs等開發的討論行為可視化分析工具MTRDS，該工具可以以時間序列的形式實時記錄學生的發帖行為，診斷學生的在線討論參與情況（Gibbs et al.，2006）。Trampu?等開發的討論主題可視化分析工具，借鑑複雜的聚類算法，不僅可以實時呈現討論主題聚類圖，還可以對討論主題趨勢進行診斷與預測（Trampu? et al.，2010）。Ming等運用文本挖掘技術中的語義分析算法對大學科學課程中師生交互行為進行挖掘，構建出主題模式-時間序列可視化圖譜，該圖譜可以揭示特定討論主題與特定討論策略之間的模式關係（Ming et al.，2011）。Scheuer等基於人工智慧技術設計了分析學生在線討論貢獻程度的算法，並通過實驗檢驗了該方法在CSCL學習中的有效性（Scheuer et al.，2010）。
三、在線討論質量分析工具設計
1.質量分析框架
要設計在線討論質量分析工具，首先要明確在線討論質量分析要素。為此，本研究對文獻綜述中的典型文獻進行梳理，提取了其質量分析的主要內容，如表1所示。
2.質量分析指標
依據在線討論質量分析框架，參照已有研究，本研究建構了在線討論質量分析指標體系（見表2）。其中，討論參與分析指標主要借鑑Weinberger等人的研究，設置了討論參與度和參與異質性兩個指標（Weinberger et al.，2005）。討論深度分析指標主要參照嚴亞利等人開發的交互深度分析編碼表，設置了灌水、淺度、中度、深度四個指標（嚴亞利等，2010）。討論主題分析指標主要根據在線討論的設計原則（閆寒冰等，2008），從教學目標和學習對象等視角出發，設置了目標相關度和對象適切度兩個指標。
3.質量分析規則與方法
（1）「討論參與」的分析規則與方法
討論參與包括討論參與度與參與異質性兩個指標。其中，討論參與度主要關注討論者的參與貢獻（如發帖量、回復或評論量等），反映的是討論參與的個人特徵；參與異質性主要關注的是學習者參與在線討論的平等程度，反映的是在線討論的群體特徵。李銀玲等人曾提出通過統計帖子數量來分析討論參與貢獻的計算方法（李銀玲等，2008）。本文參照李銀玲等人提出的方法，把發帖量與回帖量作為討論參與度的主要分析指標。將討論參與度定義為學員參與在線討論的發帖數量與回帖數量之和，其計算規則為：
討論參與度C=發帖數量+回帖數量
作為一種虛擬的群體活動，在線討論還具有共建性的天然屬性。因此，討論參與分析除了考慮學習者的參與貢獻以外，還需對其異質性進行考量。Weinberger等人認為在線討論參與的異質性可通過參與人數占群體人數的百分比來表示（Weinberger et al.，2005）。本文借鑑Weinberger等人的研究，將參與異質性界定為某一討論話題實際參與討論的人數占群體總人數的比例，其計算公式為：
參與異質性C=實際參與人數/群體總人數
在具體實踐中，討論參與質量分析主要是將討論參與度與參與異質性的計算規則嵌入到遠程培訓平台，實現平台的自動統計與分析。
（2）「討論深度」的分析規則與方法
本研究將討論深度定義為發起話題下所有回帖質量的均值，並借鑑已有的交互深度內容分析量表（嚴亞利等，2010），設計與開發了在線討論帖子內容深度評價表（見表3）。該表將在線討論貼的內容深度劃分為灌水、淺度、中度、深度四個等級。
因此，某一話題討論深度的計算規則為：
討論深度D話題M=（帖子1質量+帖子2質量+…+帖子n質量）/話題M帖子總數n
某個學員討論深度的計算規則為：
討論深度D某學員=（某學員帖子1質量+帖子2質量+…+帖子n質量）/某學員帖子總數n
在具體實踐中，需將討論深度計算規則嵌入遠程培訓平台，這樣助學教師就可以在完成討論帖子正常瀏覽與點評的同時，伴隨性地對學員回帖質量進行即時的簡易評價，圖2為操作介面的示例。其中，灌水貼、精華貼（中度）、超精華貼（深度）的分數可以通過管理後台來調整。比如設定灌水帖為-1分、一般帖子為+1分、精華帖為+5分、超精華帖為+10分。在整個過程中，平台能過程性地記錄各個回帖的「評語」，並依據計算規則自動轉換為相應分數。除此之外，還可從「發起話題」和「學員個體」等不同角度來計算討論深度。值得一提的是，在這種計算規則下，如果帖子被設為「灌水帖」，則發貼越多，得分越少；而如果發帖質量高的話（即被設為「精華帖」或「超精華」帖），則只要發少數幾個帖子，就能獲得較高分數。因此可以認為，這是一種催發高質量討論的激勵機制。
（3）「討論主題」的分析規則與方法
討論主題質量主要包括目標相關度和對象適切度兩個指標。所謂目標相關度，是指發起話題與課程學習內容是否相關，是否有助於學習目標的達成。這一指標十分重要，但在實踐中卻被長期忽視。例如，在「系統教學設計」課程的主題討論中，助學教師發起題為「為什麼教師感到不幸福？」的話題，結果回帖者眾多，其中不乏真知灼見。然而，無論學生討論的參與度有多高，討論深度有多深，但我們很難說它的討論質量是高的，因為該主題的「目標相關度」為零。所謂對象適切度，是指發起話題在問題難度、文字表述等方面與學習者認知水平的適切程度。兼顧可行性的考慮，本研究主要借鑑分級評價理念以及李克特評價量表，構建了如表4所示的討論主題評價表。其中，目標相關度與對象適切度均採用五點計分方式，從低到高劃分為5個等級，記分範圍為0～4。
在討論主題分析的具體實踐中，不僅需要將其計算規則嵌入至網絡研修平台，還需由課程教師（或資深助學教師）依據特定章節的教學目標以及對學習者認知水平的預判，對特定發起話題的目標相關度與對象適切度進行打分。經過打分後，系統會依據擬定的計算規則，自動計算與生成討論主題的分析結果。討論主題的設計如圖3所示，該功能只向課程教師開放。
（4）討論質量分析規則與方法
本研究將某一話題的討論質量定義為發起話題質量與討論深度的乘積，其計算規則為：
話題討論質量Q=發起話題質量H*討論深度D
上述公式相當於為在線討論的質量賦予了一個介於0～1之間的係數。只有發起話題有意義時，亦即為學習目標服務且適合於當前的學習對象時，在此話題下的討論才能體現課程學習的意義。
據此，我們將在線討論的總質量界定為所有討論主題質量的平均值，其計算公式為：
在線討論總質量Q總=（話題1討論質量Q1+話題2討論質量Q2+…+話題m討論質量Qm）/討論話題數m
4.質量分析結果可視化
通過可視化技術與手段分析學習者的行為與特徵，已成為學習分析領域研究的一貫做法。其中，學習儀錶盤技術是最慣用的分析手段。學習儀錶盤又稱數字化學習儀錶盤，是大數據時代一種新型的在線學習支持工具，比較典型的有可汗學院學習儀錶盤、Duolingo學習儀錶盤以及「快樂學」儀錶盤（張振虹等，2014）。Murray等人在研究中提出利用學習儀錶盤分析在線討論質量的理論模型（Murray et al.，2013）。本文參考Murray等人的研究，採用學習儀錶盤技術設計了在線討論質量分析結果的可視化方案。
在具體過程中，主要採用分角色設計理念，分別從學員視圖、助學教師視圖以及管理者視圖等方面設計了可視化儀錶盤。其中，學員視圖儀錶盤用來記錄學員個人討論情況，方便其進行自我調節與控制；助學教師視圖儀錶盤用來顯示班級群體的在線討論情況，便於助學教師調整工作方向，採取適當的助學策略；管理者視圖儀錶盤用來呈現課程班級的在線討論總體情況，便於支持管理者的教學決策。
（1）學員視圖儀錶盤
學員視圖主要包括「我的帖子統計」「我的討論參與度」「我的帖子質量」三種儀錶盤（見圖4）。其中，「我的帖子統計」儀錶盤主要記錄學員參與各個討論話題的發帖與回帖數量；「我的討論參與度」儀錶盤主要呈現我的參與度、最高學員參與度、最低學員參與度以及班級學員的平均參與度；「我的帖子質量」儀錶盤主要對學員所發的每個帖子的內容深度進行統計。在具體實踐中，所有學員的視圖儀錶盤均可在遠程培訓平台學員空間的「討論分析」模塊中自主查看。
（2）助學教師視圖儀錶盤
助學教師視圖主要包括「班級在線討論參與異質性」「在線討論話題質量」「班級在線討論深度」「班級在線討論質量」四種儀錶盤（見圖5）。其中，「班級在線討論參與異質性」儀錶盤主要呈現班級學員對各個討論話題的參與情況；「在線討論話題質量」儀錶盤主要顯示班級學員參與每個討論話題的質量；「班級在線討論深度」儀錶盤主要展示班級學員參與每個討論話題的深度；「班級在線討論質量」儀錶盤主要記錄班級學員參與每個話題的討論質量以及班級總體的討論質量。在具體實踐中，所有助學教師視圖儀錶盤均可在遠程培訓平台教師空間的「討論分析」模塊中自主查看。
（3）管理者視圖儀錶盤
管理者視圖主要包括「班級在線討論總體情況」和「所有班級在線討論總質量」兩種儀錶盤。其中，前者是對某一班級在線討論的總體情況進行分析；後者是對同一課程所有班級的在線討論總質量進行分析。為了便於呈現，研究者對參與異質性進行了換算，將參與異質性的值乘以10，作為「班級在線討論總體情況」儀錶盤中的顯示結果。在具體實踐中，所有管理者的視圖儀錶盤均可在遠程培訓平台管理空間的「討論分析」模塊中自主查看。
四、在線討論質量分析工具的應用效果測評
為了檢驗在線討論質量分析工具的有效性，本研究將設計好的質量分析規則與方法嵌入到華東師範大學教師遠程研修平台。綜合採用對比實驗、問卷調查等方法，從主觀和客觀兩方面對在線討論質量分析工具的應用效果進行了測評。
1.實驗研究測評
本研究採用對比實驗的方法，通過分析使用與未使用在線討論分析工具的兩期學員（參加同一門課程學習）在在線討論活動上的差異，來驗證在線討論質量分析工具的應用效果，其研究技術路線如圖7所示。
實驗對象。本實驗主要選擇上海市市級共享課程「學習過程設計」兩期學員為實驗對象，並將其劃分為兩個不同的班級，分別命名為A班、B班。A班為「學習過程設計」第1期學員，人數為120人；B班為「學習過程設計」第3期學員，人數也為120人。兩期學員均為上海市區內的中小學教師。
實驗控制。本研究對實驗條件進行了嚴格控制：A班、B班兩期學員學習相同的課程內容；參與完全一致的在線討論話題，所有討論話題均經課程主講教師認真設計，確保其主題相關度與對象適切性；由同一教師擔任助學工作任務；參與培訓時間均為5周（35天）。
實驗干預。A班學員參加在線培訓期間，不開放在線討論質量分析功能模塊；B班學員參加在線培訓期間，開放在線討論質量分析功能模塊。待兩期培訓都結束後，對A班、B班兩期學員的在線討論總體情況進行對比分析。
測評方法。本實驗主要將討論參與和討論質量作為主要的研究測評點，並以此為依據對A班、B班兩期學員的在線討論活動情況進行對比分析。具體而言，通過帖子數量與參與討論人數的對比分析來評估A班、B班兩期學員的討論參與情況；通過對比所發帖子的質量來評估A班、B班兩期學員的在線討論質量。其中，帖子數量與參與討論人數的對比分析主要通過對平台記錄的數據進行整理，並藉助Excel軟體進行統計分析。帖子質量對比分析先藉助帖子內容深度評價表對每一個帖子的質量（灌水、淺度、中度、深度）進行判定，然後再利用Excel軟體對其具體情況進行統計。為了研究方便，在帖子質量分析中我們採用隨機抽樣的方法，以討論話題為單位，分別從A班、B班的討論話題中隨機抽取20%的帖子。其具體抽樣方案如表5所示。
（1）A班、B班學員發帖數量對比
統計結果顯示，A班發帖總量為1723個，B班發帖總量為2488個。在發帖總量上，B班明顯優於A班，說明在線討論質量分析工具的使用有利於提高班級總體的討論參與度。在此基礎上，本研究又對A班、B班生均發帖量進行了對比分析。統計結果表明，A班的實際參與人數為117人（3人從未登錄），生均發帖量為14.7個；B班的實際參與人數為116人（4人從未登錄），生均發帖量為21.4個。在生均發帖量上，B班也明顯優於A班，說明在線討論質量分析工具的應用有助於提升學員個體的討論參與度。
為了更進一步分析在線討論質量分析工具的影響作用，本研究以討論話題為單位，分別對A班、B班學員參與每個討論話題的發帖數量進行了對比分析，其統計結果如圖8所示。可以看出，除了討論4和討論5，其餘14個討論話題的發帖數量，B班均高於A班，這說明在線討論質量分析工具的應用還有助於提高學員參與每個討論話題的討論參與度。綜上，在線討論質量分析工具的使用對提升學員的討論參與度具有較好的促進作用。
（2）A班、B班參與討論人數對比
為了更形象地揭示A班、B班學員參與在線討論人數的情況，本研究以時間為單位，對A班和B班每周參與在線討論的人數進行了統計。鑒於兩班實際參與總人數不對等，研究主要採用百分比的形式進行統計分析，結果詳見圖9。
從圖9可知，培訓初期（第一周、第二周）A班和B班參與討論人數所占比例都較高，兩者區別不大。究其原因，可能是由於培訓初期學員的學習興趣都比較高，樂於參與在線討論活動。隨著培訓的推進，A班、B班參與討論的人數比均出現明顯的下降趨勢。這可能與培訓活動安排有關，因為從第三周開始開放考核作業，一些學員可能由於急於完成作業，而無暇顧及討論活動。進一步分析發現，雖然A班、B班參與討論的人數都呈現下降態勢，但B班下降速度明顯比A班緩慢。這說明在線討論質量分析工具的應用有助於保持學習者的討論參與度。
（3）A班、B班所發帖子質量對比
研究邀請兩名助學教師參與，利用帖子內容深度評價表對抽樣獲取的A班、B班所有討論貼進行手動評價。然後，藉助Excel軟體對各質量等級（灌水、淺度、中度、深度）的討論貼所占比例進行統計，結果如圖10所示。
從統計結果上看，B班的灌水帖和淺度帖所占比例均比A班低，而B班的中度帖與深度帖所占比例都比A班高。這說明在線討論質量分析工具的使用有助於減少學員在線討論淺度交互（灌水帖、淺度帖）的比率，增加其深度交互（中度帖、深度帖）的比率。換言之，在線討論質量分析工具的應用有利於提升學員參與在線討論的深度與質量。
2.調查研究測評
問卷設計。與實驗研究相類似，問卷研究測評也主要以學員討論行為和討論質量為考察點，從這兩個方面設計與自編測量題項對學員使用在線討論分析工具後的主觀感受進行調查。設計好的調查問卷主要包括有效性感知和自我導向作用兩個維度。其中，有效性感知量表主要參照李克特五點計分方式（1代表不符合，2代表不太符合，3代表一般 ，4代表比較符合，5代表非常符合），從討論積極性、討論參與度、帖子質量、討論行為、討論關注等方面設置了5個題項。自我導向作用測量主要採用自編的導向作用量表，從討論參與度和討論帖質量等方面設置了5個題項，每個題項均有三個選項。按照導向作用程度不同，本文對每個選項進行了編碼（0代表無導向，1代表弱導向，2代表強導向）。
問卷髮放與回收。以使用過在線討論質量分析工具的B班學員為調查對象，藉助「問卷星」發放調查問卷，共發放問卷120份，回收116份且全部有效，有效回收率為96.7%。
數據分析與統計。以SPSS 19.0為數據分析工具，對回收的調查數據進行統計分析。從統計結果看，有效性感知α係數為0.92，自我導向作用α係數為0.91，表明問卷信度較好。
調查分析結果主要體現在以下兩個方面：
（1）學員有效性感知分析
採用SPSS 19.0為分析工具，統計分析學員對在線討論分析工具的有效性感知，結果如表6所示。從統計結果可知，每個題項的均值都在4.0分之上，說明學員對在線討論質量分析工具的認可度較高。從具體內容上看，討論積極性（4.10）、討論參與度（4.01）、帖子質量（4.01）、討論行為（4.03）、討論關注（4.03）等5個問題的均值都大致相當，說明學員認為在線討論質量分析工具不僅有利於提高他們的討論積極性與參與度，而且還對其帖子質量、討論行為以及討論關注也有積極影響。
（2）學員導向作用感知分析
使用SPSS 19.0統計分析學員對在線討論質量分析工具的導向作用感知，其結果如表7所示。可以看出，5個題項的均值均大於1.5，這表明在線討論質量分析工具對學員的參與度和帖子質量都具有較強的導向作用。從參與行為來看，處於較低水平學員的導向作用最強（1.91），處於較高水平學員的導向作用次之（1.68），處於一般水平學員的導向作用最弱（1.61）。不同參與度水平學員的導向作用均值都很高（大於1.5），這說明學員認為在線討論質量分析工具有助於改善與保持他們的討論積極性。從發帖行為來看，發精華帖學員（1.76）與發灌水帖（1.80）學員的導向作用均值相當，這說明在線討論質量分析工具對學員發帖行為也具有一定的促進作用。
五、總結與展望
在線討論是遠程培訓的重要活動形式，其質量直接關涉到遠程培訓的成效。以往的在線討論質量分析，往往具有以下不足：一是所構建的關鍵要素局限於學理層面分析，較少形成實踐中可操作的分析工具；二是在分析討論內容質量時，往往是事後分析，而非過程性分析，因而難以用於實踐中的及時干預；三是以往研究多採用部分抽樣的方式進行分析，尚未使用大數據情境下的全樣本分析。本研究系統構建了在線討論質量分析三要素（話題質量、討論參與和討論深度）框架，基於大數據與學習分析技術設計了面向實踐的、可用於全樣本與過程性分析的在線討論質量分析規則，並將其嵌入到網絡研修平台開展了實效驗證。研究發現，在線討論質量分析工具不僅有利於提升培訓教師的在線討論參與度，而且對培訓教師的發帖質量與討論深度也具有積極影響。另外，研究還發現在線討論質量分析工具還具備一定的自我導向作用，對改善培訓教師的討論參與行為，保持與提高其參與在線討論的積極性都具有積極影響。
本研究所生成的討論質量計算規則具有較強的可行性與普適性，有助於遠程培訓平台開發者依據自身需要，基於平台的開發環境進行程序設計、規則嵌入以及可視化呈現。研究涉及的「討論參與」與「討論深度」均可實現自動化、伴隨性的數據收集與分析。但由於「話題質量」涉及與課程內容、學習目標相關的複雜分析，其判斷必須由專家（如課程教師或資深的助學教師）參與，因而該要素的自動化分析將有賴於人工智能技術或深度學習算法的進一步發展與優化。這也是本研究未來努力深入探索的方向。
注釋：
① 所謂「發起話題」，是指引發討論行為的帖子內容，不涉及回復帖。「發起話題」主要由助學教師發布，即為教師布置的討論內容，有時也允許學員發布。
② 根據具體的學習內容與質量分析目的，0.6與0.4的比重為可調節數值。
參考文獻：
[1]黃慶玲，李寶敏，任友群（2016）. 教師工作坊在線討論深度實證研究——以信息技術應用能力提升工程教師工作坊為例[J]. 電化教育研究，（12）：121-128.
[2]李銀玲，張超（2008）. 教師遠程培訓中在線參與度的分析與計算[J]. 中國遠程教育，（2）：60-64.
[3]彭敏軍，陸新生，劉引紅（2011）. 基於數量和質量的在線學習參與度考量方法研究[J]. 現代教育技術，（1）：103-106.
[4]吳亞婕，陳麗（2012）. 在線學習異步交互評價模型綜述[J]. 電化教育研究，（2）：44-49.
[5]閆寒冰，魏非（2008）. 遠程教學設計[M]. 上海：華東師範大學出版社：121-123.
[6]嚴亞利，黎加厚（2010）. 教師在線交流與深度互動的能力評估研究——以海鹽教師博客群體的互動深度分析為例[J]. 遠程教育雜誌，（2）：68-71.
[7]張振虹，劉文，韓智（2014）. 學習儀錶盤：大數據時代的新型學習支持工具[J]. 現代遠程教育研究，（3）：100-107.
[8]趙建華，孔晶（2015）. 在線討論分析編碼表的類型及應用[J]. 遠程教育雜誌，（2）：11-20.
[9]Fujita， N. （2013）. Critical Reflections on Multivocal Analysis and Implications for Design-Based Research[A]. Suthers， D.， Lund， K.， & Rosé， C. et al. （2013）. Productive Multivocality in the Analysis of Group Interactions[C]. Boston， MA：Springer：435-455.
[10]Garrison， D. R.， Anderson， T.， & Garrison， R. （2003）. E-Learning in the 21st Century： A Framework for Research and Practice[M]. London：Routledge：177-180.
[11]Gibbs， W. J.， Olexa， V.， & Bernas， R. S. （2006）. A Visualization Tool for Managing and Studying Online Communications[J]. Educational Technology & Society， 9（3）：232-243.
[12]Henri， F. （1991）. Computer Conferencing and Content Analysis[A]. Kaye， A. （1991）. Collaborative Learning Through Computer Conferencing[C]. Berlin：Springer：117-136.
[13]Jonassen， D. H. （1996）. Computers in the Classroom： Mindtools for Critical Thinking[M]. Columbus， OH： Merrill Prentice Hall：708.
[14]Knutzen， B. （2013）. Moving to Education 3.0 Participative Learning[EB/OL]. [2017-07-09]. http：//www.elearningforum.net/Seminar/Seminar13-61.html.
[15]Levin， J.， Kim， H.， & Riel， M. （1990）. Analyzing Instructional Interactions on Electronic Message Network[A]. Harasim， L. （1990）. Online Education：Perspectives on a New Environment[C]. Praeger：185-214.
[16]Ming， N.， & Baumer， E. （2011）. Using Text Mining to Characterize Online Discussion Facilitation[J]. Journal of Asynchronous Learning Networks，15（2）：71-109.
[17]Murray， T.， Wing， L.， & Woolf， B. P. et al. （2013）. A Prototype Facilitators Dashboard：Assessing and Visualizing Dialogue Quality in Online Deliberation for Education and Work[A]. Proceedings of the 2013 International Conference on e-Learning， e-Business， Enterprise Information Systems， and e-Government（EEE-2013）[C]：22-25.
[18]Nandi， D.， Hamilton， M.， & Chang， S. et al. （2012）. Evaluating Quality in Online Asynchronous Interactions between Students and Discussion Facilitators[J]. Australasian Journal of Educational Technology，28（4）：684-702.
[19]Scheuer， O.， & Miksatko， J. （2010）. Supporting Collaborative Learning and E-Discussions Using Artificial Intelligence Techniques[J]. International Journal of Artificial Intelligence in Education，20（1）：1-46.
[20]Trampu?， M.， & Grobelnik， M. （2010）. Visualization of Online Discussion Forums[J]. JMLR： Workshop on Pattern Analysis Applications， 11：134-141. http：//jmlr.org/proceedings/papers/v11/trampus10a/trampus10a.pdf.
[21]Vygotsky， L. S. （1978）. Mind in Society[M]. Cambridge， MA： Harvard University Press.
[22]Weinberger， A.， & Fischer， F. （2005）. A Framework to Analyze Argumentative Knowledge Construction in Computer Supported Collaborative Learning[J].Computers & Education， 46（1）：71-95.
收稿日期 2017-11-08 責任編輯 劉選
摘要：在線討論是遠程培訓的重要活動形式，其討論質量直接關涉到遠程培訓的成效。然而，以往的在線討論質量分析往往局限於或者對分析框架進行學理層面的探討，或者對內容質量進行事後分析，或者採用部分抽樣而非全樣本分析。這致使原有研究可操作性不強、過程性干預較弱、數據抽樣和分析不夠科學。為了改進研究的不足，遠程培訓在線討論質量分析框架應圍繞話題質量、討論參與和討論深度三個關鍵要素進行建構，分別設置質量分析計算規則，嵌入到網絡研修平台中，使其能為學生、教師和管理者自動提供實時的可視化分析儀錶盤。以兩期遠程培訓學員為對象，通過對比實驗和問卷調查等方法，對在線討論質量分析工具的應用效果檢驗表明：在線討論質量分析工具不僅有利於提高遠程培訓中學員的討論參與度與積極性，而且對其討論深度與討論質量也具有積極影響。此外，在線討論質量分析工具還具備一定的自我導向作用，有利於改善遠程培訓中學員參與討論的行為，保持和提高其討論積極性。
關鍵詞：在線討論；遠程培訓；討論質量；分析工具；實效驗證
中圖分類號：G434 文獻標識碼：A 文章編號：1009-5195（2018）01-0088-11 doi10.3969/j.issn.1009-5195.2018.01.010
一、引言
得益於網際網路在跨越時空限制、共享優質資源等方面的優勢，遠程培訓正在成為各行各業專業人員能力提升的重要渠道之一。以教育領域為例，自「國培計劃」實施以來，我國每年均有幾百萬的中小學教師會通過遠程培訓來提升自身的專業能力。「大規模」已成為遠程培訓的常態。建構主義學者認為，社會性交互對一個人的認知發展具有重要的支撐作用（Vygotsky，1978）。以計算機為中介的交流（CMC）理論認為，基於文本的異步討論活動不僅有利於發展學習者的批判性思維，還有助於促進其深度學習與知識建構。正是基於這樣的理念，在線討論已成為各級各類遠程培訓中不可或缺的組成部分。
然而，由於缺乏正確的在線討論質量管理方法，以發帖量、點擊數、回帖量為主的質量分析方法在導向上助長了平庸帖子的大量出現，甚至在有些遠程培訓中，在線討論活動已完全淪為一種「湊分作業」。學員只顧各自發帖，以帖子數量來湊足分值，很少或從不與同伴進行互動與交流。在線討論的質量直接影響遠程培訓的成效，如何常態化、伴隨性地對在線討論質量進行形成性分析，以便精準判斷與及時干預，已成為培訓實踐中亟待解決的問題。
在線討論質量分析一直是CMC領域的研究熱點。許多學者開展了大量的研究工作，形成了許多質量分析方法與工具。但總體而言，當前研究與實踐應用的距離較遠。大部分研究以內容分析為主，無法嵌入平台實現自動化分析。此外，許多研究方法多為事後分析法，其分析結果只能為下次培訓或學習借鑑，而對本次培訓活動難以產生實質性影響（Fujita，2013）。本研究借鑑已有研究，系統構建了在線討論質量分析模型，並據此設計開發了一套可實現自動化分析與可視化呈現的在線討論質量分析運算規則。為驗證其實踐成效，將該運算規則以工具形式嵌入教師遠程培訓平台，並從主觀和客觀兩方面對其有效性進行了檢驗。
二、在線討論質量分析研究綜述
縱觀已有研究，從研究範式上可以分為三類：一是以討論行為計量為取向的研究範式；二是以討論內容分析為取向的研究範式；三是以行為數據挖掘為取向的研究範式。相比而言，以內容分析為取向的研究範式是當前研究的主流。
以討論行為計量為取向的研究範式強調量化的分析標準，倡導從討論行為數量上分析討論的質量，典型人物有喬納森。喬納森認為在分析CMC交互質量上，有必要採用量化的分析方法，從信息數量上進行研究（Jonassen，1996）。以討論行為計量為主的研究範式產生較早，許多學者都採用這種方法對在線討論質量進行了研究。典型研究如Levin等人設計的討論信息「內容地圖」（Concept Maps），通過對遠程學習者的交流信息進行統計，以分析與判斷討論交互的質量與信息流向（Levin et al.，1990）。Knutzen開發的「參與版」（Participation Forum）和「參與地圖」（Participation Map）等Moodle插件，通過對學生的討論參與量進行統計，以判定其討論參與的質量等級（Knutzen，2013）。彭敏軍等建構了討論參與度考量方法，從發帖數、回複數等方面對學生討論的參與質量進行了計算與測量（彭敏軍等，2011）。
後續研究發現，定量的分析標準與方法並不能完全反映在線討論的交互質量（吳亞婕等，2012）。為了揭示在線討論活動規律，研究者開始聚焦討論內容，採用內容分析法評價在線討論的質量。以討論內容分析為取向的研究範式比較注重質性分析方法，提倡利用討論內容分析編碼表對在線討論質量進行分析。其中，最具有代表性的編碼表是Henri設計的異步討論分析框架。Henri以認知學習理論為基礎，聚焦於個人發展，提出了參與、社會、交互、認知和元認知等5個分析維度（Henri，1991）。該分析框架目前已被廣泛應用與借鑑，成為在線討論質量分析的先驅性工具。趙建華等對討論內容分析編碼表進行了研究，梳理出15種具有代表性的內容分析工具（趙建華等，2015）。當前以內容分析為取向的研究有很多，典型的有Nandi等藉助Henri提出的異步討論分析框架對網絡學習環境下師生的異步交互深度進行了評價，發現學生的在線討論參與行為易受教師影響，其交互質量取決於教師的及時反饋（Nandi et al.，2012）。黃慶玲等借鑑Garrison等開發的討論內容分析表（Garrison et al.，2003），對教師工作坊的討論深度進行了實證研究，通過對比分析話題類型、發帖數以及工作坊的討論深度，揭示了教師工作坊的討論特徵與影響因素（黃慶玲等，2016）。嚴亞利等採用自製的交互內容編碼表，對海鹽博客群中教師的在線交互深度進行研究，發現教師博客交互深度僅限於淺度水平，還無法實現深度學習的預期目標（嚴亞利等，2010）。
近年來，隨著學習分析技術與教育大數據的興起，以行為數據挖掘為取向的研究範式正逐步成為在線討論質量分析的「新貴」。典型研究有Gibbs等開發的討論行為可視化分析工具MTRDS，該工具可以以時間序列的形式實時記錄學生的發帖行為，診斷學生的在線討論參與情況（Gibbs et al.，2006）。Trampu?等開發的討論主題可視化分析工具，借鑑複雜的聚類算法，不僅可以實時呈現討論主題聚類圖，還可以對討論主題趨勢進行診斷與預測（Trampu? et al.，2010）。Ming等運用文本挖掘技術中的語義分析算法對大學科學課程中師生交互行為進行挖掘，構建出主題模式-時間序列可視化圖譜，該圖譜可以揭示特定討論主題與特定討論策略之間的模式關係（Ming et al.，2011）。Scheuer等基於人工智慧技術設計了分析學生在線討論貢獻程度的算法，並通過實驗檢驗了該方法在CSCL學習中的有效性（Scheuer et al.，2010）。
三、在線討論質量分析工具設計
1.質量分析框架
要設計在線討論質量分析工具，首先要明確在線討論質量分析要素。為此，本研究對文獻綜述中的典型文獻進行梳理，提取了其質量分析的主要內容，如表1所示。
2.質量分析指標
依據在線討論質量分析框架，參照已有研究，本研究建構了在線討論質量分析指標體系（見表2）。其中，討論參與分析指標主要借鑑Weinberger等人的研究，設置了討論參與度和參與異質性兩個指標（Weinberger et al.，2005）。討論深度分析指標主要參照嚴亞利等人開發的交互深度分析編碼表，設置了灌水、淺度、中度、深度四個指標（嚴亞利等，2010）。討論主題分析指標主要根據在線討論的設計原則（閆寒冰等，2008），從教學目標和學習對象等視角出發，設置了目標相關度和對象適切度兩個指標。
3.質量分析規則與方法
（1）「討論參與」的分析規則與方法
討論參與包括討論參與度與參與異質性兩個指標。其中，討論參與度主要關注討論者的參與貢獻（如發帖量、回復或評論量等），反映的是討論參與的個人特徵；參與異質性主要關注的是學習者參與在線討論的平等程度，反映的是在線討論的群體特徵。李銀玲等人曾提出通過統計帖子數量來分析討論參與貢獻的計算方法（李銀玲等，2008）。本文參照李銀玲等人提出的方法，把發帖量與回帖量作為討論參與度的主要分析指標。將討論參與度定義為學員參與在線討論的發帖數量與回帖數量之和，其計算規則為：
討論參與度C=發帖數量+回帖數量
作為一種虛擬的群體活動，在線討論還具有共建性的天然屬性。因此，討論參與分析除了考慮學習者的參與貢獻以外，還需對其異質性進行考量。Weinberger等人認為在線討論參與的異質性可通過參與人數占群體人數的百分比來表示（Weinberger et al.，2005）。本文借鑑Weinberger等人的研究，將參與異質性界定為某一討論話題實際參與討論的人數占群體總人數的比例，其計算公式為：
參與異質性C=實際參與人數/群體總人數
在具體實踐中，討論參與質量分析主要是將討論參與度與參與異質性的計算規則嵌入到遠程培訓平台，實現平台的自動統計與分析。
（2）「討論深度」的分析規則與方法
本研究將討論深度定義為發起話題下所有回帖質量的均值，並借鑑已有的交互深度內容分析量表（嚴亞利等，2010），設計與開發了在線討論帖子內容深度評價表（見表3）。該表將在線討論貼的內容深度劃分為灌水、淺度、中度、深度四個等級。
因此，某一話題討論深度的計算規則為：
討論深度D話題M=（帖子1質量+帖子2質量+…+帖子n質量）/話題M帖子總數n
某個學員討論深度的計算規則為：
討論深度D某學員=（某學員帖子1質量+帖子2質量+…+帖子n質量）/某學員帖子總數n
在具體實踐中，需將討論深度計算規則嵌入遠程培訓平台，這樣助學教師就可以在完成討論帖子正常瀏覽與點評的同時，伴隨性地對學員回帖質量進行即時的簡易評價，圖2為操作介面的示例。其中，灌水貼、精華貼（中度）、超精華貼（深度）的分數可以通過管理後台來調整。比如設定灌水帖為-1分、一般帖子為+1分、精華帖為+5分、超精華帖為+10分。在整個過程中，平台能過程性地記錄各個回帖的「評語」，並依據計算規則自動轉換為相應分數。除此之外，還可從「發起話題」和「學員個體」等不同角度來計算討論深度。值得一提的是，在這種計算規則下，如果帖子被設為「灌水帖」，則發貼越多，得分越少；而如果發帖質量高的話（即被設為「精華帖」或「超精華」帖），則只要發少數幾個帖子，就能獲得較高分數。因此可以認為，這是一種催發高質量討論的激勵機制。
（3）「討論主題」的分析規則與方法
討論主題質量主要包括目標相關度和對象適切度兩個指標。所謂目標相關度，是指發起話題與課程學習內容是否相關，是否有助於學習目標的達成。這一指標十分重要，但在實踐中卻被長期忽視。例如，在「系統教學設計」課程的主題討論中，助學教師發起題為「為什麼教師感到不幸福？」的話題，結果回帖者眾多，其中不乏真知灼見。然而，無論學生討論的參與度有多高，討論深度有多深，但我們很難說它的討論質量是高的，因為該主題的「目標相關度」為零。所謂對象適切度，是指發起話題在問題難度、文字表述等方面與學習者認知水平的適切程度。兼顧可行性的考慮，本研究主要借鑑分級評價理念以及李克特評價量表，構建了如表4所示的討論主題評價表。其中，目標相關度與對象適切度均採用五點計分方式，從低到高劃分為5個等級，記分範圍為0～4。
在討論主題分析的具體實踐中，不僅需要將其計算規則嵌入至網絡研修平台，還需由課程教師（或資深助學教師）依據特定章節的教學目標以及對學習者認知水平的預判，對特定發起話題的目標相關度與對象適切度進行打分。經過打分後，系統會依據擬定的計算規則，自動計算與生成討論主題的分析結果。討論主題的設計如圖3所示，該功能只向課程教師開放。
（4）討論質量分析規則與方法
本研究將某一話題的討論質量定義為發起話題質量與討論深度的乘積，其計算規則為：
話題討論質量Q=發起話題質量H*討論深度D
上述公式相當於為在線討論的質量賦予了一個介於0～1之間的係數。只有發起話題有意義時，亦即為學習目標服務且適合於當前的學習對象時，在此話題下的討論才能體現課程學習的意義。
據此，我們將在線討論的總質量界定為所有討論主題質量的平均值，其計算公式為：
在線討論總質量Q總=（話題1討論質量Q1+話題2討論質量Q2+…+話題m討論質量Qm）/討論話題數m
4.質量分析結果可視化
通過可視化技術與手段分析學習者的行為與特徵，已成為學習分析領域研究的一貫做法。其中，學習儀錶盤技術是最慣用的分析手段。學習儀錶盤又稱數字化學習儀錶盤，是大數據時代一種新型的在線學習支持工具，比較典型的有可汗學院學習儀錶盤、Duolingo學習儀錶盤以及「快樂學」儀錶盤（張振虹等，2014）。Murray等人在研究中提出利用學習儀錶盤分析在線討論質量的理論模型（Murray et al.，2013）。本文參考Murray等人的研究，採用學習儀錶盤技術設計了在線討論質量分析結果的可視化方案。
在具體過程中，主要採用分角色設計理念，分別從學員視圖、助學教師視圖以及管理者視圖等方面設計了可視化儀錶盤。其中，學員視圖儀錶盤用來記錄學員個人討論情況，方便其進行自我調節與控制；助學教師視圖儀錶盤用來顯示班級群體的在線討論情況，便於助學教師調整工作方向，採取適當的助學策略；管理者視圖儀錶盤用來呈現課程班級的在線討論總體情況，便於支持管理者的教學決策。
（1）學員視圖儀錶盤
學員視圖主要包括「我的帖子統計」「我的討論參與度」「我的帖子質量」三種儀錶盤（見圖4）。其中，「我的帖子統計」儀錶盤主要記錄學員參與各個討論話題的發帖與回帖數量；「我的討論參與度」儀錶盤主要呈現我的參與度、最高學員參與度、最低學員參與度以及班級學員的平均參與度；「我的帖子質量」儀錶盤主要對學員所發的每個帖子的內容深度進行統計。在具體實踐中，所有學員的視圖儀錶盤均可在遠程培訓平台學員空間的「討論分析」模塊中自主查看。
（2）助學教師視圖儀錶盤
助學教師視圖主要包括「班級在線討論參與異質性」「在線討論話題質量」「班級在線討論深度」「班級在線討論質量」四種儀錶盤（見圖5）。其中，「班級在線討論參與異質性」儀錶盤主要呈現班級學員對各個討論話題的參與情況；「在線討論話題質量」儀錶盤主要顯示班級學員參與每個討論話題的質量；「班級在線討論深度」儀錶盤主要展示班級學員參與每個討論話題的深度；「班級在線討論質量」儀錶盤主要記錄班級學員參與每個話題的討論質量以及班級總體的討論質量。在具體實踐中，所有助學教師視圖儀錶盤均可在遠程培訓平台教師空間的「討論分析」模塊中自主查看。
（3）管理者視圖儀錶盤
管理者視圖主要包括「班級在線討論總體情況」和「所有班級在線討論總質量」兩種儀錶盤。其中，前者是對某一班級在線討論的總體情況進行分析；後者是對同一課程所有班級的在線討論總質量進行分析。為了便於呈現，研究者對參與異質性進行了換算，將參與異質性的值乘以10，作為「班級在線討論總體情況」儀錶盤中的顯示結果。在具體實踐中，所有管理者的視圖儀錶盤均可在遠程培訓平台管理空間的「討論分析」模塊中自主查看。
四、在線討論質量分析工具的應用效果測評
為了檢驗在線討論質量分析工具的有效性，本研究將設計好的質量分析規則與方法嵌入到華東師範大學教師遠程研修平台。綜合採用對比實驗、問卷調查等方法，從主觀和客觀兩方面對在線討論質量分析工具的應用效果進行了測評。
1.實驗研究測評
本研究採用對比實驗的方法，通過分析使用與未使用在線討論分析工具的兩期學員（參加同一門課程學習）在在線討論活動上的差異，來驗證在線討論質量分析工具的應用效果，其研究技術路線如圖7所示。
實驗對象。本實驗主要選擇上海市市級共享課程「學習過程設計」兩期學員為實驗對象，並將其劃分為兩個不同的班級，分別命名為A班、B班。A班為「學習過程設計」第1期學員，人數為120人；B班為「學習過程設計」第3期學員，人數也為120人。兩期學員均為上海市區內的中小學教師。
實驗控制。本研究對實驗條件進行了嚴格控制：A班、B班兩期學員學習相同的課程內容；參與完全一致的在線討論話題，所有討論話題均經課程主講教師認真設計，確保其主題相關度與對象適切性；由同一教師擔任助學工作任務；參與培訓時間均為5周（35天）。
實驗干預。A班學員參加在線培訓期間，不開放在線討論質量分析功能模塊；B班學員參加在線培訓期間，開放在線討論質量分析功能模塊。待兩期培訓都結束後，對A班、B班兩期學員的在線討論總體情況進行對比分析。
測評方法。本實驗主要將討論參與和討論質量作為主要的研究測評點，並以此為依據對A班、B班兩期學員的在線討論活動情況進行對比分析。具體而言，通過帖子數量與參與討論人數的對比分析來評估A班、B班兩期學員的討論參與情況；通過對比所發帖子的質量來評估A班、B班兩期學員的在線討論質量。其中，帖子數量與參與討論人數的對比分析主要通過對平台記錄的數據進行整理，並藉助Excel軟體進行統計分析。帖子質量對比分析先藉助帖子內容深度評價表對每一個帖子的質量（灌水、淺度、中度、深度）進行判定，然後再利用Excel軟體對其具體情況進行統計。為了研究方便，在帖子質量分析中我們採用隨機抽樣的方法，以討論話題為單位，分別從A班、B班的討論話題中隨機抽取20%的帖子。其具體抽樣方案如表5所示。
（1）A班、B班學員發帖數量對比
統計結果顯示，A班發帖總量為1723個，B班發帖總量為2488個。在發帖總量上，B班明顯優於A班，說明在線討論質量分析工具的使用有利於提高班級總體的討論參與度。在此基礎上，本研究又對A班、B班生均發帖量進行了對比分析。統計結果表明，A班的實際參與人數為117人（3人從未登錄），生均發帖量為14.7個；B班的實際參與人數為116人（4人從未登錄），生均發帖量為21.4個。在生均發帖量上，B班也明顯優於A班，說明在線討論質量分析工具的應用有助於提升學員個體的討論參與度。
為了更進一步分析在線討論質量分析工具的影響作用，本研究以討論話題為單位，分別對A班、B班學員參與每個討論話題的發帖數量進行了對比分析，其統計結果如圖8所示。可以看出，除了討論4和討論5，其餘14個討論話題的發帖數量，B班均高於A班，這說明在線討論質量分析工具的應用還有助於提高學員參與每個討論話題的討論參與度。綜上，在線討論質量分析工具的使用對提升學員的討論參與度具有較好的促進作用。
（2）A班、B班參與討論人數對比
為了更形象地揭示A班、B班學員參與在線討論人數的情況，本研究以時間為單位，對A班和B班每周參與在線討論的人數進行了統計。鑒於兩班實際參與總人數不對等，研究主要採用百分比的形式進行統計分析，結果詳見圖9。
從圖9可知，培訓初期（第一周、第二周）A班和B班參與討論人數所占比例都較高，兩者區別不大。究其原因，可能是由於培訓初期學員的學習興趣都比較高，樂於參與在線討論活動。隨著培訓的推進，A班、B班參與討論的人數比均出現明顯的下降趨勢。這可能與培訓活動安排有關，因為從第三周開始開放考核作業，一些學員可能由於急於完成作業，而無暇顧及討論活動。進一步分析發現，雖然A班、B班參與討論的人數都呈現下降態勢，但B班下降速度明顯比A班緩慢。這說明在線討論質量分析工具的應用有助於保持學習者的討論參與度。
（3）A班、B班所發帖子質量對比
研究邀請兩名助學教師參與，利用帖子內容深度評價表對抽樣獲取的A班、B班所有討論貼進行手動評價。然後，藉助Excel軟體對各質量等級（灌水、淺度、中度、深度）的討論貼所占比例進行統計，結果如圖10所示。
從統計結果上看，B班的灌水帖和淺度帖所占比例均比A班低，而B班的中度帖與深度帖所占比例都比A班高。這說明在線討論質量分析工具的使用有助於減少學員在線討論淺度交互（灌水帖、淺度帖）的比率，增加其深度交互（中度帖、深度帖）的比率。換言之，在線討論質量分析工具的應用有利於提升學員參與在線討論的深度與質量。
2.調查研究測評
問卷設計。與實驗研究相類似，問卷研究測評也主要以學員討論行為和討論質量為考察點，從這兩個方面設計與自編測量題項對學員使用在線討論分析工具後的主觀感受進行調查。設計好的調查問卷主要包括有效性感知和自我導向作用兩個維度。其中，有效性感知量表主要參照李克特五點計分方式（1代表不符合，2代表不太符合，3代表一般 ，4代表比較符合，5代表非常符合），從討論積極性、討論參與度、帖子質量、討論行為、討論關注等方面設置了5個題項。自我導向作用測量主要採用自編的導向作用量表，從討論參與度和討論帖質量等方面設置了5個題項，每個題項均有三個選項。按照導向作用程度不同，本文對每個選項進行了編碼（0代表無導向，1代表弱導向，2代表強導向）。
問卷髮放與回收。以使用過在線討論質量分析工具的B班學員為調查對象，藉助「問卷星」發放調查問卷，共發放問卷120份，回收116份且全部有效，有效回收率為96.7%。
數據分析與統計。以SPSS 19.0為數據分析工具，對回收的調查數據進行統計分析。從統計結果看，有效性感知α係數為0.92，自我導向作用α係數為0.91，表明問卷信度較好。
調查分析結果主要體現在以下兩個方面：
（1）學員有效性感知分析
採用SPSS 19.0為分析工具，統計分析學員對在線討論分析工具的有效性感知，結果如表6所示。從統計結果可知，每個題項的均值都在4.0分之上，說明學員對在線討論質量分析工具的認可度較高。從具體內容上看，討論積極性（4.10）、討論參與度（4.01）、帖子質量（4.01）、討論行為（4.03）、討論關注（4.03）等5個問題的均值都大致相當，說明學員認為在線討論質量分析工具不僅有利於提高他們的討論積極性與參與度，而且還對其帖子質量、討論行為以及討論關注也有積極影響。
（2）學員導向作用感知分析
使用SPSS 19.0統計分析學員對在線討論質量分析工具的導向作用感知，其結果如表7所示。可以看出，5個題項的均值均大於1.5，這表明在線討論質量分析工具對學員的參與度和帖子質量都具有較強的導向作用。從參與行為來看，處於較低水平學員的導向作用最強（1.91），處於較高水平學員的導向作用次之（1.68），處於一般水平學員的導向作用最弱（1.61）。不同參與度水平學員的導向作用均值都很高（大於1.5），這說明學員認為在線討論質量分析工具有助於改善與保持他們的討論積極性。從發帖行為來看，發精華帖學員（1.76）與發灌水帖（1.80）學員的導向作用均值相當，這說明在線討論質量分析工具對學員發帖行為也具有一定的促進作用。
五、總結與展望
在線討論是遠程培訓的重要活動形式，其質量直接關涉到遠程培訓的成效。以往的在線討論質量分析，往往具有以下不足：一是所構建的關鍵要素局限於學理層面分析，較少形成實踐中可操作的分析工具；二是在分析討論內容質量時，往往是事後分析，而非過程性分析，因而難以用於實踐中的及時干預；三是以往研究多採用部分抽樣的方式進行分析，尚未使用大數據情境下的全樣本分析。本研究系統構建了在線討論質量分析三要素（話題質量、討論參與和討論深度）框架，基於大數據與學習分析技術設計了面向實踐的、可用於全樣本與過程性分析的在線討論質量分析規則，並將其嵌入到網絡研修平台開展了實效驗證。研究發現，在線討論質量分析工具不僅有利於提升培訓教師的在線討論參與度，而且對培訓教師的發帖質量與討論深度也具有積極影響。另外，研究還發現在線討論質量分析工具還具備一定的自我導向作用，對改善培訓教師的討論參與行為，保持與提高其參與在線討論的積極性都具有積極影響。
本研究所生成的討論質量計算規則具有較強的可行性與普適性，有助於遠程培訓平台開發者依據自身需要，基於平台的開發環境進行程序設計、規則嵌入以及可視化呈現。研究涉及的「討論參與」與「討論深度」均可實現自動化、伴隨性的數據收集與分析。但由於「話題質量」涉及與課程內容、學習目標相關的複雜分析，其判斷必須由專家（如課程教師或資深的助學教師）參與，因而該要素的自動化分析將有賴於人工智能技術或深度學習算法的進一步發展與優化。這也是本研究未來努力深入探索的方向。
注釋：
① 所謂「發起話題」，是指引發討論行為的帖子內容，不涉及回復帖。「發起話題」主要由助學教師發布，即為教師布置的討論內容，有時也允許學員發布。
② 根據具體的學習內容與質量分析目的，0.6與0.4的比重為可調節數值。
參考文獻：
[1]黃慶玲，李寶敏，任友群（2016）. 教師工作坊在線討論深度實證研究——以信息技術應用能力提升工程教師工作坊為例[J]. 電化教育研究，（12）：121-128.
[2]李銀玲，張超（2008）. 教師遠程培訓中在線參與度的分析與計算[J]. 中國遠程教育，（2）：60-64.
[3]彭敏軍，陸新生，劉引紅（2011）. 基於數量和質量的在線學習參與度考量方法研究[J]. 現代教育技術，（1）：103-106.
[4]吳亞婕，陳麗（2012）. 在線學習異步交互評價模型綜述[J]. 電化教育研究，（2）：44-49.
[5]閆寒冰，魏非（2008）. 遠程教學設計[M]. 上海：華東師範大學出版社：121-123.
[6]嚴亞利，黎加厚（2010）. 教師在線交流與深度互動的能力評估研究——以海鹽教師博客群體的互動深度分析為例[J]. 遠程教育雜誌，（2）：68-71.
[7]張振虹，劉文，韓智（2014）. 學習儀錶盤：大數據時代的新型學習支持工具[J]. 現代遠程教育研究，（3）：100-107.
[8]趙建華，孔晶（2015）. 在線討論分析編碼表的類型及應用[J]. 遠程教育雜誌，（2）：11-20.
[9]Fujita， N. （2013）. Critical Reflections on Multivocal Analysis and Implications for Design-Based Research[A]. Suthers， D.， Lund， K.， & Rosé， C. et al. （2013）. Productive Multivocality in the Analysis of Group Interactions[C]. Boston， MA：Springer：435-455.
[10]Garrison， D. R.， Anderson， T.， & Garrison， R. （2003）. E-Learning in the 21st Century： A Framework for Research and Practice[M]. London：Routledge：177-180.
[11]Gibbs， W. J.， Olexa， V.， & Bernas， R. S. （2006）. A Visualization Tool for Managing and Studying Online Communications[J]. Educational Technology & Society， 9（3）：232-243.
[12]Henri， F. （1991）. Computer Conferencing and Content Analysis[A]. Kaye， A. （1991）. Collaborative Learning Through Computer Conferencing[C]. Berlin：Springer：117-136.
[13]Jonassen， D. H. （1996）. Computers in the Classroom： Mindtools for Critical Thinking[M]. Columbus， OH： Merrill Prentice Hall：708.
[14]Knutzen， B. （2013）. Moving to Education 3.0 Participative Learning[EB/OL]. [2017-07-09]. http：//www.elearningforum.net/Seminar/Seminar13-61.html.
[15]Levin， J.， Kim， H.， & Riel， M. （1990）. Analyzing Instructional Interactions on Electronic Message Network[A]. Harasim， L. （1990）. Online Education：Perspectives on a New Environment[C]. Praeger：185-214.
[16]Ming， N.， & Baumer， E. （2011）. Using Text Mining to Characterize Online Discussion Facilitation[J]. Journal of Asynchronous Learning Networks，15（2）：71-109.
[17]Murray， T.， Wing， L.， & Woolf， B. P. et al. （2013）. A Prototype Facilitators Dashboard：Assessing and Visualizing Dialogue Quality in Online Deliberation for Education and Work[A]. Proceedings of the 2013 International Conference on e-Learning， e-Business， Enterprise Information Systems， and e-Government（EEE-2013）[C]：22-25.
[18]Nandi， D.， Hamilton， M.， & Chang， S. et al. （2012）. Evaluating Quality in Online Asynchronous Interactions between Students and Discussion Facilitators[J]. Australasian Journal of Educational Technology，28（4）：684-702.
[19]Scheuer， O.， & Miksatko， J. （2010）. Supporting Collaborative Learning and E-Discussions Using Artificial Intelligence Techniques[J]. International Journal of Artificial Intelligence in Education，20（1）：1-46.
[20]Trampu?， M.， & Grobelnik， M. （2010）. Visualization of Online Discussion Forums[J]. JMLR： Workshop on Pattern Analysis Applications， 11：134-141. http：//jmlr.org/proceedings/papers/v11/trampus10a/trampus10a.pdf.
[21]Vygotsky， L. S. （1978）. Mind in Society[M]. Cambridge， MA： Harvard University Press.
[22]Weinberger， A.， & Fischer， F. （2005）. A Framework to Analyze Argumentative Knowledge Construction in Computer Supported Collaborative Learning[J].Computers & Education， 46（1）：71-95.
收稿日期 2017-11-08 責任編輯 劉選
收藏