摘 要:文章採用文獻綜述和專家訪談的方法,以山東省企業為研究對象,嘗試構建一個應用性、操作性較強的管理培訓效果評估指標體系,解決目前缺乏實用、有效的管理培訓效果評估指標體系或指標體系不全面的現狀。
關鍵詞:管理培訓 效果評估 關鍵指標
在人力資源開發領域,最熱門的話題,也是最難解決的問題就是培訓效果評估。關於“培訓效果評估”的概念,雷蒙德·A·諾伊教授認為,就是指“收集培訓成果以衡量培訓是否有效的過程”;而英國的管理服務委員會(MSC)將其定義為“用來判斷培訓是否達到既定目標的過程”。培訓是一個由培訓需求分析、培訓設計、培訓實施和培訓效果評估組成的系統,如果說前三個環節的開展越來越受到企業重視的話,培訓效果評估卻遠遠落後於培訓的腳步。長期以來,企業對管理人員進行培訓後沒有對培訓效果進行評估,大大降低了培訓效果,進而影響了企業的發展。而企業不重視效果評估的一個重要原因是缺乏一套科學的管理培訓效果評估指標體系。
效果評估是對各評估指標的信息綜合,評估結果是否客觀、準確,首先依賴於被綜合的對象各評估指標的信息是否準確、全面和有代表性,評估指標的選取和評估指標體系的設計是否合適,直接影響到綜合評估的結論。因而,選取什麼指標來刻畫管理培訓的效果,是本文要解決的重要問題。本文採取的指標選擇方法是文獻資料的提煉和專家訪談。
一、管理培訓效果評估指標的相關研究綜述和指標的初建
(一)關於管理培訓效果評估指標的研究
目前,我國管理培訓效果評估指標的研究相對較少,多是一些一般培訓效果評估的指標研究。如周勇、張燃(2001)提出培訓效果評價的幾個方面:培訓力度,技術適用度,效益增長度。晏秋陽、曹亞克(2002)提出員工培訓評估指標分為兩大類,硬指標和軟指標。王魯捷、鍾磊、孫啟霞(2002)認為培訓績效評估指標體系,包括成本效益評估指標和顧客滿意度指標兩大類。陳衛(2006)提出了包含對培訓項目的評價、對培訓教師的評價……受訓者的工作態度總體表現、人力資源績效指標、運行指標等4個一級指標、12個二級指標、11個三級指標的指標體系。熊敏鵬、楊小東(2007)根據Kirkpatrick的四層次評估模型設計了培訓效果評估的指標:反應指標(如培訓對象的滿意度等)、學習指標(如推銷知識、輔導技能、選材技巧等)、行為指標、結果指標(如培訓成本、組織發展的狀況等)。肖娟(2007)將培訓效果評估指標分解為:反應類(對培訓感興趣、培訓內容對工作幫助程度等)、學習類(知識學到程度等)、收益類(培訓對企業的貨幣價值貢獻率)、戰略支持類(人員流動率等)。
但管理培訓,由於其培訓的特點,效果評估都有不同於一般員工之處,因此,效果評估的指標也有其獨特之處。雖然這方面的研究相對較少,但還是為我們提供了指標設計的依據。
1.William H.Clegg的觀點?譹?訛。美國學者William H.Clegg(1987)對639位企業管理人員進行了調查研究,結果顯示,被調查者認為的管理培訓效果評估指標的重要性排序應該是:工作績效的改善、學員對培訓的反應、學員知識的增長、學員技能的提高、學員態度的改變、企業運作績效的提升、對課程設置的評價、對課程講授的評價、對後續課程的需求程度、對培訓活動組織情況的評價、企業經理對課程的推薦程度、學員的激勵程度、學員的參與程度、培訓項目成本等。
2.國內學者的觀點。蕭鳴政(2004)教授提出評估的指標與內容表現為過程評估與成果評估兩個方面。
管理開發的過程評估指標包括完善的管理開發規劃、相關的配合措施和適當的評估與追蹤管理措施。完善的HRD規劃包括:確定HRD需求、建立管理開發的客體與對象、課程設計、教育培訓技術的選擇與確定。相關的配合措施包括:師資的選擇、對被開發者的了解、時間場地的安排、管理開發前後的相關措施。適當的評估與追蹤管理措施包括:成果導向的評估內容指標、評估規劃內容。成果評估指標包括內部成果與外部成果兩個方面。內部成果包括:被開發者的意見與滿意度、學習成就評估。外部成果包括:被開發者在崗位工作中的變化、對組織整體的影響與效益。
陶祁、王重鳴(2006)在管理培訓的背景下,提出了在培訓效果評估中可使用適應性績效作為培訓效果的效標的一個重要方面。據此,開發出了包含壓力和應急處理、創新解決問題、崗位持續學習、人際和文化適應四個因素,共25個項目的適應性績效問卷。
曹如玲(2009)提出了培訓課程的啟發性、培訓課程的實用性、學員的課堂參與程度、教師的感染力與課堂氣氛、教師講解的邏輯性與清晰度、學員對相關知識和原理的掌握情況、學員的人際和文化適應能力的提高、團隊合作精神的增強、員工滿意度的提升、制度執行力的提升等22個評估指標。
(二)基於文獻研究的管理培訓效果評估指標的初建
在整理總結了大量有關培訓效果評估、管理培訓效果評估的研究成果的基礎上,以培訓過程理論、綜合性培訓模型和層次培訓模型為依據,從管理培訓的目的、需要出發,結合管理培訓的特點,本文預選出符合指標體系構建目的和原則的三大類、七種、29個有代表性的指標,其指標定義、來源和理論基礎如表1所示。
二、基於專家訪談的管理培訓效果評估指標的完善
結合研究內容,本次訪談目的在於了解企業管理人員培訓目的、需求,管理人員培訓的特點以及他們所關注的培訓效果評估指標,並通過訪談對已匯總出的評估指標進行修訂,使得評估指標更加具有針對性、操作性。
專家訪談的對象共7人,由三部分組成:(1)企業管理或人力資源開發和管理領域的專家、學者;(2)管理培訓領域的培訓師和組織者;(3)企業中高層管理人員。這部分對象的數量不必很多,但要求有較強的理解能力,並對培訓評估問題有較深刻的認識或實踐經驗。
專家訪談主要問題:
(1)能描述一下貴公司的的發展戰略嗎?如何將該戰略應用到管理人員的培訓上呢?(2)近年來,企業開展了哪些針對中高層管理人員的培訓活動?能具體描述一下嗎?您覺得效果如何?您覺得效果不錯或不理想的主要原因是什麼呢?(3)您所了解的企業在管理培訓效果評估時通常會使用哪些評估指標?您覺得有效嗎?(4)我們已總結出了一些評估指標(如上所述),您認為它們是否重要?(5)您認為是否有其他的評估指標需要加入?
訪談結束後,對訪談內容進行整理和評估指標提煉。
最後,匯總訪談結果,結合評估指標篩選原則,對已總結出的指標項進行了修改和補充。具體結果是:增加了“體現管理人員學習特徵”的指標“被培訓者的課堂參與程度”;將原來的“培訓需求與戰略”指標細化為“培訓目標明確”、“培訓目標與組織戰略目標一致”、“培訓計劃完善且有針對性”、“培訓需求分析有針對性”四項;增加了“培訓手段先進性”、“企業員工積極性”、“企業員工流動率”、“企業市場份額”等指標。
三、管理培訓效果評估指標體系的確立和關鍵指標的描述
總結上述文獻研究和專家訪談的研究結果,本文得出管理培訓效果評估的指標體系,包括三個一級指標、8個二級指標、22個三級指標,18個四級指標。如表2所示。
(一)培訓準備類評估指標培訓需求與戰略
在企業實踐中,每個企業的情況是不同的,必須根據企業不同的定位來評估培訓對企業發展的支持,制定不同的指標體系。培訓的預期效果和培訓重點的確定來源於對企業目標的正確認識。培訓需求分析是整個培訓管理活動的第一個環節,它決定了培訓能否瞄準正確的目標,進而影響到能否設計與提供有針對性的培訓課程,因此對培訓的有效性起著至關重要的作用。所以,本文中培訓準備階段的指標的設計就確定為企業管理人員培訓需求與戰略的聯繫進行論述。包括:培訓目標明確、培訓目標與組織戰略相一致、培訓計劃完善且有針對性、培訓需求分析有針對性。
(二)培訓過程類評估指標
1.課程內容。管理人員培訓課程涉及的內容非常廣,因此,課程內容設計得是否合理、是否能夠滿足企業和被培訓者的實際需要,在很大程度上決定了企業培訓的效果。本文中,課程內容類評估指標涵蓋了對課程的啟發性、實用性和內容的豐富性三個方面的評估,主要通過管理人員自身的學習感受來進行評估。
2.手段和方法。該類評估指標設計為:培訓方法的多樣性、培訓手段的先進性,主要用於評估管理人員開發培訓中培訓方法能否與內容相符合。如對知識類培訓時,可採用講授法、專題講座、研討法;對提高和開發綜合性能力的培訓時,可採用案例研究法、頭腦風暴法、模擬訓練法、敏感性訓練;對行為調整和心理訓練時,可採用角色扮演法、行為模仿法、拓展訓練法。同時,還要重視手段的現代化。
3.師資的選擇.教師是培訓工作的具體實施者和引導者。培訓教師的組成可以內外結合,既包括高校從事企業管理的學者、從事企業管理研究工作的研究人員,也應有長期從事企業管理工作,具有豐富工作經驗的領導者,甚至企業自身的成功的管理人員。教師的感染力、教師的責任心、教師的專業水平等情況都會直接影響管理人員學習興趣和學習效果。因此這三個指標成為評估師資選擇是否恰當的依據。
4.培訓的保障。這一類指標用於評估培訓的組織與實施等方面的情況,其中,教材與相關資料的準備情況、教學環境與設備情況這兩項會對培訓效果的遷移產生一定的影響;而培訓時間安排是否合理、培訓組織工作是否到位,則會影響到被培訓者、甚至是所在企業對培訓的滿意度。
5.管理人員的特點.本文提出的培訓效果綜合評估體系,是基於戰略績效和學習核心的,因此在評估指標設計中特別設計了“被培訓者的課堂參與程度”這一指標,目的在於考察管理人員培訓能否遵循成人學習的特點,充分調動成人學習的積極性。
(三)培訓結果類評估指標
1.個人學習效果。在效果評估系統中,個人學習效果分為知識的效果和技能效果兩種。知識效果指的是通過不斷學習和經驗的積累獲得的智力上的進步;技能的效果指的是管理人員在某一個專業領域中,通過學習和經驗獲得的產生績效和最佳效能的行為。由於管理人員的職業角色和素質要求,對管理人員培訓效果的評估指標就側重在是否達到決策能力的提高、組織協調能力的提高、創新能力的提高、持續學習能力的提高、團隊合作能力和精神的提高等。
2.組織績效效果。組織績效的提升是幾乎所有培訓的最終目標,也是企業主最關心的目標,但管理培訓對組織績效方面的影響往往不會那麼直接、快速地從這些指標中體現出來。因為管理人員培訓的目的是通過個人管理能力的提升,進而提升企業的管理能力,以實現組織的戰略目標。所以,本文藉助平衡計分卡這一戰略管理工具、績效管理工具,設計了管理人員培訓效果評估的組織績效指標:學習與成長類,內部流程類,客戶指標類,財務指標類。
參考文獻:
1.Richard A.Swanson,Elwood F.Holton Ⅲ,Foundation of Human Resource Development EISBN:1-57675-075-2,Copyright 2001 By Berrett-Koehler Publishers,Inc
2.[美]賴爾·約克斯著,胡英坤,孫寧譯.戰略人力資源開發[M].東北財經大學出版社,2007
3.蕭鳴政.人力資源開發的理論與方法[M].高等教育出版社,2004
4.雷蒙德·A·諾伊.雇員培訓與開發[M].中國人民大學出版社,2002
5.熊敏鵬,楊小東,基於平衡計分卡的培訓效果評估初探[J].中國電力教育,2007(6)
6.陶祁,王重鳴.管理培訓背景下適應性績效的結構分析[J].心理科學,2006(3)
7.王魯捷,鍾磊,孫啟霞.企業培訓績效綜合評價指標體系研究[J].中國培訓,2002(12)
8.周勇,張燃.企業人力資源開發培訓評價模式研究[J].煤炭經濟研究,2001(8)
9.晏秋陽,曹亞克.企業員工培訓效果評估模式的探討[J].江西行政學院學報,2000(S)
10.陳衛.企業培訓的績效評估[D].碩士論文,2006
11.肖娟.培訓效果評估方法及其應用研究[D].碩士論文,2007
12.曹如玲.中小企業管理培訓效果評估模型研究[D].碩士論文,2008
關鍵詞:管理培訓 效果評估 關鍵指標
在人力資源開發領域,最熱門的話題,也是最難解決的問題就是培訓效果評估。關於“培訓效果評估”的概念,雷蒙德·A·諾伊教授認為,就是指“收集培訓成果以衡量培訓是否有效的過程”;而英國的管理服務委員會(MSC)將其定義為“用來判斷培訓是否達到既定目標的過程”。培訓是一個由培訓需求分析、培訓設計、培訓實施和培訓效果評估組成的系統,如果說前三個環節的開展越來越受到企業重視的話,培訓效果評估卻遠遠落後於培訓的腳步。長期以來,企業對管理人員進行培訓後沒有對培訓效果進行評估,大大降低了培訓效果,進而影響了企業的發展。而企業不重視效果評估的一個重要原因是缺乏一套科學的管理培訓效果評估指標體系。
效果評估是對各評估指標的信息綜合,評估結果是否客觀、準確,首先依賴於被綜合的對象各評估指標的信息是否準確、全面和有代表性,評估指標的選取和評估指標體系的設計是否合適,直接影響到綜合評估的結論。因而,選取什麼指標來刻畫管理培訓的效果,是本文要解決的重要問題。本文採取的指標選擇方法是文獻資料的提煉和專家訪談。
一、管理培訓效果評估指標的相關研究綜述和指標的初建
(一)關於管理培訓效果評估指標的研究
目前,我國管理培訓效果評估指標的研究相對較少,多是一些一般培訓效果評估的指標研究。如周勇、張燃(2001)提出培訓效果評價的幾個方面:培訓力度,技術適用度,效益增長度。晏秋陽、曹亞克(2002)提出員工培訓評估指標分為兩大類,硬指標和軟指標。王魯捷、鍾磊、孫啟霞(2002)認為培訓績效評估指標體系,包括成本效益評估指標和顧客滿意度指標兩大類。陳衛(2006)提出了包含對培訓項目的評價、對培訓教師的評價……受訓者的工作態度總體表現、人力資源績效指標、運行指標等4個一級指標、12個二級指標、11個三級指標的指標體系。熊敏鵬、楊小東(2007)根據Kirkpatrick的四層次評估模型設計了培訓效果評估的指標:反應指標(如培訓對象的滿意度等)、學習指標(如推銷知識、輔導技能、選材技巧等)、行為指標、結果指標(如培訓成本、組織發展的狀況等)。肖娟(2007)將培訓效果評估指標分解為:反應類(對培訓感興趣、培訓內容對工作幫助程度等)、學習類(知識學到程度等)、收益類(培訓對企業的貨幣價值貢獻率)、戰略支持類(人員流動率等)。
但管理培訓,由於其培訓的特點,效果評估都有不同於一般員工之處,因此,效果評估的指標也有其獨特之處。雖然這方面的研究相對較少,但還是為我們提供了指標設計的依據。
1.William H.Clegg的觀點?譹?訛。美國學者William H.Clegg(1987)對639位企業管理人員進行了調查研究,結果顯示,被調查者認為的管理培訓效果評估指標的重要性排序應該是:工作績效的改善、學員對培訓的反應、學員知識的增長、學員技能的提高、學員態度的改變、企業運作績效的提升、對課程設置的評價、對課程講授的評價、對後續課程的需求程度、對培訓活動組織情況的評價、企業經理對課程的推薦程度、學員的激勵程度、學員的參與程度、培訓項目成本等。
2.國內學者的觀點。蕭鳴政(2004)教授提出評估的指標與內容表現為過程評估與成果評估兩個方面。
管理開發的過程評估指標包括完善的管理開發規劃、相關的配合措施和適當的評估與追蹤管理措施。完善的HRD規劃包括:確定HRD需求、建立管理開發的客體與對象、課程設計、教育培訓技術的選擇與確定。相關的配合措施包括:師資的選擇、對被開發者的了解、時間場地的安排、管理開發前後的相關措施。適當的評估與追蹤管理措施包括:成果導向的評估內容指標、評估規劃內容。成果評估指標包括內部成果與外部成果兩個方面。內部成果包括:被開發者的意見與滿意度、學習成就評估。外部成果包括:被開發者在崗位工作中的變化、對組織整體的影響與效益。
陶祁、王重鳴(2006)在管理培訓的背景下,提出了在培訓效果評估中可使用適應性績效作為培訓效果的效標的一個重要方面。據此,開發出了包含壓力和應急處理、創新解決問題、崗位持續學習、人際和文化適應四個因素,共25個項目的適應性績效問卷。
曹如玲(2009)提出了培訓課程的啟發性、培訓課程的實用性、學員的課堂參與程度、教師的感染力與課堂氣氛、教師講解的邏輯性與清晰度、學員對相關知識和原理的掌握情況、學員的人際和文化適應能力的提高、團隊合作精神的增強、員工滿意度的提升、制度執行力的提升等22個評估指標。
(二)基於文獻研究的管理培訓效果評估指標的初建
在整理總結了大量有關培訓效果評估、管理培訓效果評估的研究成果的基礎上,以培訓過程理論、綜合性培訓模型和層次培訓模型為依據,從管理培訓的目的、需要出發,結合管理培訓的特點,本文預選出符合指標體系構建目的和原則的三大類、七種、29個有代表性的指標,其指標定義、來源和理論基礎如表1所示。
二、基於專家訪談的管理培訓效果評估指標的完善
結合研究內容,本次訪談目的在於了解企業管理人員培訓目的、需求,管理人員培訓的特點以及他們所關注的培訓效果評估指標,並通過訪談對已匯總出的評估指標進行修訂,使得評估指標更加具有針對性、操作性。
專家訪談的對象共7人,由三部分組成:(1)企業管理或人力資源開發和管理領域的專家、學者;(2)管理培訓領域的培訓師和組織者;(3)企業中高層管理人員。這部分對象的數量不必很多,但要求有較強的理解能力,並對培訓評估問題有較深刻的認識或實踐經驗。
專家訪談主要問題:
(1)能描述一下貴公司的的發展戰略嗎?如何將該戰略應用到管理人員的培訓上呢?(2)近年來,企業開展了哪些針對中高層管理人員的培訓活動?能具體描述一下嗎?您覺得效果如何?您覺得效果不錯或不理想的主要原因是什麼呢?(3)您所了解的企業在管理培訓效果評估時通常會使用哪些評估指標?您覺得有效嗎?(4)我們已總結出了一些評估指標(如上所述),您認為它們是否重要?(5)您認為是否有其他的評估指標需要加入?
訪談結束後,對訪談內容進行整理和評估指標提煉。
最後,匯總訪談結果,結合評估指標篩選原則,對已總結出的指標項進行了修改和補充。具體結果是:增加了“體現管理人員學習特徵”的指標“被培訓者的課堂參與程度”;將原來的“培訓需求與戰略”指標細化為“培訓目標明確”、“培訓目標與組織戰略目標一致”、“培訓計劃完善且有針對性”、“培訓需求分析有針對性”四項;增加了“培訓手段先進性”、“企業員工積極性”、“企業員工流動率”、“企業市場份額”等指標。
三、管理培訓效果評估指標體系的確立和關鍵指標的描述
總結上述文獻研究和專家訪談的研究結果,本文得出管理培訓效果評估的指標體系,包括三個一級指標、8個二級指標、22個三級指標,18個四級指標。如表2所示。
(一)培訓準備類評估指標培訓需求與戰略
在企業實踐中,每個企業的情況是不同的,必須根據企業不同的定位來評估培訓對企業發展的支持,制定不同的指標體系。培訓的預期效果和培訓重點的確定來源於對企業目標的正確認識。培訓需求分析是整個培訓管理活動的第一個環節,它決定了培訓能否瞄準正確的目標,進而影響到能否設計與提供有針對性的培訓課程,因此對培訓的有效性起著至關重要的作用。所以,本文中培訓準備階段的指標的設計就確定為企業管理人員培訓需求與戰略的聯繫進行論述。包括:培訓目標明確、培訓目標與組織戰略相一致、培訓計劃完善且有針對性、培訓需求分析有針對性。
(二)培訓過程類評估指標
1.課程內容。管理人員培訓課程涉及的內容非常廣,因此,課程內容設計得是否合理、是否能夠滿足企業和被培訓者的實際需要,在很大程度上決定了企業培訓的效果。本文中,課程內容類評估指標涵蓋了對課程的啟發性、實用性和內容的豐富性三個方面的評估,主要通過管理人員自身的學習感受來進行評估。
2.手段和方法。該類評估指標設計為:培訓方法的多樣性、培訓手段的先進性,主要用於評估管理人員開發培訓中培訓方法能否與內容相符合。如對知識類培訓時,可採用講授法、專題講座、研討法;對提高和開發綜合性能力的培訓時,可採用案例研究法、頭腦風暴法、模擬訓練法、敏感性訓練;對行為調整和心理訓練時,可採用角色扮演法、行為模仿法、拓展訓練法。同時,還要重視手段的現代化。
3.師資的選擇.教師是培訓工作的具體實施者和引導者。培訓教師的組成可以內外結合,既包括高校從事企業管理的學者、從事企業管理研究工作的研究人員,也應有長期從事企業管理工作,具有豐富工作經驗的領導者,甚至企業自身的成功的管理人員。教師的感染力、教師的責任心、教師的專業水平等情況都會直接影響管理人員學習興趣和學習效果。因此這三個指標成為評估師資選擇是否恰當的依據。
4.培訓的保障。這一類指標用於評估培訓的組織與實施等方面的情況,其中,教材與相關資料的準備情況、教學環境與設備情況這兩項會對培訓效果的遷移產生一定的影響;而培訓時間安排是否合理、培訓組織工作是否到位,則會影響到被培訓者、甚至是所在企業對培訓的滿意度。
5.管理人員的特點.本文提出的培訓效果綜合評估體系,是基於戰略績效和學習核心的,因此在評估指標設計中特別設計了“被培訓者的課堂參與程度”這一指標,目的在於考察管理人員培訓能否遵循成人學習的特點,充分調動成人學習的積極性。
(三)培訓結果類評估指標
1.個人學習效果。在效果評估系統中,個人學習效果分為知識的效果和技能效果兩種。知識效果指的是通過不斷學習和經驗的積累獲得的智力上的進步;技能的效果指的是管理人員在某一個專業領域中,通過學習和經驗獲得的產生績效和最佳效能的行為。由於管理人員的職業角色和素質要求,對管理人員培訓效果的評估指標就側重在是否達到決策能力的提高、組織協調能力的提高、創新能力的提高、持續學習能力的提高、團隊合作能力和精神的提高等。
2.組織績效效果。組織績效的提升是幾乎所有培訓的最終目標,也是企業主最關心的目標,但管理培訓對組織績效方面的影響往往不會那麼直接、快速地從這些指標中體現出來。因為管理人員培訓的目的是通過個人管理能力的提升,進而提升企業的管理能力,以實現組織的戰略目標。所以,本文藉助平衡計分卡這一戰略管理工具、績效管理工具,設計了管理人員培訓效果評估的組織績效指標:學習與成長類,內部流程類,客戶指標類,財務指標類。
參考文獻:
1.Richard A.Swanson,Elwood F.Holton Ⅲ,Foundation of Human Resource Development EISBN:1-57675-075-2,Copyright 2001 By Berrett-Koehler Publishers,Inc
2.[美]賴爾·約克斯著,胡英坤,孫寧譯.戰略人力資源開發[M].東北財經大學出版社,2007
3.蕭鳴政.人力資源開發的理論與方法[M].高等教育出版社,2004
4.雷蒙德·A·諾伊.雇員培訓與開發[M].中國人民大學出版社,2002
5.熊敏鵬,楊小東,基於平衡計分卡的培訓效果評估初探[J].中國電力教育,2007(6)
6.陶祁,王重鳴.管理培訓背景下適應性績效的結構分析[J].心理科學,2006(3)
7.王魯捷,鍾磊,孫啟霞.企業培訓績效綜合評價指標體系研究[J].中國培訓,2002(12)
8.周勇,張燃.企業人力資源開發培訓評價模式研究[J].煤炭經濟研究,2001(8)
9.晏秋陽,曹亞克.企業員工培訓效果評估模式的探討[J].江西行政學院學報,2000(S)
10.陳衛.企業培訓的績效評估[D].碩士論文,2006
11.肖娟.培訓效果評估方法及其應用研究[D].碩士論文,2007
12.曹如玲.中小企業管理培訓效果評估模型研究[D].碩士論文,2008
收藏