國立台東大學97學年度碩士班甄試
教育學系(所)教學科技碩士班
===== 研究構想 =====
***** 評量中學習 (Learn With Assessment) *****
張志芳
(慈濟醫院關山分院 婦產科 主治醫師)
題目1: 線上評量系統在醫療教育(學校)的評估及研究
題目2: 線上評量系統在醫療事業(醫院)的評估及研究
題目3: 電腦化適性測驗在台灣醫療教育之可行性
(一) 前言
(二) 試題集
(三) 題庫 (item bank、item pool、item file)
(四) 電腦化測驗 (computer-based testing，CBT)
(五) 線上評量系統 (on line test system)
(六) 適性測驗 (computerized adaptive testing，CAT)
(七) 程式的分析及研發
(八) 如何推廣及執行
(九) 結論
關鍵字:試題集、題庫、電腦化測驗、線上評量系統、適性測驗
(一) 前言
教育理論上，「螺旋式」學習理論強調，一種知識的傳達，
就如同螺旋的旋轉，它必須藉由不斷重複的過程，
甚至是原地打轉，並以循序漸進的方法，
學子們才能夠瞭解各項事實與各門學科的真理。
「Content is King」 ---- 現在台灣數位學習的現況，
似仍停滯在訓練平臺或製作工具孰優孰劣的爭議迷思中，
未能跳脫並回歸「內容」才是學習的「基本面」。
個人因興趣及需要，在七、八年前開始有收集護理及醫學考題的習慣，
並相信從評量中學習是一種有效且快速的方法。
只有不斷從錯誤題目中反覆練習並加強基本觀念的內化，
才能把學問建構起來。
三年多前，因費用及不滿意套裝程式的運作方式，
而起了自己學習撰寫程式的念頭，經友人介紹而選用ASP.NET為藍本。
由於沒有撰寫程式的經驗，
以最原始的方法 -- 嘗試錯誤(try error)來寫作。
利用二年時間專研市面上ASP.NET相關書籍，
並利用二個月時間，改寫出一套基本評量系統。
從收集編修題目、研讀書籍、撰寫程式、發佈網站、推廣及排斥、
執行使用、測試者反應的過程中，曾遇到重重困難及挫折。
可預見此過程與未來論文研究中可能遇到的問題雷同。
數月前與某校校長討論評量系統時，
突然興起應更進一步加強教育方面的觀點及研究，
才能使評量系統的推廣更完美，進而興起進修的念頭。
接觸測驗與評量的書籍後，
想到可以嘗試結合題庫來進行電腦化適性測驗的研究。
至於醫療題庫的資料是否能與人工智慧、專家系統、
決策支援系統的研究結合則是一個未來的題目。
外國醫學教育和醫師、護士執照考試使用電腦適性測驗考試已有一段時日，
足見此類電腦化測驗已漸為一種趨勢，且日漸普及。
然而，要推行電腦化適性測驗，
還是需要具備下列條件，才能實施成功:
1. 題庫(電腦化題庫系統)；
2. 適當的理論基礎(如:試題反應理論)；
3. 具適性測驗理論與實務經驗的人員；
4. 適當的(中文化)軟體程式；
5. 試題經過校準或量尺化(calibration)；
6. 電腦及其周邊設備。
在滿足上述條件後，唯一的問題是:「何時、如何動手執行?」
因為在建立一套電腦化適性測驗系統的初期，
勢必花費相當大的人力、物力、時間、和金錢，
若未能獲得研究財力上的支援，
或開發出來的系統不具商業化的價值，
則在推廣活動上也勢必遭受阻撓。
所以，國內有關適性測驗的開發研究也僅止於起步階段，
且絕大多數都是由公立學術研究機構提供財力支助，
開發出來的成品也僅供學術研究使用，
尚未正式推廣到學校、企業界、或各級政府的考試機構使用。
(二) 何謂 試題集
試題假如只是一群未依一定程序編製、
分析、系統編碼的巿售題庫集或題庫本，
這些僅是將一堆試題(或考古題)彙整起來而已，
並未能確知每道試題的可用性，
因此，嚴格說來，不能算是題庫，只能算是一種試題集。
試題集的功能就不如題庫，
它無法用來組成評量各種教學成果的工具，
更無法配合電腦化適性測驗(computerized adaptive testing)的發展，
成為電腦化題庫系統，運用在等化(equating)分析、
測驗編製、精熟測驗(mastery testing)、
或診斷測驗(diagnostic testing)等基礎應用的研究上。
(三) 何謂 題庫
題庫(item bank、item pool、item file)
是指每道題目均經過編製、分析、系統編碼、
測試、評論、修正、刪改
而建立起試題特徵資料的一群試題，
並且可用來組成評量各種教學成果的工具。
(四) 電腦化測驗
電腦化測驗，顧名思義，是以電腦來輔助編輯試題、施測、
計分、分析、報告結果、與解釋的測驗方式。
而線上測驗，更是能夠透過網路的雙向傳輸功能，
達到無遠弗屆的隨選施測(testing on demand)地步。
它們不僅能夠節省測驗編輯和施測時間，
更能夠達到精確估計與報告考生真正實力或潛在特質的成就。
電腦化測驗可根據其背後所持測驗理論基礎的不同，
分成適性與非適性兩類。
非適性的電腦化測驗(computer-based testing，簡稱CBT)，
主要還是以古典測驗理論為依據，
是一種將傳統紙筆測驗改成以電腦螢幕或網路當呈現介面
的電腦輔助施測的方式。因此，嚴格說來，
測驗本身不具有量身訂作的「因才施測」功能，
所以不具適性的本質。
從測驗理論來看，
當測驗試題的困難度能夠適合考生的能力時，
這時測驗所測量到的考生能力最為精確。
這種能夠適應個別化需求的測驗，
即稱為「電腦化適性測驗」。
(五) 線上評量系統 (On line test system)
線上評量系統讓學員透過網路系統，
在多媒體互動式的測驗環境，
使學員了解每一次練習的成績，及記錄測驗的歷程，
並立即記錄測驗情形與加以統計，
且可即時的產生正確性的回饋資訊，
讓學員在自我反覆練習過程中，獲得知識與評定熟悉程度。
而在學員線上測驗之後，提供學員成績，
提高學員學習動機與成效。
(六) 電腦化適性測驗 (Computerized adaptive testing, CAT)
電腦進行適性測驗的設計通常是由預期中等難度的試題開始施測，
第二題及後續試題則由應試者的答題反應決定。
一般而言，若應試者答對前一題，下一題電腦則會選擇稍難的試題施測；
相反地，答錯下一題選擇的是稍微容易的試題施測。
當考生表現達到某個事前決定的準確水準
或已施測完畢程式設定的最多試題，
即停止施測。
這種電腦化測驗即能夠針對不同程度的考生及其不同的作答速度，
提供適合其能力作答的適當難度試題，
以謀求估計考生能力的最大精確性，
達成量身訂作的「因才施測」最高理想境界。
(七) 程式的分析及研發
1. 線上評量系統 (WWW.MOLTS.TW or WWW.EZpass.TW)
2. 電腦化適性測驗 (撰寫新程式或使用套裝軟體)
(八) 如何推廣及執行
1. 線上評量系統 ---- 推廣中
(免費使用、吸引社群、檢討程式及學習流程、再更新程式及流程)
A. 預定於96年下學期與慈濟技術學院放射技術系推廣使用
B. 開放藥師國考考題給藥學系學生複習
C. 開放護士護理師考題給在職人士複習
D. 慈濟關山分院員工內部評量及學習
E. 其他
2. 電腦化適性測驗
(可能合作對象)
A. 慈濟技術學院護理系、放射技術系、物理治療系
B. 慈濟大學醫學系、醫事檢驗系、護理系
C. 其他
(九) 結論----「Content is King」
一般說來，大規模的題庫，
不是學校教師個人或數人所能勝任的工作。
它往往需要學科專家、測驗專家、教師、行政人員、
系統工程師、程式設計師等的參與，
且經過無數次的命題研商、開會討論、測試、分析、評論、修正、
刪改、更新、與維護等冗長過程，及投入龐大的研究經費始能完成，
一旦完成，又必須時時加以維修與更新，
刪除不適宜的試題，增加新的優良試題。
由於個人收集及整理的醫學資料已耗資金錢及時間，
假如能多方發展利用也只是增加它的附加價值吧!
從七、八年前開始收集資料的原始目的，
到最近才發現題庫使用的多變性。
因為多變性才促使個人的進修，
這整個過程有如 Self-regulated learning。
個人觀點：
在數位、網路教學及設計上，
系統程式設計比較容易完成。
建立大規模的題庫系統是一件耗資龐大又勞師動眾的艱鉅工程，
絕非個人所能勝任。
但個人目前完成收集及校正的國家考試醫療考題約八萬題，
包括大部份的醫療，
如護理、醫學、藥學、醫技、復健、放射、...。
正在編碼整理的醫學及護理英文題目約有二十萬，加上其它的資料，
預估經過編碼、分析、修正、刪改、
修編後的醫療題庫約有三十萬題。
最後，由於線上評量系統(On line test system)
在專科以上教育及醫療體系上的使用研究比較缺乏資料，
而醫療適性測驗(Computerized adaptive testing, CAT)
發展又需要題庫的配合，學員的測試，
使得這個研究領域有很多發展的空間。