架構在 Web 上的作業相互評量系統





邱繼弘、王尉任、袁賢銘

國立交通大學資訊科學研究所
新竹市大學路1001號
TEL:(03) 5712121 EXT.59265
EMAIL:gis87518@cis.nctu.edu.tw,gis86520@cis.nctu.edu.tw,smyuan@cis.nctu.edu.tw

林珊如

國立交通大學教育學程中心
新竹市大學路1001號
TEL:(03) 5712121 EXT.58057
EMAIL:sunnylin@cc.nctu.edu.tw

摘要

這篇論文主要是建構在 “Learning by Judging” 上,規劃出一個『作業相互評量模式』,並依這模 式設計一套架構在 World Wide Web 上的作業程相互評量系統。在這系統中,學生透過網路繳交作業,並 經由相互的評分而得到作業的分數與同學們修改的建議,此後學生依據這建議來做一些修改。重覆進行 數個回合後,老師可以根據同學的評分來替這份作業打分數。用這種方法,老師就好像是期刊的總編 輯,所有的學生就像是作者和評審委員。我們希望這種方法能夠讓學生發展更高層次的思考和知識的表 達。而這套系統在八十六學年度下學期,交通大學資訊科學系的兩門課程上試用,學生普遍反應非常佳 發揮了原先計劃的效果;且經過一些計算與討論,我們發現老師還可以利用這套系統還可做為另一個評 量學生學習效果的方式,一些統計資料還能提供老師做為修改教學方針的依據。





 

一、簡介

網路的普及化為CAI投注了一股新的力量。而在網路的各種服務中,又以 World Wide Web 的應用最為普遍而簡 易。World Wide Web 是建構於 Internet 上的系統 ,使用者使用瀏覽器和網站連結,獲取資料。一般而言,Server 所 傳送的資料會包含文字、圖片、甚至聲音、音樂、動畫等多媒體資料都是被允許的,同時透過一些技巧,雙方面 的檔案交換也是允許的。World Wide Web 在這幾年迅速的發展,成為二十一世紀的新興媒體。

World Wide Web 被廣泛的應用在各種行業上,對於教育界而言,是替遠距教學打了一劑強心針。各種在 World Wide Web 上協助教學的研究計劃一直沒有間斷,而這些計劃多以提供課程討論或是網路上教材編寫為主。而目 前發展中的遠距合作學習系統逐漸走向建構主義的模式。建構主義強調學習者的主動性與參與感,因此它的主體 不是知識本身,而是學習者。以建構主義的觀點而言,學習者必須知道自己正在學什麼,並且可以對外界給予的 新的刺激加以反應,然後再重新建構出新的知識。此外,建構主義更認為學習者與知識都有其主觀性的成份,因 此『達成認知的一致性』就會產生問題。目前最好的解決辦法就是透過合作學習的方式來達成這個目標。總而言 之,學習者的研究方法應該由傳統的量化方式,轉而朝向質化的方式。這也就是說,教學者應該尊重學習者學習 成果的差異性,並且由知識傳授者的角色轉形成學習監督者。

建構主義的學習論目前以 Problem based learning,PBL 為主流。在 PBL 中,教師只處於輔導學生的地位。教師負責 提供學生背景知識以及具啟發性的問題,而學生則根據問題互相討論,並建構新的知識。此類型的系統很多,如 交大資科的 W3CC 教學 bbs 系統就是一個例子。PBL 的系統雖然可以啟發學生,但也容易使學生產生單向思考的 現象。為了解決這種問題,於是 Learning by Judging, LBJ ,便被提了出來 (Cho-Yu Wu , 1997)。LBJ 學習法是以學生 為主體,教師負責提供背景知識,問題,與作業,而學生透過互相討論與互相評分來了解別人與自己的差異,從 而建構起一個較為客觀的知識。

我們這篇論文就是依據 LBJ 的架構,透過 World Wide Web 建立一套符合一般需求的相互評分系統,並實際運用 於教學上。讓同學們透過相互評分來達到相互學習的目的。其基本法則如下 :

  1. 教師提出關於某一主題的問題或指定作業
  2. 學生選擇這一個作業的題目。
  3. 學生做出解答,並繳交至系統。
  4. 每個學生替其他人的作業做評分,並給與建議與評語。
  5. 系統將評分與評語告知學生。
  6. 學生依據評語來修改他的作業。
  7. 重覆上面4到6步驟數次。

除此之外,我們和 LBJ 的最大不同,在於我們給同學有自行決定題目的權力,以讓他們能達到更高層次的學習。





二、相互評量模式

我們先從傳統的作業評分方法來看起,老師指定一份作業,同學在繳交期限內繳交作葉,再由老師或助教評分後 交還給同學,在這整個過程中,整個學習的效果在同學們做作業的過程。但是明顯的,做作業的過程是無法很難 被老師控制與評量的,最多只能靠指定作業時複雜的條件來確保同學們的學習。

在我們這 Collaborative Review System 中,簡單來看是把傳統方法中的做作業的過程再加以細分,使用一些技巧來 加強學習的效果。我們依據 Learning by Judging 模式,當同學作業繳交後再將其作業分配給部份同學來評分,當然 他也負責替部份作業評分,評分過後系統通知作者評分結果、所有作業成績的分佈及評分者對這份作業的建議, 作者會依據評分者的建議及評分的結果來修改它的作業,之後重覆這個流程若干次,完成這份作業整個評分。

圖一、 比較傳統式與相互評量式的作業評分流程

這樣子做有什麼好處?我們可以從評分者與作者兩方面來看:當一同學身為評分者時,他必需要詳細閱讀別人的 作業,給別人作業分數與建議,經過這樣的步驟,他可以瞭解別人的作業內容,並可以藉由比較發現自己作業的 缺失;而當他為作者的身份時,他可以得到來自同學的批評與建議,作為修改作業的參考,也由於一份作業必需 要進行若干次的評分,所以同學們必須對他們的作業一次又一次的修改,以達到最好的成績。

持續的進步

整個學習就是透過這樣數次的評分與改進後達成,讓同學們在每個 Round 能持續的進步是這方式的目標,所以我 們在每個 Round 的間隔中不但給同學們成績的資訊與評語,還提供優良的作業給同學們做參考,此外同學們還可 以看每一個作業,以及其他人對那作業的評語。最後,我們還在最後計算分數時候加重後面幾個 Round 的比重, 用以刺激同學進步。

在當初分配評分者的時候我們採用的是亂數的方式來分配,並盡量讓每一個份作業能讓不同的人來評分,主要為 了是評分的公平性。但是我們卻發現這樣沒有辦法監督同學是否在每一個Round都有進步,於是我們提出了兩種 監督同學們的作業持續進步的方法:

重視評分工作

為了要有持續的進步,我們必需要求同學重視評分的工作,因為如果每個人都不重視,只是草草給一個分數,這 樣就少掉修改的建議。所以我們建立一種回應評分的機制,每當同學們得閱讀同學們給他的評分與建議時,我們 提供一個簡單的選項供作者對每項建議再做回應,同學可以反應這建議是不是很有價值,而我們會替提供有價值 的評分者加分,評分者為了要得到作者好的反應,他必需要更加重視評分的工作,仔細找出作業的缺失以及待改 進的地方。





三、系統設計

基本架構

圖二、作業相互評量系統系統架構

整個系統的架構設計大致如圖二所示,整個系統 是架構在一個 IBM RS6000 的工作站上面,使用 者透過 WWW Browser 來與我們的網站相連。所 有從功課的指派到作業的評分均是透過 WWW 來 完成。系統透過 CGI 程式存取 DBMS 上的資料來 達成系統的所有的功能,因為我們接受同學直接 從線上繳交作業。且作業的格式均為 HTML 的格 式的數個檔案,所以系統將其作業直接放在 FileSystem 中. 以便透過 Web Server 讓這份作業在網路上閱讀。

網頁架構

在當初系統設計的重要原則有兩點:

基於以上兩點原則我們設計了如圖三的網頁架構。

圖三、作業相互評量系統網頁架構

系統管理者透過『系統管理』的網頁能夠建立一個新的課程,而當新的課程被建立後,系統將會利用該課程的ID 自動的建立一個目錄,自動產生相關網頁,並且將一些程式連結至新的目錄之中,這樣的做法好處是能讓每個課 程獨立的運作,能有一個自己專屬的URL,同時產生出來的網頁我們也採用Template的方式處理,教師可以依需 求將一些部份做修改。

課程的老師與助教可以透過『課程管理』的網頁管理這個課程,包括修課同學資料、課程作業的指定、評分工作 的分配、進行評分、或是觀看同學們的作業與評分結果。

修課同學可透過『課程資訊中心』來繳交作業、修改作業、評分、或是觀看其他同學們的作業。

而當同學們繳交一份作業時,系統將會提供一個流水號碼,並建立一個目錄,將同學們上傳的作業放置在該目錄 中,而一但系統進行每個 Round 的評分前,系統也將會把整份作業複製到另一個目錄中,以便進行每一個 Round 作業修改的追蹤。

繳交作業

我們要求使用者的作業是採用 HTML 的格式,是為了要方便未來依然能夠透過WWW來存取作業。原先我們的想 法是要同學將其作業完成後放到自己的網頁上後在繳交時給我們一個 URL 即可,但是為了要維護評分作業的公 平性,確保評分者不知道作業的作者,所以我們要求同學將所有的作業放在我們的網站上。

我們設計一個 CGI 程式讓使用者能夠直接透過其 Web Browser 將作業上傳到我們網站中。但是有些時候,作業並 不光是只有文字,或是還有圖片或是相關的檔案,於是一份作業可能會有不只一個檔案,所以我們替每一份作業 提供一個目錄,使用者可以上傳多個檔案至這個目錄中,自行去透過html tag 做鏈結,在繳交後並要指定一個檔 案做為這份作業的首頁供我們做連接。

系統安全與存取控制

當同學們在看別人的作業或是進行評分的工作時,這系統注意到每一個細節,不會讓同學們得到任何關於作者與 評分者間的資訊,這樣的目的是避免在整個評分過程中同學有情緒化的反應。

整套系統的每一個課程目錄都透過 Web Server 與Browser直接進行使用者的確認與管理,這樣比許多透過Form來傳 使用者帳號密碼的方式來得安全且保密多了,每一個課程的的每一個使用者都會收到一個存取 Web Server 的帳號 的密碼,透過這帳號,我們可以知道每次存取資料的使用者是誰。並依據該使用者的身份,在每一個動作前程式 會做再一次的確認,以確保系統的安全以及評分的公平性。





四、系統實驗

這套系統在八十六學年度下學期於國立交通大學資訊科學系實際運作了兩個課程:作業系統與網路程式規劃,分 別有約有 150 人與 100 人修習,我們考量同學們的負擔,每份作業進行三個回合的評分,每份作業在評分時分配 給十個評分者。此外每份作業成績我們取最高分的回合和第三個回合的平均,用來強調持續的進步並給同學一些 失誤的空間。

這系統在運作期間能夠發揮預期的功能,借由相互的評量來達成相互的學習。最明顯的例子發生在作業系統的一 次作業中,這一份作業難度較高,許多人無法在第一個回合中完成,或是做出較好的作業,但是經過二三個回合 後,我們發現同學們都夠經由討論與參考別人的作業而完成老師的要求,同時內容品質與過去單純繳交作業的方 法比較有顯助的進步。而且老師給同學自己決定作業名稱的方式,讓同學不會因為參考別人的作業而有抄襲的現 象。

由於當初整個系統的設計是著眼於相互的學習,但對學生來說,分數也是一個重要的一環,而當老師們在替同學 們計算分數時問題就出現了,最大的問題就在於公平性。在傳統的作業評分中,由同一人來對所有作業做評量, 所以在評分時的標準較容易控制。而在這相互評分的系統中,每個人有自己的標準,很難說出誰的標準是正確 的。且我們只有選擇部份同學來評一份作業,因為不可能要求每一個同學替所有同學都評一次分數,所以每份作 業的評分者並不相同,故相同的分數很難代表相同的水準。一般來說最簡單的做法是直接對成績做一般化,但這 種方法確很不合適,因為所有的統計我們都只看到一部份人的結果。

除此之外,還有同學可能會為了讓自己獲得較高的分數,而給其他同學較低的分數,因為在一個相對分數的計算 模式上別人的分數越低,對自己而言就分數就相對的提高了,於是我們設計了一連串的方式來求出更公平的成 績:





五、實驗結果

這套系統經一個學期兩門課程的試用後,我們想要知道同學們有什麼學習成果? 以及同學間相互評量別人作業的方式,是不是適當的評分方式?

學期末我們請143位參與的學生給這套同儕互評系統一些意見,很明顯的,同學大多表示這套系統對於他們的學習很有幫助。他們認為這種學習方式能增進學習興趣,並且因為進行評審,額外有機會觀摩同學們的作業,學習到許多由別人花心血所整理的學習資料(試題說明、解題方式),整體而言,是一個很不錯的學習方式。

但是也有少部份人對於同學評分的公平性有質疑,認為其比重不應超過老師給分。同學相互評分是不是一種適當的評量方式?任課老師與助教分別對學生參與互評的認真程度加以評分,形成同儕互評[評審用心度]的分數,每位學生受到其他同學的評分是為期末考題網頁設計作業[接受評審]的成績,期末考的一部份真的以學生所提的優良考題為題目,因而有[期末考成績]。統計的結果是:

個人[評審用心度]與期末考題網頁設計作業[接受他人評審]的成績,在排除[期末考成績]的影響力後,仍有非常顯著的正向淨相關(R = 0.3232,P < .01),顯示同儕互評中審查他人的投入度愈高,則別人審查自己作品的成績也愈高。

[評審用心度]與[期末考成績],在排除[接受評審]的成績影響力後,其正向的淨相關達顯著水準(R = 0.1578,P < .05),顯示審查他人的投入度愈高,則期末考成績也愈高。

至於[接受評審]與[期末考成績],在排除[評審用心度]的影響力後,也仍有非常顯著的正向淨相關(R = 0.3168,P <.01),顯示別人審查自己作品的成績愈高,則期末考成績也愈高。

圖四、各成績相互關係

總之,我們發現同儕互評中對他人審查的用心程度與同儕互評的作品得分,對期末考成績而言都是良好的預測指標,如果我們承認期末考分數能顯示學生所學得的能力,則同學互評應是適當的評量方式。





六、討論與未來的工作

透過這套系統我們可以使用相互評分的方式來提高作業的學習效果,尤其對於那些討論型的作業,除此之外透過 同學評分的用心程度,我們也可以多一項客觀的課程評分方法。然而我們知道現在這套系統設計屬於單向的由評 分者給作者建議,我們希望能夠透過一些方式來達成雙向的討論。

這個系統現在必需要求學生以 HTML 的方式繳交作業,同學們必需要有使用HTML 的能力,如果遇到非資訊科學 系的學生,可能就不太適合這套系統,因此,我們必需要嘗試設計一些程式來幫助這些同學免除使用上的困擾。

並且如果我們能夠把這套系統和一些 Web 上的討論系統、課程教材系統等結合,這樣子無論是做遠距教學,或 是做為對課堂教學的幫助,都將對現有的教育方式有很大的衝擊。





七、參考資料

[1]Yuan, Shyan-Ming (1998). the Dscussion Evironment of WWW-based Distant Cooperative Learning,‘98 Chinese Network Education Conference.

[2]Chen, Bi-Horng (1997). Albatross 2 : WWW-based , Cross-platform Cooperative Distance learning System, A thesis for Degree of Master in Computer and Information Science, NCTU, Taiwan.

[3]Wu, Cho-Yu. (1997). A New Constructivism-based pedagogical Strategy : Lerning by Judging, A thesis for Degree of Master in Computer and Information Science, NCTU, Taiwan.

[4]Word Wide Web Consortium. W3C Sercurity Resource, http://www.w3c.org/Security/

[5]The Apache Project. The Apache Server Documentation, http://www.apache.org/docs/