回饋式動態視訊資料同步存取技術之研究





陳郁堂、臺彥博、游順發

國立臺灣科技大學電子工程系
台北市基隆路四段43號
TEL: (02) 27333141 EXT. 6420
EMAIL:ytchen@et.ntust.edu.tw, foxboy1@ms24.hinet.net

摘要

        網路技術一日千里,在網路上傳送多媒體資料已成為重要趨勢,然而多媒體資料有時效性且資料量大。在現有網路環境下無法得到品質保証的服務,根據網路的負載來動態調整資料播放量,漸被公認為可行的方式。本篇論文在探討如何根據網路狀態動態調整資料傳送量的方式來設計與建構分散式多媒體播放系統。以往研究對動態調整條件採用經驗值,我們提出四種方法,並在台灣學術網路上測試其對於影片播放所產生的影響。





一.研究動機

        近年來隨著高速網路的迅速發展,影像壓縮技術的進步,在網路上傳送多媒體資料已成重要趨勢。然而多媒體資料不同於傳統資料,資料量不但大而且有時效性。在網路負載輕時,服務品質也許可為使用者接受;一旦網路負載重,發生資料壅塞現象,多媒體資料的流暢性與服務品質便面臨考驗。

        在現有網路上傳送多媒體資料,因網路壅塞產生下列的情形:

     1.傳送失去時效的資料:多媒體資料在網路上傳送,常因網路上的延遲(Delay) 而使傳送的資料失去時效性,無法在接收端正常播放。

     2  網路的負載過量:多媒體資料量大,需要較大的網路頻寬。現有網路頻寬有限,易造成網路壅塞,而使多媒體資料在網路上的延遲無法控制。

     3  純粹使用TCP/UDP來傳送多媒體資料並不恰當:TCP通訊協定利用接收端Ack訊息與資料重送來保証資料正確傳送。然而多媒體資料具有容錯性,即使失掉部份的封包,並不影響多媒體資料播放;資料重送可能造成後續資料失去時效性。單純的使用UDP通信協定缺乏互動訊息,無法依網路對資料量作適當的增減量。

     4   畫面不規則的刪除:因為網路的壅塞使得傳送到來的資料不符合及時性,而為播放器自動刪除。然而視訊資料經壓縮處理後畫面間有參考關係,不規則的刪除,會造成後續參考關係畫面無法播放。

        本論文的目的在探討如何在現有網路依使用狀態,以回饋方式,動態調整資料傳送量。在以往研究中,資料的調整條件往往由經驗值決定,我們提出四種系統化方法,並對於影片播放所產生的影響進行分析。





二.動態調整演算法

     一般回饋式動態調整演算法的進行步驟如下:

1. 接收端從收到的資料計算適當網路參數來進行調整條件比對。

2. 接收端判斷如果符合調整條件,傳送回饋訊息回伺服器端並執行步驟三;不符合調整條件繼續執行步驟一。

3. 伺服器端接收到回饋訊息,依資料調整方法改變資料傳送量。

4. 接收端檢測傳送過來的資料是否經過調整。若資料經過調整,回到步驟一,如資料未經調整下一週期仍執行第四步驟。

 由上述動態調整演算法的核心部份:調整條件、回饋訊息的反應時間、資料調整的方法作探討。





2.1資料調整的方法

        MPEG的影片主要由畫面I、畫面P和畫面B三種不同的畫面所構成。解碼時畫面I可以獨立解碼不需要參考到其他畫面;畫面P在解碼時需要參考前一個畫面I或是畫面P,畫面B在解碼的時候則需要參考前面一個畫面I或是畫面P和後面一個畫面I或是畫面P。所以任意的刪除畫面可能會破壞畫面彼此間的參考關係,造成不能播放的現象。

        資料調整方法的主要功能是依網路狀況調整視訊資料傳輸量,以降低網路壅塞。畫面型態(frame pattern)設計的原則,在使每個接收到的畫面都能被有效播放,所以要保存畫面間的相互參考關係,而不同畫面型態具有不同資料量與視覺效果。Haakon Bryhni [4]提出對重要的畫面應保存到最後,對較不重要的畫面P、B先作刪除的動作,再配合上畫面播放時的連續性設計出圖1的這些畫面型態(frame pattern)。

2.2調整條件

        調整條件(Adaptive Condition)是指以網路參數來代表網路狀態,當網路參數高於(或低於)臨界值時,動態調整演算法開始調整資料傳送率。





2.2.1刪除比例法

       本法以畫面刪除比例來代表網路狀態, 刪除比例(Drop Rate)是以播出的畫面數目與實際上收到畫面數目的比值。因為視訊資料是以畫面為單位,在接收端常將失去時效的畫面自動刪除並不播放。當刪除比例(Drop Rate)一旦高於一個上限表示網路發生擁塞,必須調降資料傳送率。反之,若刪除比例低於一個下限的情形,可以表示網路的情形相當良好,可調高資料傳送率提供給使用者更好的品質。經過多次的實驗將刪除比例的上限設為10%,下限設為0%。





2.2.2有效頻寬比例法與預測有效頻寬比例法

        有效頻寬比例是以播放出影片的資料量與接收到影片的資料量的比值,以了解接收資料的有效使用率。利用有效頻寬比例作為網路參數,一旦有效頻寬比例超出高低門檻值,顯示網路狀態改變需調整資料傳送率。我們提出兩種方法來決定高低門檻值:第一種經由經驗得到的一個高低門檻值(threshold),第二種用畫面的平均大小來計算門檻值。

        第一種方式經由不斷的測試量出來高低門檻值,當低於特定的值如70%,有效頻寬比例就必須要做減量,當等於100%則做增量處理。我們稱此為有效頻寬比例法。第二種方式稱為預測有效頻寬比例法,根據不同型態畫面的平均大小來作估算。每部經壓縮處理後的影片都由固定的畫面型態組成,我們利用不同畫面型態來改變資料傳送率。利用兩個資料量相鄰的畫面型態,配合每種畫面大小我們來計算門檻值,比第一種方式提供較大的彈性。

        假設Pattern 1與Pattern 2是資料量相鄰的兩個畫面型態(Frame pattern),且Pattern 2資料傳送率大於Pattern 1,視訊資料由Pattern 2變為Pattern 1的臨界門檻值可以下式代表:

3-1式

:代表在一個型態(pattern)中,從畫面I到下一個畫面I,中間有幾個畫面I。一般只計算開始的畫面I,所以為1。

:代表畫面I的平均大小,以Byte為單位。

:代表在型態i(pattern)從畫面I到下一個畫面I中,在這中間有幾個畫面P的數目。

:代表畫面P的平均大小,以Byte為單位。

:代表型態i(pattern)中從畫面I到下一個畫面I出現,在這中間有幾個畫面B的數目。

:代表畫面B的平均大小,以Byte為單位。

:表示使用各種畫面保留的比例,其值介於1到0之間。

        影片由型態I B B P B B P B B P B B所組成,已知畫面I的平均大小是1493、畫面P的平均大小是1021、畫面B的平均大小是310。從全部播出畫面型態調整到刪除二分之一畫面B畫面型態的調整門檻可由下式計算後得到

        圖2表示不同畫面型態調整時的門檻值。我們發現求出調降的有效頻寬比例跟實際上量測出來的比例是非常相近地。





2.2.3加權刪除比例法

      在每種畫面型態不同畫面有不同的加權數,經動態壓縮後,每一種畫面可影響的畫面數目為其加權數。

        以圖3中型態I B B P B B P B B P B B I為例,每個畫面的基本數都是1,再加上影響的畫面數就是加權數。首先討論畫面B,畫面B的播放只會影響到畫面B本身所以加權數為1,而畫面P會因位置不同影響的畫面數目也會不同,因此以所有畫面P會影響畫面的總和加總起來再作平均。畫面I一旦不能播出所要參考到它的P、B畫面都不能播出,把這些畫面全部加總起來就是畫面I的加權數。圖4列出各種不同畫面型態中各種畫面的加權數,分別代表畫面B、畫面P和畫面I的加權數。

       

所謂加權刪除比例法就是每一個週期求出刪除畫面乘上加權數和這個週期所有接收畫面(包括實際播放的畫面和遭到刪除的畫面)乘上加權數相比。如果計算的值大於門檻值就進行傳送率調整。每個週期進行門檻值的計算,門檻值是以現在播放的畫面型態和要調降的畫面型態之間的畫面差乘上加權數再和這個週期所有接收畫面乘上加權數相比較,在圖3影片播放由 Pattern 1,降到Pattern 2的最低門檻下限為二分之一的畫面B。求門檻的式子如下所列:

3-2式

:代表在這個週期中所收到的畫面I個數。

:代表畫面I的加權數。

:代表在這個週期中所收到的畫面P個數。

:代表畫面P的加權數。

:代表在這個週期中所收到的畫面B個數。

:代表畫面B的加權數。





2.3回饋訊息的反應時間

        所謂回饋訊息的反應時間指由客戶端發出調整畫面型態的需求,到伺服器端將調整後畫面型態的第一筆比資料送達所需要的時間。回饋訊息反應時間的重要性在於提供一個合理的時間,在這個時間內不使用調整條件來判斷是否需要調整畫面型態。這樣可以避免動態調整條件把上一個畫面型態在網路上尚未送達的資料當成判斷的標準造成不適當的調整畫面型態。

        第一次作資料減量時,伺服器端刪除所有的畫面B,如果客戶端收到的畫面型態不再有任何畫面B時表示下一個畫面型態的資料已經發生作用了。我們將這段時間記錄下來,以後再作資料的增減時只要將當時的到達間隔時間(Interarrival Time)和第一次的到達間隔時間相比,再乘上第一次所花費的回饋訊息反應時間,就可以求出適合這次的回饋訊息反應時間。

詳細的操作步驟如下:

1.判斷是否是第一次作調整畫面型態,條件成立進行第二步驟。條件不成立執行第四步驟。

2. 記錄調整畫面型態指令所經過的時間,和這段時間中的平均到達間隔時間。

3. 判斷是否收到畫面B,條件成立第一次調整畫面型態週期結束。

4. 根據這次週期的平均到達間隔時間,和第一次的平均到達間隔時間預測這次回饋訊息反應時間。預測這次回饋訊息反應時間的式子如下:

:第一次客戶端發出調整畫面型態的需求,到伺服器端將調整後畫面型態的第一筆比資料送達所花費的時間。

:第一次的平均間隔時間。

:發出調整畫面型態需求的第k週期的平均到達間隔時間。

5. 判斷預測回饋訊息反應時間是否小於發出調整畫面型態需求後所經過的時間。條件成立回饋訊息反應週期結束。

        因為畫面B的分佈最廣所以一收到畫面型態馬上可以確定是否畫面型態已經有改變,而且畫面B不會影響其他畫面的播出,且資料量最小,在視覺上的影響也最小。因此使用畫面B來測量回饋訊息反應時間。





三實驗結果

         我們以U.C. Berkeley發展的Continous Media Toolkit[5]來建構視訊資料動態傳輸系統。並在台灣學術網路上實際測試,下面我們對實驗結果進行探討。

        圖五與圖六為傳統傳送方法與使用動態調整的比較,我們可以發現,平均每週期播放畫面I的數量,採用動態調整處理的播放系統較採用傳統傳送方式播放畫面I的數量為多。在視覺效果上,做過動態調整的播放器播放的影片比較不清晰,但是在連續性上較佳。犧牲影片的清晰度去改善畫面會不規則的刪除。並提高資料的使用率,減輕網路的負載。



        對四種不同動態調整方法進行實驗,由圖7、8、9、10與11中可以歸納出下列結果:

1.  調整條件的靈敏度: 整體來看,以加權刪除比例法的靈敏度最高,但是這種方法有較嚴重的震盪現象。預測有效頻寬法的靈敏度僅次於加權刪除比例法,這個方法的優點在於他沒有震盪的現象。刪除比例法的靈敏度表現也不錯,但是他最大的問題在於他不能提供一個穩定的目標播放率。有效頻寬比例法的靈敏度不但不好,決定出來的目標播放率跟適當的目標播放率有一段落差。

2.  影片播放的品質:影片在播放時,品質最好能保持一定的服務。服務品質過高或是過低的變化,都會造成使用者不易接受。 加權刪除比例法的影片播放率高,而且具有最佳的穩定性。刪除比例法的播放率與穩定性都不好,跟刪除比例法決定出來的目標播放率太高或太低有很大的關係。有效頻寬比例法與預測有效頻寬比例法的播放率雖然不錯,但是有穩定性不佳的缺點。










四.結論

        現有網路的環境無法對多媒體資料保證服務品質。然而在現有網路上傳送多媒體資料有其迫切需要。根據網路負載動態調整服務品質是逐漸採用的趨勢。調整條件又是整個動態調整演算法的核心。本論文中我們提出四種不同的方法,來建構動態調整演算法。

        我們採用Berkeley發展的Coutinous Media Toolkit來建構動態演算法,並在台灣學術網路上測試效能。在實驗當中,我們發現動態演算法具有下列幾項優點:


1. 減少失去時效資料的傳送
2. 減輕網路的負擔
3. 網路傳送資料時提供互動的訊息
4. 減少畫面不規則的刪除

        在各種不同的調整條件中,我們可發現:1. 動態的調整條件比靜態的調整條件更能反應網路的負載。2. 對不同類型畫面給予相對應的加權數可以適當反應網路的負載。3. 結合加權數和畫面型態設計出來的調整條件可有效決定資料調整的臨界門檻,而不須使用經驗值。



參考文獻

[1]Shanwei Cen, Calton Pu, Richard Staehli, Crispin Cowan and Jonathan Walpole. “A Distributed Real-Time MPEG Video Audio Player”. In Proceedings of NOSSDAV’95. April 18-21,1995.

[2]Lawrence A. Rowe, Ketan D. Patel, Brian C Smith, and Kim Liu. “MPEG Video in Software: Representation,Transmission, and Playback. In Proceedings of IS&T/SPIE 1994 Int'l Symp. on Elec. Imaging: Science and Technology, San Jose, CA, February 1994.

[3]Zhigang Chen, See-Mong Tan, Roy H. Campbell and Yongcheng Li. “Real Time Video and Audio in the World Wide Wed”.

[4]Haakon Bryhni, Hilde Lovett, Erling maartmann-Moe, Dag Solvoll and Tryggve Sorensen. “On-demand Regional Television over the Internet”. In ACM Multimedia 96, pages 99-107.

[5]World Wide Wed of CM Toolkit http://bmrc.berkeley.edu/projects/cmt.