壹 前言
數位化時代的來臨使得視訊成為人們日常生活中不可或缺的一部分,後COVID-19時代的工作模式遠距化更是促進影像通訊需求有了爆炸性的增長,隨著數位影像的大量生成和傳輸,影像壓縮技術的日益重要,高效率的影像壓縮技術節省了網路傳輸頻寬和存儲空間,同時也確保視訊和圖像的品質。這使得影像壓縮技術在視訊通話、數位電視、影像串流、遠距教育、視訊會議、遠端協作等領域發揮著關鍵作用。為了滿足此一需求,影像壓縮技術一直在不斷發展。國際電信聯盟電信標準化部門(ITU-T)及國際標準組織/國際電工委員會(ISO/IEC) 這兩大組織也致力於影像壓縮標準的制定,為影像相關產業的蓬勃發展定下基礎。而在2020年4月通過的新一代影像壓縮標準H.266/VVC(Versatile Video Coding),成為了近年來影像編碼技術的一個重大突破。本文將著重於影像壓縮標準的演進,以及標準制定之後的業界發展現況作介紹,以期能夠為讀者拓展H.266/VVC最新進展的視野。
貳 科技發展現況
一、 H.266/VVC簡介
VVC的全名是Versatile Video coding(多功能影像編碼),是目前最新的國際影像壓縮標準,在影像資料的壓縮率比上一代標準H.265/HEVC提升了2倍,即相同的影像品質之下bit rate減少約50%,此外,H.266/VCC的標準中描述了針對多種特性的影像來源資料以及影像應用的編碼格式及解碼方式,因此取名為多功能影像編碼。
國際電信聯盟電信標準化部門(ITU-T)及國際標準組織/國際電工委員會(ISO/IEC) 這兩大國際標準制定組織不斷在尋求更高效的未來影像編解碼器,在完成上一代標準H.265制定之後,便開始積極尋求新一代的影像編解碼器,考慮目前數位影像的應用領域愈來愈廣,因此除了增進原有應用領域的效能,也進一步針對不同影像特性的應用領域進行影像壓縮最佳化技術的探索。過去的Video codec標準大多指向自然景象的影像壓縮, 而新一代影像壓縮標準的目標來源影像則朝向更多面向的數位影像應用,如具有超高畫質(Ultra High Definition,UHD)、高動態範圍(High Dynamic Range,HDR)、廣色域(Wide Color Gamut,WCG)特性的影像、由電腦生成的螢幕影像(遠距敎學、遊戲直播影像)、360沉浸式影像內容等等多樣性的影像應用。在這樣的背景下,ITU-T的視訊編碼專家小組(Video Coding Expert Group,VCEG)和ISO/IEC的動態影像專家小組(Motion Picture Expert Group,MPEG)共同組成聯合視訊探索小組(Joint Video Explore Team,JVET),在2015年開始探索提升影像壓縮編解碼器效能的可行性,經過一段時間努力之後,確定可提升約30%的壓縮率,更名為聯合影像專家小組(Joint Video Expert Team,JVET),並在2018年向各界發出共同發展新一代影像壓縮標準的邀請,針對各界對新標準的提案進行探討和驗證,最終在2020年08月29日通過第一版名為H.266/VVC的新標準,並在2022年04月29日通過第二版標準的修定。
二、 影像壓縮標準的發展
約從1984年起,ITU-T(國際電信聯盟電信標準化部門)和ISO/IEC(國際標準組織/國際電工委員會)都在發展影像壓縮技術和標準,分別專注於制定與電信和多媒體相關的標準。ITU-T是電信領域標準組織,致力於制定與電信網路和通信技術相關的標準,其中包含的影像和視訊壓縮標準主要針對電信產業的需求,例如視訊會議、網路傳輸和廣播等應用,由ITU-T的影像編碼專家組(Video Coding Expert Group,VCEG)負責制定。而ISO/IEC則是國際性的標準組織,目前共有117個成員,來自不同國家和地區,負責制定各種領域的標準,廣泛應用於各個行業,包括製造、服務、技術和創新等,其中包含的多媒體相關產業的影像壓縮相關標準主要由ISO/IEC底下的動態影像專家小組(Motion Picture Expert Group,MPEG)負責制定。由於電信和多媒體領域的交叉性質,影像壓縮技術和標準涉及到多個領域和利益相關者,因此,在各自發展一段時間後,ITU-T和ISO/IEC開始進行合作,以確保標準的協調和一致性。合作結果所制定的標準文件內容基本一致,只有名字不同。例如ITU-T的H.262標準即為ISO/IEC的MPEG-2標準、H.264即為MPEG-4 Part 10/AVC,H.265即為MPEG-H/HEVC, H.266即為VVC (如圖1所示) 。
透過國際電信聯盟電信標準化部門(ITU-T)的努力,影像壓縮技術在電信網路應用中持續發展。從H.261、H.262/MPEG-2、H.263、H.263+、H.263++等標準的制定開始,影像壓縮技術從有線電信網路環境(如ISDN、T1/E1、PSTN)進化到包括行動無線網路、區域網路和網際網路等各種網路環境。這一過程中,專業人士不斷提出改善解決方案,如最大化編碼效率、處理不同網路環境特性和特有格式封裝、容錯能力等議題,並取得持續改進[1]。 在1998年初,ITU-T VCEG開始制定名為H.26L(L代表長期)的影像壓縮標準,旨在改進同時期存在的所有影像壓縮標準,目標是提升2倍以上的壓縮率(即相同的影像品質之下bit rate減少50%),H.26L發展到後來成為了今日應用最廣泛和支援度最高的H.264/AVC影像壓縮標準。此後,新一代影像壓縮標準的制定,都朝著超越現有標準2倍以上壓縮率的目標發展。例如H.264/AVC的下一代標準H.265/HEVC也提升了2倍壓縮率。
2015年,ITU-T和ISO/IEC開始針對H.265/HEVC後的下一代影像壓縮標準進行探索,初步達成了34%影像壓縮率的提升[2],2017年,ITU和ISO開始了H.266/VVC標準的制定工作,並邀請了來自多個國家和組織的專家參與。隨著時間的推移,參與標準制定的專家們進行了大量的研究和試驗,以確定新標準的技術特點和優勢。最終,在2020年7月,H.266/VVC標準正式發布,成為下一代影像壓縮的基礎。H.266/VVC採用了許多先進的影像壓縮技術來實現更高的影像壓縮率,例如更靈活的區塊切割、更精細的預測模式、更有效的變換和量化、更強大的熵編碼等,使得它能夠適應各種不同的應用場景,如4K、8K、360度、HDR等,這也是H.266的別名取為Versatile Video Codec(VVC)的由來。而VVC的第2版標準也在29 April 2022修定完成,第3版的修訂也由JVET討論當中。
三、 參與國家和組織
H.266/VVC的開發有賴於眾多國家和組織的合作。ITU和ISO/IEC國際標準組織,負責統籌和制定H.266/VVC的標準。另外,來自各個國家的專家和研究機構也參與了H.266/VVC的研發和實踐工作。包括德國、美國、中國、法國、日本、及台灣等等都有公司或研究機構在技術研究和實際應用方面提供了重要的支持和貢獻。在德國專利分析公司IPlytics 於2021年3月的報告(如圖2所示)可看出不同國家均有公司在發展H.266/VVC相關技術和專利,其中包含了高通(美國)、華為(中國)、夏普(日本)、弗勞恩霍夫爾協會Fraunhofer HHI (德國)等,台灣在H.266/VVC相關專利申請數量則以聯發科居於領先地位。[3]
四、 專利整合現況
借鑑上一代影像壓縮標準HEVC專利許可的混亂局面,為避免採用VVC的企業遭遇到和採用HEVC時一樣可能被收取多次權利金的局面,開放產業論壇Media Coding Industry Forum(MC-IF)提出整合VVC標準必要專利(Standard Essential Patents, SEP)專利池(Patent Pool)的概念[5],舉辦名為VVC Pool Fostering的活動,向可能成為VVC標準必要專利的各大企業、組織、研究單位等提出邀約共同商討整合的可能性,共邀49家不同單位參與,在經歷了7次線上會議討論,最終從4家候選組織中選出2家作為VVC專利池的未來管理單位,以繼續進行專利池整合的工作,並在2021/1/17公佈結果。
被推選出的這2家未來專利池的管理組織分別為Access Advance和MPEG-LA,以2家組織公佈的新聞資料來看,在MC-IF開始進行專利池整合前,Access Advance已先行公開要成立VVC專利池的消息,MPEG-LA也有成立自家的專利池,2家都有推出標準相關Patent Portfolio License(即把多個VCC專利透過特殊規則打包成獨立商品並以包裏授權契約方式進行交易),目前為止加入Access Advance公司相對較多。
然而在MC-IF宣佈完成初階整合專利池工作,並交由MPEG-LA及Access Advance之後,2家組織都沒有進一步整合專利池的新聞發佈,目前看似各自發展當中,並各自推出不同條件的專利授權金折扣方案[6][7],以吸引專利持有者或專利實作者的加入,MPEG-LA在2023年5月2日更是發佈與另一家專利池組織 Via Licensing 合併為 VIA-LA的消息[8]。但值得注意的是,2家組織都沒有吸引到重量級的專利持有公司的關注,如高通、華為以及包含台灣的聯發科都沒有加入這2家的專利池。
五、 相關產業發展現況
在2020年第一版VVC標準制定完成時,VVC的bitstream格式底定,但與VVC相關的網路串流標準及媒體檔案格式標準等尚待制定,但在一份最新JVET的會議文件[9]中,統整了2023年4月前業界應用VVC標準的最新發展狀況,其中提到IETF已制定VVC相關的RTP串流封包格式,ISO/IEC也在ISOBMFF為基礎的檔案格式標準[10]中納入了VVC bitstream data儲存格式(包含mp4、DASH等檔案格式),因此VVC串流服務基礎標準格式制定工作也大抵完成,各大網路影音串流平台市場上正式支援標準VVC影像串流指日可待。
多家公司及研究機構投入VVC軟體驗證工具(VVC Test Model, VTM)的開發,包含了JVET、InterDesign、Fraunhofer HHI、Friedrich-Alexander University、Bitmovin,為VVC發展生態定下發展基礎。Fraunhofer HHI更是將其開發的編解碼器VVenC和VVdeC開放源始碼,並持續完善標準profile的支援及效能改善。
在商用VVC軟體解碼器的發展上,Sharp公司開發的VVC decoder已應用在日本ArstroDesign公司設計的SP-5202 VVC Viewer;中國騰訊科技有O266dec、阿里巴巴集團的Ali266已應用在旗下公司優酷的商用影音串流服務中、快手科技有K266Dec、字節跳動科技有BVC decoder;德國公司Spin Digital[11]開發的VVC 8K real-time software decoder應用在自家產品Spin Player VVC上。
在VVC硬體decoder晶片和電視的發展上,聯發科技公司[12]在2021年11月後陸續發表3款不同等級的VVC解碼電視晶片(Pentonic 2000、Pentonic 700、Pentonic 1000),而Philips及Sony都發表將搭載前述聯發科晶片的電視產品,以支援最新標準VVC,並預期在2023年度推出。Philips更明確宣告將推出使用Pentonic 1000晶片的4K Philips OLED電視產品。另外,Realtek在2022年8月發表機上盒專用RTD1319D SoC 支援4K解析度的VVC影像。在JVET的報告中,也提及在2023年1月後LG陸續釋出即將在其電視產品線中支援VVC。2023年3月的新聞消息中提到中國芯原科技研發的硬體解碼器Hantro VC9000D支援8K@120FPS VVC/H.266,也已向客戶交付[13]。
在服務及encoder方面,則有美國公司Bitmovin和德國研究組織Fraunhofer HHI協力發表的影像壓縮平台及下一代VOD encoder;德國軟體公司Spin Digital開發了即時超高畫質串流及廣播服務,支援了HLS、DASH及RTP等串流服務;另一家德國軟體公司MainConcept開發了real-time VVC encoder及SDK (8k 10-bit)相關軟體產品;日本KDDI Research自行研發 real-time VVC encoder;法國軟體公司Ateme在Titan系列產品中支援VVC;中國有字節跳動公司開發的BVC encoder、阿里巴巴有Ali266 encoder、騰訊公佈RT-ONE transcoding及相關媒體處理應用將支援VVC;印度公司Times Internet的OTT串流服務MX Player及社群短影音服務MX TakaTak都規畫即將支援VVC。
串流分析服務bitstream analyzer主要功能是在協助encoder產品開發商確保在壓縮影像的同時也能保證影像品質,此類產品相關開發商Elecard、ViCueSoft也在2020年4月左右開始支援VVC 的bitstream分析功能[9]、Jongbel Media Solutions、Interra Systems也分別在2022年及2023年推出相關服務。
參 結論
影視應用相關產業各大企業及公司都積極對最新影像壓縮標準VVC進行投資、研發及相關佈局等工作,日本佳能(Canon)公司採取在法國成立研究中心[14]的方式直接在當地延攬專業人才,在VVC標準製定初期,即參與VVC的相關研究進行技術研發,和佳能歐洲智財部門合作以取得專利;另外,美國Apple公司也在2021年透過向韓國公司XRIS[15]購買14項VVC相關專利權的方式,進行VVC相關專利佈局;中國的騰訊公司也在VVC標準制定前,即延攬曾在美國高通公司工作經驗的人才[16],專責研發VVC相關專利。綜上所述,即使有專利池整合相關議題存在,影像相關產業的各大公司仍是相當重視,而VVC挾帶著壓縮率超越前代標準50%的優點與支援UHD、HDR、廣色域、360度沈浸式影像多面向應用的強大優勢,其發展前景仍是相當令人期待,而未來的影音應用市場VVC必將佔有不可取代的地位。中華電信也將持續關注H.266/VVC的最新發展,以期未來將應用最新科技標準整合至各相關服務應用,為客戶帶來更順暢的高品質影音體驗。
肆 參考文獻
[1] T. Wiegand, G. J. Sullivan, G. Bjontegaard and A. Luthra, "Overview of the H.264/AVC video coding standard," in IEEE Transactions on Circuits and Systems for Video Technology, vol. 13, no. 7, pp. 560-576, July 2003, doi: 10.1109/TCSVT.2003.815165.
[2] Gary Sullivan,"Versatile Video Coding (VVC) Delivers: Coding Efficiency and Beyond",in 2021 Data Compression Conference (DCC),2021/03/25,Available at:https://www.cs.brandeis.edu/~dcc/Programs/Program2021KeynoteSlides-Sullivan.pdf
[3] 呂嘉雄 專利師/博士,台一國際財產事務所&台一國際法律事務所,“ H.266/VVC概述、佈局啟發、台灣專利概況”,2023/03,Available at:https://www.taie.com.tw/tc/p4-publications-detail.asp?article_code=03&article_classify_sn=64&sn=2882
[4] “Who is leading the VVC technology race? A landscape analysis on standards contributions”,ipLytics,2021/03,Available at:https://www.iplytics.com/report/versatile-video-coding-technology-race/
[5]“VVC Pool Fostering Identifies Access Advance and MPEG LA as Possible Administrators to Take Forward Pool Formation Covering VVC-Essential Patents.”MC-IF, January 27, 2021, Available at: https://www.mc-if.org/blog/vvc-pool-fostering-identifies-access-advance-and-mpeg-la-as-possible-administrators/. Accessed 18 July 2023.
[6] Kilmer, Rachel. “Access Advance Launches VVC/H.266 Video Patent Pool.” Access Advance, 30 June 2021, Available at: https://accessadvance.com/2021/07/01/access-advance-launches-vvc-h-266-video-patent-pool/.
[7] Nair, Shiv. “MPEG LA Takes Measures to Assist VVC Adoption.” VIA-LA, 29 Mar. 2023, Available at: https://www.via-la.com/mpeg-la-takes-measures-to-assist-vvc-adoption/.
[8] Mehta, Rani. “Via Licensing Combines with MPEG LA.” ManagingIP, 2 May 2023, Available at: https://www.managingip.com/article/2blvv66hhham3if5y46io/via-licensing-combines-with-mpeg-la.
[9] Gary J. Sullivan. Deployment status of the VVC standard. [Online] Available at: https://jvet-experts.org/doc_end_user/documents/30_Antalya/wg11/JVET-AD0021-v7.zip. April, 2023.
[10] “ISO/IEC 14496-15:2022. Information technology — Coding of audio-visual objects — Part 15: Carriage of network abstraction layer (NAL) unit structured video in the ISO base media file format.” ISO, 11 Oct. 2022, Available at: https://www.iso.org/standard/83336.html
[11] spin digital,“The VVC/H.266 Standard”,2022,Available at:https://spin-digital.com/technology/vvc/
[12] 聯發科技新聞稿, "聯發科技發佈全新的 Pentonic 系列智慧電視平台 推出 Pentonic 2000 全力搶攻 8K 120Hz 旗艦電視市場", 2021 年 11 月 22 日,Available at:https://corp.mediatek.tw/news-events/press-releases/mediatek-announces-new-pentonic-smart-tv-family-with-new-pentonic-2000-for-flagship-8k-120hz-tvs,
[13] 中央社訊息,“芯原已向客戶交付支援8K@120FPS VVC/H.266的多格式視訊硬體解碼器Hantro VC9000D”,2023/03/15,Available at:https://www.cna.com.tw/postwrite/chi/336819
[14] Canon Inc.“キヤノンヨーロッパ 知財部門,” Interview - 23 August 2022, Available at:https://global.canon/ja/intellectual-property/hr/global/cel.html
[15] Nayak, Yogesh. “Apple Xris – Video Patents from Korean Research Entity.” TT CONSULTANTS, 2 Aug. 2022, Available at:https://ttconsultants.com/apple-xris-tt-consultants/.
[16] LiveVideoStack,“標準常有,VVC不常有”,2023-06-13,Available at:https://blog.51cto.com/u_13530535/6468885