●升級后的NDI 5相較于之前的NDI技術，您認為影響最深遠的是哪個方面？

對于NDI 5，首先，我認為最有深遠影響的改進之一就是對RUDP的支持?；蛘哒f，從NDI 5開始，NDI的傳輸方式發(fā)生了翻天覆地的變化。我們知道，在NDI 5之前，NDI默認采用的是multi-TCP的傳輸方式，也是官方最推薦的傳輸方式（雖然它也支持UDP和Multicast傳輸，但是這并不是官方推薦的，我們已知它們存在很多問題）。TCP的傳輸方式雖然可靠，但是它對網絡帶寬的利用效率是比較低的；這在無線網絡、Internet等傳輸穩(wěn)定性較差的環(huán)境下，TCP傳輸的效率是非常低的——這會帶來很多的問題，最典型的是傳輸的實時性會受到影響。

NDI 5引入了新的RUDP傳輸機制–QUIC。RUDP在傳輸穩(wěn)定性較差的網絡環(huán)境下，表現(xiàn)要優(yōu)于TCP——它基于UDP，所以它具備UDP的簡單、低延時等特點，又因為它采用了與TCP相似的擁塞控制/數據重傳機制，它又具備TCP一樣的傳輸可靠性。因此，這是一次具有革命性的改進。從直觀的感受上，我們會發(fā)現(xiàn)，采用RUDP傳輸的NDI SDK在傳輸上更穩(wěn)定、實時性更強了。

●升級后的NDI 5首次支持Apple系統(tǒng)，您認為這在NDI未來的應用上有何意義？

NDI 5真正做到了全平臺（Windows, Linux, MacOS, Android …）的統(tǒng)一和運行在不同架構的CPU上（雖然到目前為止，它還存在這樣那樣的一些小問題，但這不影響NDI統(tǒng)一全平臺的“野心”）。這意味著，NDI既可以運行在x86架構的Windows/Linux/MacOS平臺上，也可以運行在ARM架構的基于M1的Mac Mini/Mac Book上，以及iOS和Android之上，以及各種基于ARM的嵌入式系統(tǒng)之上……總之，NDI全平臺統(tǒng)一了。這是非常令人興奮的，NDI既可以運行在高端的服務器上，也可以運行在普通的嵌入式設備上。我們可以預期到無數多種可能，未來在市場上將會出現(xiàn)各種各樣形態(tài)的NDI產品和設備。

●那除了引入新的傳輸機制和支持接入Apple系統(tǒng)，您認為NDI 5還有哪些其他優(yōu)勢？

NDI 5正在向我們傳遞一個非常重要的信號：NDI 5正在面向互聯(lián)網、面向遠程視頻傳輸和制作。我們知道NDI 5提供了Bridge工具、Remote工具，同時也改進了傳輸協(xié)議、做了一系列的傳輸優(yōu)化、還有就是持續(xù)在改進NDI|HX。這一切都在告訴我們，未來，NDI將不再只是適合于局域網內的視頻傳輸，它正在積極在面向互聯(lián)網傳輸、面向遠程制作、面向Web。

這里還有一個大家沒太留心的問題已經得到了改進，那就是安全性問題。在第一點我們提到，NDI5的傳輸方式改成了QUIC，而QUIC是天生具有較高等級的加密能力的。這一點非常重要，特別是面向互聯(lián)網的應用。當然，必須很坦率地說，NDI在安全性方面還需要有一些加強，就算是NDI5，這也還是一個問題。

NDI 5在音頻的部分做了很多的改進，通過NDI? Audio Direct，可以將NDI源兼容到幾乎所有的音頻軟件、應用程序，并且還允許客戶自定義選擇、接收和生成接近零延遲的多通道音頻，讓您擺脫麻煩的硬件混音器。然而很坦率地說，Kiloview在音頻部分的研究不是很深入，所以我們還不能說出太多的所以然來。但是NDI完全可以實現(xiàn)一個完整的基于IP的音頻體系——誰說不能呢？我也很期待和大家進行交流。

●另外，NewTek除了發(fā)布NDI 5之外，還推出了NDI|HX3，你可以給我們介紹一下嗎？

是的，NDI 5新發(fā)布了NDI|HX3標準。這是一個具有長遠意義的事情。我們知道NDI High-bandwidth具有很好的實時性，然而畫面質量以及帶寬消耗卻一定程度上不那么理想；而NDI HX/HX2采用H.264/H.265的編碼，可以很好地解決帶寬問題，然而延時和色彩質量又受到了制約。

現(xiàn)在，NDI|HX 3似乎在影音傳輸質量與帶寬之間找到了一種平衡。NDI|HX3 仍然采用H.264/H.265編碼，但是它建議H.264/H.265編碼的GOP為1或2——也就是說，它建議最好是每一幀都是H.264/H.265的關鍵幀，或者最多隔一幀就產生一個關鍵幀。這樣一來，它就和NDI High-bandwidth相似，它可以很好地對抗網絡丟包帶來的影響。通俗地說，網絡丟包？沒關系，我放棄丟失的這一幀，下一幀我還能馬上恢復圖像！

這樣看來，NDI|HX3與NDI High-bandwidth的圖像壓縮機制非樣相似。但是，H.264/H.265的幀內編碼的效率會比NDI High-bandwidth高許多——因為H.264/H.265的幀內編碼包括幀內預測、子（宏）塊運算處理等能力，這是NDI High-bandwidth壓縮算法所不具備的，它帶來的直接好處就是（和NDI High-bandwidth相比）在同等圖像質量下，壓縮率更高、碼率更低；反之，在同等碼率條件下，圖像質量比NDI High-bandwidth高不少。

采用H.264/H.265編碼算法，在圖像質量上還一個優(yōu)勢是它的去塊效應濾波能力。這是H.264/H.265標準的組成部分。在碼率較低、或者畫面運動劇烈的場景下，視頻畫面容易“起馬賽克”，這是我們很多人都有過的直觀感受。NDI High-bandwidth算法為了達到它的“簡單快速“的目的，缺少去塊效應濾波環(huán)節(jié)，因此，在像4K這樣的高分辨率條件下，我們很容易觀察到NDI High-bandwidth的馬賽克現(xiàn)象；然而使用NDI|HX3，這種情況會得到有效的避免，進一步提升了視頻的主觀質量。

●除了NDI優(yōu)勢之外，那您認為NDI 5還有哪些需要改進的地方呢？

如果要說NDI5一些不盡如意的地方，我想主要有以下幾點：

一、NDI High-bandwidth的畫面質量，尤其是在4K分辨率下，還是略微差了一點。這似乎是一個很大的挑戰(zhàn)，甚至說未來要從NDI|HX3上去找答案。

二、安全性。我們知道NDI是即插即用的，在視頻的連接、獲取過程中是完全沒有鑒權機制的。如果在一個專有的局域網內，這或許不是太大的問題。然而隨著它越來越開放、要面向互聯(lián)網的應用場景，這個問題需要得到很好的解決才行。

三、使用軟件進行NDI編碼的性能，相對于解碼來說，它還是差了很多。這當然有它自身的技術實現(xiàn)的原因，但這制約了我們不少的實際應用。這特別表現(xiàn)在ARM處理上，在很多的嵌入式ARM處理器上，它實現(xiàn)了NDI的軟件編碼，仍然還是很吃力的。在實際的（大的）生產環(huán)境中，因為這會涉及到很多的環(huán)節(jié)，所以，我們不能簡單地理解：NDI5能幫助我們搞定一切嗎？——不，這不太現(xiàn)實。這需要一個生態(tài)，需要一系列的產品來加以支撐。這些產品可能來自于NewTek，也可能需要來自于許多的第三方產商，甚至有的產品到目前為止還沒有面世呢，由它們來共同來支撐整個制作過程。

●您剛剛也介紹了，NDI 5現(xiàn)在支持面向遠程、互聯(lián)網，那它是如何實現(xiàn)的呢？

NDI 5提供NDI Bridge和NDI Remote等工具，并且改進了傳輸協(xié)議，NDI Bridge能夠幫助用戶通過簡單的網絡設置，實現(xiàn)在世界上任何地方的NDI信號源互通。這將意味著，制作團隊能最大程度地節(jié)省視頻傳輸的時間成本和設備成本，獲取最新鮮的的原生態(tài)視頻畫面，搭建真正的“遠程工作間”。

NDI Remote能夠幫助用戶通過共享鏈接與所有的遠程用戶進行實時互動，并可通過互聯(lián)網隨時接收世界上任何地方的音視頻源到制作端的所有硬件設備或軟件程序。這一切都在告訴我們，未來，NDI將不再只是局限于局域網內的視頻傳輸，它正在積極在面向互聯(lián)網傳輸、面向遠程制作、面向Web。

●同樣是面向遠程、互聯(lián)網，在SRT和NDI 5兩者之間，我們應該如何權衡選擇呢？

如果僅僅從技術的角度上去看待NDI和SRT，那么它們各有千秋、都是一些非常棒的技術。它們也都擁有非常廣泛的支持者、具有很大的影響力。在面向互聯(lián)網應用這一個角度上，SRT甚至具有一些鮮明的優(yōu)勢，比如說極低的延時、更好的安全性、更靈活的握手/連接方式、很好的可靠性、多路徑(multi-path)傳輸……等等。

當然我想各位一定會從一個更高的層面上去看待問題——用戶在使用NDI或者SRT，肯定會根據各自的工作模式及使用習慣，去思考哪個技術生態(tài)更完整？產品更豐富？體系更成熟？支持這項技術的廠商更多、推動力更強？作為使用者，在這其中哪個能讓我們更加受益？從這一角度來分析，我想大家就會有答案了。

●NDI|HX 3相對于以前的NDI技術來說，在畫面質量和帶寬之間達到一種趨于完美的平衡，那壓縮的畫面質量與哪些因素有關呢？

NDI在1080p或更小一些的分辨率下，畫面質量是比較不錯的。不過，請大家一定要理解，NDI是有損壓縮的。在約束的bitrate條件下（典型的1080p在130Mbps左右，4K在250Mbps左右），畫面質量會受到諸如畫面內容的復雜程度、運動的劇烈程度、噪點、內容變化的程度等很多條件的影響，打個比方，就像你用Photoshop這樣的軟件處理一張圖片，如果你約束一張圖片的大小必須是1M Bytes，那么圖片細節(jié)越豐富、越復雜的照片，保存的圖片可能就會越模糊、細節(jié)丟失越多；反之，圖片背景簡單、色彩變化不大的照片就會越清晰。NDI的壓縮是相同的原理。—— 在大多數的情況下，NDI視頻的質量都是不錯的；但在面向一些細節(jié)特別復雜、運動十分劇烈的場景下，NDI圖像質量也會有一些不足，這是一個事實。

●對于大多數用戶來說，都十分關心視頻傳輸的延遲性，那NDI 5在延遲、圖像質量等方面的真實測試結果是什么，可以給我們介紹一下嗎？

延時在開啟Low latency模式的時候，大約在80ms左右、在視頻源為60fps幀率的條件下實測結果。這取決于視頻源的幀率，如果幀率越低，延時可能會更大一些。

理論上說，NDI的延時還可以更低一些，但這受到NDI同步機制的影響，所以80ms是一個比較真實的結果。市面上有一些廠商會宣傳說，他們的延時可以低到2~3 幀，那只是一些假設或特定條件下的特定結果，并不具有代表性。

●你認為NDI?5未來的發(fā)展趨勢會怎樣，您能跟我們分享一下嗎?

一、面向互聯(lián)網和遠程制作，這一定會是未來的趨勢。在這條路上，NDI還需要解決一些實質性的問題，比如說連接握手的機制、安全性、身份驗證、防火墻/NAT穿透，等等。

二、在面向互聯(lián)網的遠程制作的這條道路上，NDI|HX (包括HX2和HX3）將會顯得格外重要，因為只有采用H.264/H.265壓縮，才有可能讓碼率降下來、適應互聯(lián)網環(huán)境下的帶寬條件。

三、NDI還需要更開放、吸引更多的廠商和用戶加入這個生態(tài)；NDI所面向的行業(yè)，也應該從廣播電視、中小型工作室等領域拓展到其它更多的領域，比如說數字標牌、KVM、醫(yī)療、智能家居……等等。這是完全有可能的，但NDI的官方也需要更加開放。

四、NDI極有可能成為一種面向云端視頻業(yè)務的基礎的Video&Audio I/O標準。我們知道，在面向桌面的視頻制作系統(tǒng)中，視頻采集卡、視頻輸出卡，這是基帶視頻信號進入制作系統(tǒng)的必須的基礎I/O設施；那么，在云端，一切變成虛擬化，視頻的I/O沒有別的選擇、它只能基于網絡。因此，NDI完全可以成為基于云端網絡的視頻I/O的標準規(guī)范——這一方面，千視Kiloview已經進行了很多的嘗試，它表現(xiàn)得非常棒。

人物介紹：

左振宇

高級工程師

畢業(yè)于國防科技大學計算機專業(yè)

NewTek官方合作商千視電子的研發(fā)總監(jiān)兼創(chuàng)始人，深耕音視頻編碼、網絡傳輸、媒體處理、圖像識別和人工智能等技術領域20余年。關注行業(yè)技術發(fā)展，研究NDI技術多年，將理論結合實際，帶領團隊推陳出新，研發(fā)的多款音視頻IP化傳輸設備暢銷全球100多個國家和地區(qū)。

NDI作為現(xiàn)在應用最火熱的視頻IP技術，已經升級到了第五代，升級后的NDI 5成為面向遠程、互聯(lián)網及后期制作的新一代音視頻IP技術，那和SRT相比，兩者在使用上應該如何選擇呢？而升級后的NDI 5優(yōu)勢和痛點分別體現(xiàn)在什么地方？NDI 5未來的發(fā)展趨勢優(yōu)勢又會如何？針對這些問題，我們邀請了千視電子總經理左振宇先生與我們一起交流探討。