本公開總體上涉及視頻編碼和解碼領(lǐng)域，并且具體涉及對(duì)用于機(jī)器的視頻和其他數(shù)據(jù)進(jìn)行編碼和解碼。
背景技術(shù)：
1、機(jī)器人、監(jiān)視、監(jiān)測(cè)、物聯(lián)網(wǎng)等的最新趨勢(shì)已經(jīng)引入了用例，其中在現(xiàn)場(chǎng)記錄的所有圖像和視頻的大部分僅由機(jī)器使用，而沒有到達(dá)人眼。這些機(jī)器以完成諸如對(duì)象檢測(cè)、對(duì)象跟蹤、分割、事件檢測(cè)等特定任務(wù)為目標(biāo)來處理圖像和視頻。認(rèn)識(shí)到這種趨勢(shì)是普遍的并且在未來將只會(huì)加速，國(guó)際標(biāo)準(zhǔn)化機(jī)構(gòu)已經(jīng)開始努力來對(duì)主要針對(duì)機(jī)器消費(fèi)進(jìn)行優(yōu)化的圖像和視頻編碼進(jìn)行標(biāo)準(zhǔn)化。例如，除了諸如用于視覺搜索的緊湊描述符和用于視頻分析的緊湊描述符之類的已經(jīng)建立的標(biāo)準(zhǔn)之外，像用于機(jī)器的jpeg?ai和視頻編碼之類的標(biāo)準(zhǔn)也在持續(xù)的努力中。與經(jīng)典圖像和視頻編碼技術(shù)相比提高效率的解決方案，是需要的并且在本文中呈現(xiàn)。
技術(shù)實(shí)現(xiàn)思路
1、在一個(gè)實(shí)施例中，提供了一種用于編碼數(shù)據(jù)以供機(jī)器消費(fèi)的視頻編碼器。視頻編碼器包括接收源視頻和檢測(cè)器選擇參數(shù)并選擇對(duì)象檢測(cè)器模型的區(qū)域檢測(cè)器選擇模塊。區(qū)域檢測(cè)模塊將所選擇的模型應(yīng)用于源視頻以識(shí)別源視頻中的感興趣區(qū)域。區(qū)域提取器模塊從源視頻提取所識(shí)別的區(qū)域的像素。區(qū)域封裝模塊接收從源視頻中提取的區(qū)域，并將這些區(qū)域封裝成封裝幀，在所述封裝幀中省略了感興趣區(qū)域之外的像素。區(qū)域參數(shù)模塊從區(qū)域提取器接收所識(shí)別的區(qū)域，并提供用于將感興趣區(qū)域放置在重構(gòu)視頻幀中的參數(shù)。視頻編碼器從區(qū)域封裝模塊接收封裝幀并且從區(qū)域參數(shù)模塊接收區(qū)域參數(shù)，并生成編碼比特流。
2、在一些實(shí)施例中，區(qū)域檢測(cè)器選擇模塊基于來自機(jī)器任務(wù)系統(tǒng)的檢測(cè)器選擇參數(shù)來選擇多個(gè)模型中的一個(gè)模型?？梢曰跈C(jī)器任務(wù)系統(tǒng)對(duì)于編碼比特流的性能，來更新來自機(jī)器任務(wù)系統(tǒng)的檢測(cè)選擇參數(shù)。
3、在某些實(shí)施例中，檢測(cè)器模塊可以包括retinanet模型和yolov7模型中的至少一個(gè)。
4、區(qū)域檢測(cè)模塊可以至少部分地通過矩形邊界框來定義每個(gè)檢測(cè)到的區(qū)域。在一些實(shí)施方案中，編碼器可包括區(qū)域填充模塊，該區(qū)域填充模塊將填充參數(shù)添加到檢測(cè)到的區(qū)域的邊界框的一個(gè)或多個(gè)維度。每個(gè)檢測(cè)到的區(qū)域可以具有相關(guān)聯(lián)的區(qū)域類型，并且可以至少部分地基于對(duì)象類型來確定填充參數(shù)。替代地或另外地，可以至少部分地基于區(qū)域大小和/或邊界框大小來確定填充參數(shù)。
5、在另一實(shí)施例中，編碼器可以包括合并分割區(qū)域提取器模塊，該合并分割區(qū)域提取器模塊進(jìn)一步處理檢測(cè)到的區(qū)域并執(zhí)行選擇性地合并具有基本重疊的區(qū)域和選擇性地分割區(qū)域中的至少一個(gè)處理以優(yōu)化封裝性能。合并分割區(qū)域提取器模塊可以從機(jī)器任務(wù)系統(tǒng)接收自適應(yīng)提取參數(shù)，并且基于所述參數(shù)動(dòng)態(tài)地調(diào)整合并和分割參數(shù)。
6、在某些實(shí)施例中，編碼器可以包括區(qū)域填充模塊和合并分割區(qū)域提取器模塊兩者。
7、提供了一種對(duì)視頻數(shù)據(jù)進(jìn)行編碼以供機(jī)器處理消費(fèi)的方法，該方法包括以下步驟：接收源視頻；識(shí)別源視頻中的至少一個(gè)感興趣區(qū)域，每個(gè)感興趣區(qū)域由相關(guān)聯(lián)的邊界框定義；從源視頻中提取相關(guān)聯(lián)的邊界框內(nèi)的感興趣區(qū)域的所識(shí)別的內(nèi)容；將所提取的區(qū)域封裝成封裝的視頻幀，在封裝的視頻幀中省略了感興趣區(qū)域之外的像素；提供針對(duì)足以在重構(gòu)視頻幀中重構(gòu)感興趣區(qū)域的邊界框的區(qū)域參數(shù)；以及生成包括封裝的幀和相關(guān)聯(lián)的區(qū)域參數(shù)的編碼比特流。
8、在一些情況下，所述方法可進(jìn)一步包含對(duì)于至少一個(gè)感興趣區(qū)域，將區(qū)域填補(bǔ)應(yīng)用于相關(guān)聯(lián)邊界框的至少一個(gè)維度。該方法還可以包括合并分割處理，其包括選擇性地合并具有基本重疊的感興趣區(qū)域和選擇性地分割區(qū)域中的至少一個(gè)處理以優(yōu)化封裝性能。感興趣區(qū)域可以具有相關(guān)聯(lián)的對(duì)象類型，并且區(qū)域填充可以至少部分地基于對(duì)象類型來確定。在一些實(shí)施例中，感興趣區(qū)域具有相關(guān)聯(lián)的邊界框大小，并且至少基于邊界框大小來確定區(qū)域填充。
9、在一些實(shí)施例中，該方法可以包括從位于接收編碼比特流的解碼器站點(diǎn)處的機(jī)器系統(tǒng)接收性能數(shù)據(jù)，并且區(qū)域填充至少部分地基于接收到的性能數(shù)據(jù)來確定。
10、本公開還包括視頻解碼器，該視頻解碼器包括被配置為接收和解碼通過上述編碼器和編碼方法生成的編碼比特流的電路。本公開還公開了在其上存儲(chǔ)編碼比特流的計(jì)算機(jī)可讀介質(zhì)的實(shí)施例，編碼比特流通過本文描述的任何編碼器和編碼方法生成。
11、在結(jié)合附圖閱讀以下對(duì)具體非限制性實(shí)施例的描述后，本發(fā)明的非限制性實(shí)施例的這些和其他方面和特征對(duì)于本領(lǐng)域技術(shù)人員將變得顯而易見。
1.一種用于編碼數(shù)據(jù)以供機(jī)器消費(fèi)的視頻編碼器，包括：
2.根據(jù)權(quán)利要求1所述的編碼器，其中，所述區(qū)域檢測(cè)器選擇模塊基于來自機(jī)器任務(wù)系統(tǒng)的檢測(cè)器選擇參數(shù)，來選擇多個(gè)模型中的一個(gè)模型。
3.根據(jù)權(quán)利要求2所述的編碼器，其中，基于所述機(jī)器任務(wù)系統(tǒng)對(duì)于所述編碼比特流的性能，來更新來自所述機(jī)器任務(wù)系統(tǒng)的檢測(cè)選擇參數(shù)。
4.根據(jù)權(quán)利要求2所述的編碼器，其中，所述多個(gè)模型包括retinanet模型和yolov7模型中的至少一個(gè)。
5.根據(jù)權(quán)利要求1所述的編碼器，其中，所述區(qū)域檢測(cè)模塊至少部分地通過矩形邊界框來定義每個(gè)檢測(cè)到的區(qū)域，并且所述編碼器還包括區(qū)域填充模塊，所述區(qū)域填充模塊將填充參數(shù)添加到檢測(cè)到的區(qū)域的邊界框的一個(gè)或多個(gè)維度。
6.根據(jù)權(quán)利要求5所述的編碼器，其中，每個(gè)檢測(cè)到的區(qū)域具有相關(guān)聯(lián)的區(qū)域類型，并且至少部分地基于對(duì)象類型來確定所述填充參數(shù)。
7.根據(jù)權(quán)利要求5所述的編碼器，其中，所述填充參數(shù)是至少部分地基于區(qū)域大小來確定的。
8.根據(jù)權(quán)利要求1所述的編碼器，還包括合并分割區(qū)域提取器模塊，所述合并分割區(qū)域提取器模塊處理檢測(cè)到的區(qū)域以用于進(jìn)一步處理，并且執(zhí)行選擇性地合并具有實(shí)質(zhì)重疊的區(qū)域和選擇性地分割區(qū)域中的至少一個(gè)處理以優(yōu)化封裝性能。
9.根據(jù)權(quán)利要求8所述的編碼器，其中，所述合并分割區(qū)域提取器模塊從機(jī)器任務(wù)系統(tǒng)接收自適應(yīng)提取參數(shù)，并基于所述參數(shù)動(dòng)態(tài)地調(diào)整合并和分割參數(shù)。
10.根據(jù)權(quán)利要求1所述的編碼器，其中，每個(gè)檢測(cè)區(qū)域由矩形邊界框定義，所述編碼器還包括：
11.一種編碼視頻數(shù)據(jù)以供機(jī)器處理消費(fèi)的方法，所述方法包括：
12.根據(jù)權(quán)利要求11所述的編碼方法，還包括：
13.根據(jù)權(quán)利要求12所述的編碼方法，其中，感興趣區(qū)域具有相關(guān)聯(lián)的對(duì)象類型，并且所述區(qū)域填充至少部分地基于所述對(duì)象類型來確定。
14.根據(jù)權(quán)利要求12所述的編碼方法，其中，感興趣區(qū)域具有相關(guān)聯(lián)的邊界框大小，并且所述區(qū)域填充至少基于所述邊界框大小來確定。
15.根據(jù)權(quán)利要求12所述的編碼方法，還包括：從位于接收所述編碼比特流的解碼器站點(diǎn)的機(jī)器系統(tǒng)接收性能數(shù)據(jù)，并且其中，所述區(qū)域填充至少部分地基于所接收的性能數(shù)據(jù)來確定。
16.一種視頻解碼器，包括被配置為接收和解碼通過權(quán)利要求1-15中任一項(xiàng)生成的編碼比特流的電路。
17.一種機(jī)器可讀介質(zhì)，其上存儲(chǔ)有編碼比特流，所述編碼比特流通過權(quán)利要求1-15中的任一項(xiàng)生成。