智能座艙

Cocos 受邀出席車載抬頭顯示 HUD 高峰論壇，助力座艙智能化升級(jí)

程雯 2022-07-19 16:10

隨著汽車智能化的到來，汽車座艙發(fā)展趨向以多個(gè)屏幕同時(shí)呈現(xiàn)信息，而 AR-HUD 作為 HMI 的窗口之一，以一種更加自然的圖像處理方式呈現(xiàn)在駕駛員的前方，提供更多有用的信息，成為新的趨勢(shì)。近期發(fā)布的理想 L9，通過超大尺寸的 HUD 抬頭顯示系統(tǒng)以及方向盤上方的安全駕駛交互屏來提供足夠的行車信息，被視為 AR HUD + 小型信息交互屏“代替”傳統(tǒng)液晶儀表的里程碑事件。在新的人車交互方式下，AR-HUD 的成熟以及相關(guān) HMI 設(shè)計(jì)的升級(jí)，有望重塑汽車車內(nèi)體驗(yàn)。

近日， Cocos 產(chǎn)品總監(jiān)郭萌在 2022 年第四屆車載抬頭顯示 HUD 高峰論壇上，進(jìn)行了以《實(shí)時(shí)3D渲染引擎助力座艙智能化交互升級(jí)》為主題的演講，分享了他對(duì)于 AR-HUD 的理解，以及 Cocos 引擎如何幫助主機(jī)廠為用戶帶來全新的座艙 HMI 交互體驗(yàn)。

Cocos 產(chǎn)品總監(jiān)郭萌

以下內(nèi)容整理自演講實(shí)錄：

Cocos 引擎：不斷拓寬應(yīng)用場景，提升數(shù)字內(nèi)容行業(yè)生產(chǎn)效率

大家好，我是來自 Cocos 的郭萌，很開心有機(jī)會(huì)能和在座的從業(yè)者溝通交流。今天主要分享一下這些年 Cocos 在 3D 渲染引擎的積累，以及我們?cè)谲嚈C(jī)行業(yè)的探索。

Cocos 成立于 2010 年，我們是一家數(shù)字內(nèi)容的生產(chǎn)平臺(tái)，旗下的核心產(chǎn)品叫 Cocos 引擎，目前服務(wù)了包括汽車、游戲、在線教育、XR 等行業(yè)的公司。Cocos 的注冊(cè)開發(fā)者已經(jīng)超過了 150 萬，分布在 203 個(gè)國家和地區(qū)。同時(shí)，Cocos 也是一家完全中國自主知識(shí)產(chǎn)權(quán)的 3D 圖形渲染引擎。

在我們接觸的主機(jī)廠中，很多主機(jī)廠都在強(qiáng)調(diào)要對(duì)座艙 HMI 進(jìn)行升級(jí)。希望座艙的視覺表現(xiàn)更加酷炫，基于 PBR 實(shí)現(xiàn)更加次時(shí)代的效果。

目前越來越多的主機(jī)廠也在關(guān)注一些 AR-HUD 在智能座艙的運(yùn)用，包括最近發(fā)布的理想 L9，已經(jīng)取消了儀表屏，取而代之的是用更大尺寸的 HUD 作為信息顯示。

我們認(rèn)為 AR 在座艙內(nèi)成為了繼屏幕顯示、語音交互和視覺交互之后的又一大交互方式。通過這種交互方式，Cocos 希望能夠幫助主機(jī)廠去創(chuàng)造更多的內(nèi)容生態(tài)，提升 AR-HUD 的使用范疇，將座艙的體驗(yàn)再升級(jí)。

除了車機(jī)，我們現(xiàn)在看到的 AR 產(chǎn)品幾乎都是使用很多優(yōu)秀的游戲引擎開發(fā)的，所以我認(rèn)為后續(xù)的主機(jī)廠在做 AR 顯示內(nèi)容的時(shí)候，也會(huì)基于這些優(yōu)秀的游戲引擎作為工具進(jìn)行開發(fā)。

Cocos HMI 智能座艙解決方案

Cocos HMI 智能座艙解決方案目前已經(jīng)涵蓋了車載人機(jī)交互界面，自動(dòng)輔助駕駛可視化，車載虛擬形象，車載游戲，音樂播放器等能力。已經(jīng)覆蓋到座艙內(nèi)包括 HUD、儀表、IVI、娛樂副屏在內(nèi)的多種顯示設(shè)備。

在系統(tǒng)支持上，已經(jīng)做到適配 Android，Linux，QNX，HarmonyOS 等主流車機(jī)系統(tǒng)。Metal、Vulkan、WebGl 1.0、WebGl 2.0、GLES2、GLES3 等比較常見的渲染后端也已完整支撐。

3ds Max、Maya、Blender 等 3D DCC Tools 導(dǎo)出的傳統(tǒng)的 3D 格式文件、傳統(tǒng)的多媒體資源，都可直接導(dǎo)入到 Cocos 的開發(fā)工具里進(jìn)行二次開發(fā)，再加上 Cocos Creator 自帶的 UI 編輯器、動(dòng)畫編輯器以及編碼環(huán)境，常用的 PBR 材質(zhì)系統(tǒng)、粒子系統(tǒng)、實(shí)時(shí)光影等效果，都可以直接使用，便于使用者搭建座艙內(nèi)的 3D 場景。

此外 Cocos 還支持 Web 系統(tǒng)，也就是說開發(fā)階段只需維護(hù)一套代碼，就可以支持發(fā)布到各個(gè)平臺(tái)，極大的節(jié)省了主機(jī)廠的維護(hù)成本。

更好玩的 VPA

越來越多的主機(jī)廠開始使用 VPA 形象來替換老一代的語音助手形象?；趯?shí)時(shí)渲染的 3D 形象，在情感交互表現(xiàn)力上會(huì)更加的靈活，更強(qiáng)。 Cocos 目前可以提供包括形象設(shè)計(jì)、形象建模、針對(duì)語音場景的動(dòng)作制作，包括聯(lián)動(dòng)其他 App 的功能在內(nèi)的一整套框架。

主機(jī)廠在做新一代 VPA 的過程中，都希望引入游戲化的元素，做成一個(gè)可運(yùn)營的功能。比如引入一些節(jié)日彩蛋，生日彩蛋。國慶中秋的時(shí)候，是不是能有一些新的東西能夠?qū)崟r(shí)地下發(fā)到用戶的車機(jī)端，讓用戶對(duì) 3D 形象時(shí)刻保持新鮮感。

Cocos 引擎作為游戲開發(fā)引擎，本身擁有熱更新框架，可以支持整個(gè) VPA 形象從模型、到代碼、到場景、到腳本邏輯的實(shí)時(shí)更新。

后續(xù)由 Cocos 為主機(jī)廠搭建后臺(tái)服務(wù)：資源管理平臺(tái)，可獨(dú)立于 OTA 提供實(shí)時(shí)熱更新能力。有了實(shí)時(shí)熱更新，可以做到每周、每天給 VPA 下發(fā)新的服裝、新的動(dòng)作，讓主機(jī)廠不受限于 OTA 的節(jié)奏來運(yùn)營 VPA。

比如短視頻平臺(tái)上某一個(gè)舞蹈火了，由工程師把舞蹈動(dòng)作的腳本文件打包上傳到更新后臺(tái)。第二天當(dāng)用戶打開車機(jī)的時(shí)候，車主的虛擬個(gè)人助理形象就可以跳這段舞，這對(duì)用戶來說是更有趣的體驗(yàn)。

讓 ADAS 不再那么“疲憊”

目前越來越多的車型都提供了自動(dòng)輔助駕駛功能。但之前看到一個(gè)調(diào)研，許多車主在使用自動(dòng)輔助駕駛的時(shí)候，反而會(huì)更累。主要原因是有時(shí)候自動(dòng)輔助駕駛的可視化做得不夠好，車主不知道自己的車下一步是要干什么，這時(shí)候他會(huì)產(chǎn)生很大的恐慌以及緊張，長時(shí)間處在這樣情感下，就會(huì)感覺到疲憊。

所以自動(dòng)駕駛可視化也是自動(dòng)輔助駕駛功能的一個(gè)很重要的部分，Cocos 基于主機(jī)廠提供的原始地圖數(shù)據(jù)，根據(jù)相應(yīng)的 HMI 的視覺風(fēng)格進(jìn)行 3D 可視化渲染。用一個(gè)符合主機(jī)廠要求的視覺方案來進(jìn)行 3D 還原，從而改善車主使用 ADAS 功能的體驗(yàn)。

多模態(tài)交互車載游戲

游戲是 Cocos 重要的應(yīng)用場景之一。在車載游戲領(lǐng)域，Cocos 做的更多的是幫助主機(jī)廠去建設(shè)座艙內(nèi)的多模態(tài)交互游戲。包括基于車內(nèi)攝像頭的一些體感游戲，結(jié)合麥克風(fēng)的語音類游戲，結(jié)合方向盤類的運(yùn)動(dòng)類的游戲。以及聯(lián)動(dòng)前后屏、主副駕屏的多屏聯(lián)動(dòng)類游戲。

更具氛圍感的音樂播放器

音樂是座艙內(nèi)最傳統(tǒng)，也是使用率排在前三的核心功能。目前許多主機(jī)廠都有升級(jí)音樂播放器來打造差異化的需求，而不是千篇一律地使用某某音樂播放器車機(jī)版?；?3D 渲染引擎能力，Cocos 能夠幫助主機(jī)廠重新包裝音樂播放器，通過歌詞、音樂可視化的效果，來提升座艙內(nèi)音樂的氛圍感。

Cocos Runtime：低延遲、“即點(diǎn)即用”

Cocos Runtime 是 Cocos 開發(fā)的一個(gè)支持互動(dòng)內(nèi)容免安裝即可運(yùn)行的商業(yè)化 SDK，可運(yùn)行在多種操作系統(tǒng)平臺(tái)上，可以理解為一套小程序和小游戲的底層運(yùn)行框架，支持主流 JavaScript 游戲引擎開發(fā)的內(nèi)容，可以高效地將數(shù)字內(nèi)容的運(yùn)行效率做到最大化的提升。各種硬件設(shè)備、App 集成 Runtime 之后，用戶即可感受數(shù)字互動(dòng)內(nèi)容“點(diǎn)開即玩”的暢爽體驗(yàn)，而不是通過傳統(tǒng)的下載的模式。

在座艙內(nèi)，目前有些 HMI 產(chǎn)品的啟動(dòng)和加載時(shí)間長達(dá)數(shù)十秒，無疑這會(huì)嚴(yán)重影響駕乘人員的體驗(yàn)，再比如 AR-HUD，理想情況應(yīng)該做到毫秒級(jí)的延遲控制，才能將數(shù)字虛擬世界與真實(shí)世界精確融合，這直接決定了用戶的使用體驗(yàn)效果。通過引入 Cocos Runtime ，可以提高啟動(dòng)和加載速度，減少操作延遲。

完善 Cocos 生態(tài)鏈，探索技術(shù)的更多邊界

開發(fā)者生態(tài)方面，Cocos 目前累計(jì)擁有 150 萬全球注冊(cè)開發(fā)者。除了國內(nèi)的一線的互聯(lián)網(wǎng)公司，海外的 Facebook、Google、育碧都在和我們進(jìn)行一些技術(shù)上的合作。

Cocos 最近還與任天堂進(jìn)行了合作共同構(gòu)建開發(fā)者生態(tài)，Cocos Creator 即將實(shí)現(xiàn)對(duì) Nintendo Switch 的支持，屆時(shí)開發(fā)者申請(qǐng)成為任天堂認(rèn)證開發(fā)者后，再聯(lián)系 Cocos 獲得引擎，即可將游戲一鍵發(fā)布到 NS。