隨著人工智能的飛速發(fā)展的發生，無(wú)人駕駛和具身智能等無(wú)人系統(tǒng)正在現(xiàn)實(shí)社會(huì)中不斷推廣應(yīng)用，引領(lǐng)著新一輪科技革命和產(chǎn)業(yè)變革影響。在這些智能系統(tǒng)中新的動力，視覺(jué)感知作為獲取信息的核心途徑，發(fā)揮著至關(guān)重要的作用穩定性。然而像一棵樹，在復(fù)雜多變且不可預(yù)測(cè)的環(huán)境中，實(shí)現(xiàn)高效去突破、精確且魯棒的視覺(jué)感知依然是一個(gè)艱巨的挑戰(zhàn)能運用。
 

　　在開(kāi)放世界中，智能系統(tǒng)不僅要處理龐大的數(shù)據(jù)量智能設備，還需要應(yīng)對(duì)各種極端事件不可缺少，如駕駛中的突發(fā)危險(xiǎn)、隧道口的劇烈光線變化和夜間強(qiáng)閃光干擾等特點。傳統(tǒng)視覺(jué)感知芯片由于受到“功耗墻”和“帶寬墻”的限制積極回應，在應(yīng)對(duì)這些場(chǎng)景時(shí)往往面臨失真、失效或高延遲的問(wèn)題又進了一步，嚴(yán)重影響了系統(tǒng)的穩(wěn)定性和安全性多種場景。
 

　　為了克服這些挑戰(zhàn)，清華大學(xué)精密儀器系類腦計(jì)算研究中心聚焦類腦視覺(jué)感知芯片技術(shù)規劃，提出了一種基于視覺(jué)原語(yǔ)的互補(bǔ)雙通路類腦視覺(jué)感知新范式擴大公共數據。該范式借鑒了人類視覺(jué)系統(tǒng)的基本原理，將開(kāi)放世界的視覺(jué)信息拆解為基于視覺(jué)原語(yǔ)的信息表示帶動擴大，并通過(guò)有機(jī)組合這些原語(yǔ)核心技術體系，模仿人視覺(jué)系統(tǒng)的特征，形成兩條優(yōu)勢(shì)互補(bǔ)性能、信息完備的視覺(jué)感知通路初步建立。基于這一新范式供給，團(tuán)隊(duì)進(jìn)一步研制出了世界首款類腦互補(bǔ)視覺(jué)芯片“天眸芯”的方法，在極低的帶寬(降低90%)和功耗代價(jià)下，實(shí)現(xiàn)了每秒10000幀的高速進行探討、10bit的高精度落到實處、130dB的高動(dòng)態(tài)范圍的視覺(jué)信息采集。它不僅突破了傳統(tǒng)視覺(jué)感知范式的性能瓶頸最新，而且能夠高效應(yīng)對(duì)各種極端場(chǎng)景技術創新，確保系統(tǒng)的穩(wěn)定性和安全性處理方法。基于“天眸芯”持續向好，團(tuán)隊(duì)還自主研發(fā)了高性能軟件和算法關規定，并在開(kāi)放環(huán)境車載平臺(tái)上進(jìn)行了性能驗(yàn)證。在多種極端場(chǎng)景下兩個角度入手，該系統(tǒng)實(shí)現(xiàn)了低延遲建強保護、高性能的實(shí)時(shí)感知推理，展現(xiàn)了其在智能無(wú)人系統(tǒng)領(lǐng)域的巨大應(yīng)用潛力生產效率。
 

　　“天眸芯”的成功研制無(wú)疑是智能感知芯片領(lǐng)域的一個(gè)重大突破使命責任。它不僅為智能革命的發(fā)展提供了一個(gè)強(qiáng)大的技術(shù)支持，還為自動(dòng)駕駛使用、具身智能等重要應(yīng)用開(kāi)辟了新的道路合規意識。結(jié)合團(tuán)隊(duì)在類腦計(jì)算芯片“天機(jī)芯”、類腦軟件工具鏈和類腦機(jī)器人等方面已應(yīng)用落地的技術(shù)積累有效性，“天眸芯”的加入將進(jìn)一步完善類腦智能生態(tài)創新內容，有力地推動(dòng)人工通用智能的發(fā)展。
 

　　5月30日力量，基于該研究成果的論文“面向開(kāi)放世界感知我有所應、具有互補(bǔ)通路的視覺(jué)芯片”(A Vision Chip with Complementary Pathways for Open-world Sensing)作為封面文章提單產，登上《自然》(Nature)雜志深入實施。這是該團(tuán)隊(duì)繼異構(gòu)融合類腦計(jì)算“天機(jī)芯”后，第二次登上《自然》雜志封面發展空間，標(biāo)志著我國(guó)在類腦計(jì)算和類腦感知兩個(gè)重要方向上均取得了基礎(chǔ)性突破效果。
 

類腦互補(bǔ)視覺(jué)感知芯片“天眸芯”
 

自動(dòng)駕駛感知演示平臺(tái)
 

　　清華大學(xué)精密儀器系施路平教授和趙蓉教授為論文通訊作者，精密儀器系楊哲宇博士(現(xiàn)為北京靈汐科技有限公司研發(fā)經(jīng)理)足了準備、精密儀器系2020級(jí)博士生王韜毅合作關系、林逸晗為論文共同第一作者。清華大學(xué)為論文第一單位深刻內涵，合作單位包括北京靈汐科技有限公司傳遞。
 

　　該研究得到了科技部科技創(chuàng)新2030“腦科學(xué)與類腦研究”重大項(xiàng)目和國(guó)家自然科學(xué)基金委的支持，也得到了清華大學(xué)/IDG-麥戈文腦科學(xué)研究院的支持深入闡釋。