文章&圖片來源：Fastcompany，作者：MARK WILSON

那是井蓋還是桌子上的蜻蜓？那是一只綠色的鬣蜥還是一只帶著堅(jiān)果奔跑的松鼠？馬路中間的那個(gè)是滑板還是鱷魚？

如果是人類，那么遇到上述情況一般都能很容易地給出正確答案，但要是換成世界上最好的圖像識(shí)別人工智能（AI），它卻找不到任何線索。

美國芝加哥大學(xué)、華盛頓大學(xué)、加州大學(xué)伯克利分校正在做的就是要建立一份終極照片檔案，約7000張照片中的每一幅圖像都經(jīng)過精心挑選，為的就是能欺騙最先進(jìn)的圖像識(shí)別技術(shù)。

“目前的（機(jī)器學(xué)習(xí)）模型很脆弱?！奔又荽髮W(xué)伯克利分校計(jì)算機(jī)科學(xué)專業(yè)博士生丹·亨德瑞克（Dan Hendrycks）說，“雖然其他研究使用人工數(shù)據(jù)來研究魯棒性，但我們發(fā)現(xiàn)，各種模型在真實(shí)數(shù)據(jù)（與真實(shí)照片）上犯著驚人且高度一致的錯(cuò)誤?！?/p>

為了理解為什么這很重要，讓我們倒回去看下歷史。

在過去的幾年里，圖像識(shí)別技術(shù)發(fā)展的非常快，效果也變得越來越好。這在很大程度上要?dú)w功于斯坦福大學(xué)創(chuàng)建的一個(gè)不斷增長的開放數(shù)據(jù)集ImageNet。

現(xiàn)在，這個(gè)集合已有1400多萬張照片，每張照片都用“tree”和“sky”這樣的標(biāo)識(shí)符標(biāo)記。

這個(gè)龐大的數(shù)據(jù)庫就像是一個(gè)訓(xùn)練集，或者說是為新AI系統(tǒng)學(xué)習(xí)如何識(shí)別圖像提供參考，就像一個(gè)蹣跚學(xué)步的孩子可以參照一本圖畫書來慢慢地學(xué)習(xí)新單詞一樣。

使用ImageNet訓(xùn)練的AI——比如微軟的Bing——獲得了極高的精準(zhǔn)度，能夠以高達(dá)95%的準(zhǔn)確率識(shí)別物體。這實(shí)際上比人類做同樣的工作還要好。

但是，縮小最后5%的準(zhǔn)確率差距是一個(gè)非常大的問題。自2017年以來，計(jì)算機(jī)在識(shí)別圖像方面沒有變得更準(zhǔn)確。這就是為什么研究人員正在探索如何理解計(jì)算機(jī)似乎無法解析的那部分少數(shù)圖像。

相關(guān)工作人員所做的，是手動(dòng)在Flickr上尋找他們認(rèn)為可能混淆軟件的照片。他們將這些照片與在ImageNet上訓(xùn)練的AI模型進(jìn)行測(cè)試，如果這些圖像讓系統(tǒng)困惑，這些照片就會(huì)被添加到其新數(shù)據(jù)集中，并被命名為ImageNet-A。

可以說，這7000張照片就是ImageNet的對(duì)立面，AI的準(zhǔn)確率也從高于90%下降到僅僅2%。是的，你沒有看錯(cuò)。世界上最好的視覺AI模型看一張照片100次就會(huì)有98次被搞糊涂。

為什么AI系統(tǒng)不能理解這些圖像，這個(gè)問題很復(fù)雜。

如今，AI的提高傾向于堆積大量數(shù)據(jù)并根據(jù)最終結(jié)論判斷其準(zhǔn)確性，而不是依據(jù)達(dá)到這個(gè)目標(biāo)的過程。

換句話來說，如果AI看到了足夠多的樹的形態(tài)，它就可以在新的照片中把樹識(shí)別出來，然后我們也就認(rèn)為系統(tǒng)是成功的。（這種重復(fù)的任務(wù)被稱為機(jī)器學(xué)習(xí)）

問題是，我們不知道AI到底是為什么決定一棵樹就是一棵樹的。是形狀嗎？顏色嗎？還是背景？質(zhì)地？難道是因?yàn)闃淠居幸恍┤祟悘奈凑J(rèn)識(shí)到的核心幾何結(jié)構(gòu)？

我們不知道。我們判斷AI的標(biāo)準(zhǔn)是它的答案，而不是中途的推理。

這意味著人們可以從AI中獲得各種意想不到的偏差，而當(dāng)AI系統(tǒng)被用于自動(dòng)駕駛汽車等技術(shù)或刑事司法等領(lǐng)域時(shí)，這就構(gòu)成了一個(gè)重大問題。

這也意味著圖像識(shí)別系統(tǒng)并不是真正的智能，他們更像是玩匹配游戲的專家。

構(gòu)建ImageNet-A是為了欺騙AI，以發(fā)現(xiàn)為什么某些圖像會(huì)混淆這些系統(tǒng)。

例如，當(dāng)AI將松鼠的圖像錯(cuò)誤地理解為海獅時(shí)，我們就能發(fā)現(xiàn)它缺乏更深層次的智能和推理能力。該系統(tǒng)僅依賴于這些動(dòng)物的紋理，而沒有考慮它們的相對(duì)大小或形狀來進(jìn)行識(shí)別。

“需要了解物體形狀的照片似乎最具有欺騙性?！焙嗟氯鹂私忉屨f。

通過ImageNet-A，研究人員成功地發(fā)現(xiàn)了視覺人工智能中的7000個(gè)盲點(diǎn)。這個(gè)數(shù)字算多算少？是否意味著把這些圖像放進(jìn)一個(gè)新的訓(xùn)練集就能彌補(bǔ)系統(tǒng)的缺點(diǎn)？很可能不會(huì)。

基于現(xiàn)實(shí)世界中的多樣性和復(fù)雜性，對(duì)AI使用這些圖像進(jìn)行的訓(xùn)練可能不會(huì)教會(huì)數(shù)據(jù)模型如何有效地管理所有的視覺輸入。

對(duì)此，亨德瑞克給出的回答是：“收集和標(biāo)記1萬億張圖像可能會(huì)解決一些模型盲點(diǎn)，但當(dāng)新的場(chǎng)景發(fā)生和世界發(fā)生變化時(shí)，與之前的每個(gè)盲點(diǎn)匹配很可能都會(huì)失敗?！?/p>

換句話說，僅僅將越來越多的照片添加到當(dāng)前的機(jī)器學(xué)習(xí)數(shù)據(jù)集中并不能解決其邏輯的核心缺陷。

總會(huì)有一些計(jì)算機(jī)以前沒有看到過的圖像，進(jìn)而無法準(zhǔn)確識(shí)別。那么研究人員能做些什么來縮小這5%的差距呢？

亨德瑞克表示，他們需要開發(fā)出現(xiàn)代機(jī)器學(xué)習(xí)之外的新方法，來創(chuàng)建更復(fù)雜的AI系統(tǒng)?；蛘?，不這么做——讓人類繼續(xù)保持相對(duì)于機(jī)器的自以為是的優(yōu)越感，哪怕再多一點(diǎn)點(diǎn)時(shí)間也好。

返回第一電動(dòng)網(wǎng)首頁 >