最近關(guān)于AI的負(fù)面新聞著實(shí)有點(diǎn)多。不是“合成老板聲音騙走173萬”，就是“過度采集信息侵犯學(xué)生隱私”……作為一個(gè)長期關(guān)注AI進(jìn)展的科技媒體，我們一邊替AI著急，同時(shí)又覺得心里的另一只靴子落了地——“該來的總會(huì)來”。

在很長一段時(shí)間內(nèi)，大家更愿意將目光聚焦在AI的技術(shù)進(jìn)步上。比如“AI語音合成”，相關(guān)的新聞大家一定也看過很多了，“聊天App推出變聲成明星功能”，“僅用1分鐘AI就能模仿你說話”，“谷歌語音克隆實(shí)現(xiàn)情感表達(dá)”等等，無不伴隨著對(duì)技術(shù)的樂觀期盼，相關(guān)技術(shù)成果也被研究者們慷慨地分享在開源平臺(tái)上。形勢(shì)一片大好中，這次“AI語音詐騙”事件恰恰給我們提了個(gè)醒：

技術(shù)的進(jìn)步與普及速度，已經(jīng)遠(yuǎn)遠(yuǎn)走在了普通人的認(rèn)知前面。在社會(huì)高度智能化、技術(shù)應(yīng)用門檻越來越低的今天，AI也必然成為詐騙者的目標(biāo)和幫兇，危及個(gè)人資產(chǎn)安全只是遲早的事。

對(duì)于個(gè)人來說，為了爭(zhēng)取不被騙子收割，預(yù)先了解AI有哪些能力，就是必不可少的一課了。今天就來說說，有哪些辨別起來難度較大的AI騙局……

難度系數(shù)一星：偽造郵件

釣魚郵件，即黑客偽造官網(wǎng)發(fā)送郵件，其中攜帶惡意木馬或虛假內(nèi)容來竊取信息，早已經(jīng)不是什么新鮮的攻擊手段了。以現(xiàn)有的安全技術(shù)，檢測(cè)并防御來自釣魚郵件的威脅，幾乎不費(fèi)吹灰之力，近兩年類似的騙局也很少出現(xiàn)在大眾眼前。

可是，如果郵件這一用途與人工智能相結(jié)合，使攻擊者能夠訪問公司網(wǎng)絡(luò)并說服員工授權(quán)轉(zhuǎn)賬，那帶來的后果就會(huì)非常可怕了。

2017年，美國南俄勒岡大學(xué)就被誘騙向進(jìn)行了190萬美元的轉(zhuǎn)賬，他們認(rèn)為自己的轉(zhuǎn)賬對(duì)象是負(fù)責(zé)建設(shè)學(xué)生娛樂中心的安德森建筑公司，實(shí)際上卻轉(zhuǎn)到了騙子的銀行賬戶。該事件導(dǎo)致FBI向其他大學(xué)與機(jī)構(gòu)發(fā)出了風(fēng)險(xiǎn)警告。而在此前，已經(jīng)有78起類似的騙局發(fā)生，電纜制造商Leoni和科技公司 Ubiquiti Networks 之類的公司，曾被騙走了數(shù)億美元。

這種商務(wù)電郵詐騙(BEC)到底是如何實(shí)現(xiàn)的呢?

首先，騙子很容易找出與機(jī)構(gòu)有業(yè)務(wù)聯(lián)系的工程項(xiàng)目公司，然后冒充既定廠商向機(jī)構(gòu)財(cái)務(wù)部門發(fā)送支付賬單，機(jī)構(gòu)信以為真之后就會(huì)將后續(xù)的款項(xiàng)轉(zhuǎn)賬到騙子的銀行賬戶，等意識(shí)到被騙的時(shí)候，通常已經(jīng)追不回來了。

之所以能夠達(dá)到如此逼真的效果，除了騙子會(huì)注冊(cè)一個(gè)與官方類似的域名來假冒郵件地址之外，人工智能的參與也起到了非常大的幫助。

攻擊者通過Twitter、LinkedIn、Facebook等社交媒體，就能夠全面了解目標(biāo)的業(yè)務(wù)往來信息，有些企業(yè)和機(jī)構(gòu)的官網(wǎng)也會(huì)公開(暴露)自己的組織機(jī)構(gòu)和管理人員，而年齡、性別、博文等等多維數(shù)據(jù)都可以被注入到機(jī)器學(xué)習(xí)訓(xùn)練模型之中。

比如一名高管在Twitter 上公開了他的日程、演講計(jì)劃、旅行計(jì)劃等，系統(tǒng)就能分辨出他何時(shí)在參加會(huì)議或是在工作，從而調(diào)整攻擊策略，然后借助AI語言模型生成連貫的令人信服的內(nèi)容。最常見的是要求更改付款賬戶或是進(jìn)行緊急付款，而高管人員正在假期或長途飛行時(shí)很難聯(lián)系到本人，毫無防備的受害者很容易就會(huì)因“事態(tài)緊急”而選擇聽從號(hào)令。

由此產(chǎn)生的攻擊能幫助攻擊者繞過一些基于簽名的檢測(cè)系統(tǒng)，成功騙過當(dāng)前的一些反垃圾郵件遙測(cè)技術(shù)。而且，它還能不斷學(xué)習(xí)，如果攻擊有效，信息就會(huì)被反饋到模型中，進(jìn)一步提升未來攻擊的準(zhǔn)確性。失敗的數(shù)據(jù)也會(huì)反饋回來，以便機(jī)器可以學(xué)習(xí)哪類信息是不奏效的。

別覺得這個(gè)套路過于簡(jiǎn)單。聯(lián)邦調(diào)查局的數(shù)據(jù)顯示，2018年由偽造電郵騙局造成的損失超過了125億元(其中最大的一筆高達(dá)50億美元)，是2017年的兩倍多。最關(guān)鍵的是，由于不帶有釣魚頁面或文件，因此這種騙局很難通過安全軟件來進(jìn)行甄別，地址和內(nèi)容看起來都是“合法的”。

想要不上當(dāng)，只能依靠個(gè)體的警覺了。如果掌握公司財(cái)務(wù)的是一個(gè)對(duì)技術(shù)近況不甚了了的“傻白甜”，結(jié)果可想而知……

難度系數(shù)二星：偽造筆跡

如果說提高警惕、仔細(xì)核驗(yàn)，郵件詐騙在很大概率上能夠防范的話，那么AI偽造筆跡這種個(gè)性化特征，可能連極為熟悉你本人的親朋都容易上當(dāng)。

英國UCL大學(xué)研究人員就開發(fā)出了“My text in your hand writing”人工智能算法，能夠分析一個(gè)人的字形及其特殊的書寫方式，生成字形、字號(hào)、顏色、筆線紋理、垂直及水平間距等完全相同的筆跡，這是迄今為止對(duì)人類筆跡的最精確復(fù)制。

而早在2017年上海舉行的GeekPwn2017國際安全極客大賽上，就有團(tuán)隊(duì)通過類似的筆跡模型寫出了一張以假亂真的欠條。

這個(gè)自帶書法筆跡深度學(xué)習(xí)系統(tǒng)的手臂 “DeepWritting”，首先從現(xiàn)場(chǎng)一位作家的真人筆跡中進(jìn)行學(xué)習(xí)，掌握了作家筆跡的每一個(gè)細(xì)節(jié)和習(xí)慣，然后很快寫下了一張欠條，即使是現(xiàn)場(chǎng)請(qǐng)來的專業(yè)筆跡鑒定師，也無法發(fā)現(xiàn)有任何與真跡不符的地方。換句話說，如果騙子利用該模型偽造一張欠條，法律上也難以判定它是假的。

當(dāng)然，欠條只是小case，恐怕罪犯也不愿輕易勞心勞力地只坑一個(gè)人。但如果是偽造出具有較高精準(zhǔn)度的法律或金融文件，比如財(cái)務(wù)合同簽名、遺囑、歷史人物的手跡等等，就為司法證據(jù)的鑒定和非法證據(jù)的排除帶來了不少困難，有可能改變事實(shí)的關(guān)鍵走向。

歷史上就曾發(fā)生過《明星》畫刊編輯花費(fèi)數(shù)百萬購買了大量包含希特勒筆跡的資料，歷時(shí)數(shù)月學(xué)習(xí)和模仿，偽造了一本多達(dá)62冊(cè)的希特勒日記，并將之作為獨(dú)家新聞公之于眾，在當(dāng)時(shí)引起了全球性軒然大波。但很快歷史專家通過材料鑒定，發(fā)現(xiàn)該日記的紙張里含有當(dāng)時(shí)尚未發(fā)明的材料，才讓真相大白。

但隨著AI生成算法能力的提升，未來想要靠專業(yè)鑒定師來識(shí)別出字跡的真?zhèn)危峙戮筒皇且患菀椎氖铝恕?/p>

難度系數(shù)三星：機(jī)器人電話

當(dāng)然，無論是郵件，還是手寫授權(quán)，在現(xiàn)代人的生活場(chǎng)景中都在逐漸淡化。不過，上述詐騙方式還沒遭到破解，就有更難以辨別的新手段出現(xiàn)了。機(jī)器人電話，就是AI語音合成技術(shù)一種比較廣泛的應(yīng)用。

有些場(chǎng)景只是有點(diǎn)煩人，比如利用AI機(jī)器人進(jìn)行推銷。想必大家都沒少經(jīng)歷過，接通一個(gè)看似官方的來電，聲音那頭會(huì)非常自然地跟你打招呼“你好”，停頓之后，如果你客氣地回應(yīng)“哪位”，對(duì)面的機(jī)器人就會(huì)將你引導(dǎo)到手機(jī)短信，鼓勵(lì)你辦理業(yè)務(wù)。

而有些手段就涉及到詐騙犯罪了，比如用虛假借口索取金錢或個(gè)人信息。由于電銷機(jī)器人技術(shù)已經(jīng)非常普及，幾乎不需要高投入就能行騙，也導(dǎo)致此類騙局正在泛濫。

比如今年4月份鄭州市公安局破獲的一起詐騙，某公司就是先從網(wǎng)上購買AI機(jī)器人電話軟件，由電話機(jī)器人自動(dòng)操作，以每天1000-1500個(gè)的速度撥打客戶電話，一旦有客戶沒有拒絕接聽并表示感興趣，這些聲音甜美、說話熱情的AI語音機(jī)器人就會(huì)記下該電話號(hào)碼，然后由業(yè)務(wù)員主動(dòng)添加該客戶的微信吸引他們充值投資，一旦資金到賬，就迅速拉黑對(duì)方。

2018年，美國聯(lián)邦委員會(huì)還向四家在全美境內(nèi)提供非法機(jī)器人呼叫電話投放服務(wù)的運(yùn)營商發(fā)起了訴訟。這些公司會(huì)向人們推銷虛假的能減免債務(wù)的服務(wù)，亦或是偽裝成慈善機(jī)構(gòu)欺騙大家捐贈(zèng)汽車等財(cái)務(wù)，再把它們賣掉。還有的聲稱自己是谷歌的“數(shù)據(jù)服務(wù)代理”，詐騙小企業(yè)主支付數(shù)百美金來優(yōu)化其搜索排名……

更讓人無奈的是，目前除了用戶主動(dòng)進(jìn)行“詐騙號(hào)碼”標(biāo)記之外，并沒有其他能真正有效阻止非法機(jī)器人電話的方法。

難度系數(shù)四星：語音克隆

上述技術(shù)和語音克隆比起來，還是小巫見大巫了。

因?yàn)闄C(jī)器人語音系統(tǒng)還可能存在卡頓、音色機(jī)械化、語氣表現(xiàn)力不足、多輪對(duì)話“鬼打墻”等問題，但到了克隆級(jí)別， 不僅說話的聲音達(dá)到了真人水準(zhǔn)，甚至還能模仿真人的情感和語調(diào)，自動(dòng)說出全新的語句。

文章開頭提到的，AI偽裝成母公司“老板”電話，講出帶有德國腔的英文，要求必須在一個(gè)小時(shí)之內(nèi)給“匈牙利供應(yīng)商”轉(zhuǎn)賬，成功騙走22萬歐元，采用的就是語音克隆技術(shù)。

除了能夠利用神經(jīng)網(wǎng)絡(luò)對(duì)原始音頻進(jìn)行建模和模仿之外，AI還能夠分析本人的社交網(wǎng)絡(luò)，很快掌握個(gè)性化的說話方式、與周圍人的關(guān)系、興趣愛好等等，從而模仿你與身邊的人自然地交流。

別說是工作伙伴了，就連親媽，可能都聽不出克隆出來的語音與本人有什么區(qū)別。

Buzzfeed的科技記者Charlie Warzel就曾使用一款免費(fèi)的語音合成軟件，模仿了自己的聲音，然后打電話給自己的媽媽，結(jié)果對(duì)方居然沒聽出來。

目前，谷歌的WaveNet、Lyrebird語音合成軟件，Adobe的 Project VoCo，以及百度的Deep Voice，科大訊飛、騰訊等等都提供語音合成的開源應(yīng)用。順著這個(gè)思路往下延伸，或許有一天，AI可以模仿我們給朋友寫信、玩轉(zhuǎn)社交媒體，替我們簽名，甚至能夠代替我們和親朋好友聊天……這一切似乎很美好，但如此容易獲取的技術(shù)，無異于將很多個(gè)人安全數(shù)據(jù)都交到詐騙罪犯手中，又會(huì)是一種多么可怕的存在?

AI詐騙這場(chǎng)仗，未來該如何打？

當(dāng)然，說了這么多，并不是為了讓大家對(duì)AI敬而遠(yuǎn)之。絕對(duì)的“技術(shù)安全”本身就是一個(gè)偽命題，因噎廢食并不可取，也并不現(xiàn)實(shí)。或許，當(dāng)我們將AI作為一柄神兵利器釋放出來的時(shí)候，就注定就走上一條“以子之矛攻子之盾”的道路。

如何將“安全之盾”鑄造的更加強(qiáng)大呢?如果說技術(shù)的發(fā)展是問題的起源，它也將成為解決問題的歸宿。最典型的，除了加強(qiáng)個(gè)人安全警示教育之外，許多新的技術(shù)方法也開始被應(yīng)用在防范AI詐騙上。

比如安全公司賽門鐵克，最近就提出了采用區(qū)塊鏈技術(shù)和IP語音(VoIP)呼叫的方法，就是來辨別來電者的真實(shí)性，從而減少哪些模擬來自上級(jí)的詐騙電話。

再比如，卡迪夫大學(xué)和查爾斯三世大學(xué)的科學(xué)家通過NLP技術(shù)來判斷書面謊言，通過一個(gè)名為VeriPol的工具來識(shí)別語句中的各種特征，判斷出報(bào)告是否真實(shí)。對(duì)于一些偽裝真人發(fā)出的詐騙郵件或書面文件，更強(qiáng)大的AI模型顯然能起到很好的反制的作用。

當(dāng)然，在不明確技術(shù)泛濫后果的前提下，合理地釋放技術(shù)成果也成為一些科技企業(yè)的選擇。比如OpenAI前段時(shí)間推出的性能更高的無監(jiān)督語言模型GPT-2，就沒有按照行業(yè)慣例進(jìn)行開源，只發(fā)布了簡(jiǎn)化版，不發(fā)布數(shù)據(jù)集、訓(xùn)練代碼以及模型權(quán)重，目的就是避免“這一技術(shù)被人惡意利用”。

除了技術(shù)人員與黑客們斗智斗勇，產(chǎn)業(yè)界也開始從規(guī)則建設(shè)的層面，為濫用AI的行為設(shè)立了禁區(qū)。FTC和FCC近年來都加強(qiáng)了對(duì)非法機(jī)器人電話的監(jiān)管行動(dòng)，向八家小型電信運(yùn)營商和互聯(lián)網(wǎng)通訊公司發(fā)出通知，敦促他們追捕并關(guān)閉可疑的欺詐電話來源。在美國安全中心發(fā)布的《人工智能與國家安全》報(bào)告中，也明確將人工智能偽造技術(shù)列為威脅國家安全的重點(diǎn)技術(shù)。中國也開始通過政策管理和技術(shù)限制等途徑進(jìn)行布局，來應(yīng)對(duì)人工智能的潛在安全風(fēng)險(xiǎn)。

這次“AI語音詐騙”事件讓全球人民真切地經(jīng)受了一次以AI為名的安全教育?？偟膩碚f，攻擊者與防御者手中的武器都在升級(jí)迭代，而圍繞AI生成的網(wǎng)絡(luò)欺騙與安全問題有著太多意想不到的可能性，這場(chǎng)全新的斗法，或許是時(shí)候從技術(shù)維度，走向常識(shí)、倫理、規(guī)則等更廣闊的領(lǐng)地了。