轉(zhuǎn)自：看雪學院（ID：ikanxue）

　　圖1：在本文，我們研究針對移動設備上 PIN 碼和鎖屏密碼的熱攻擊。 在觸摸屏上輸入 PIN 碼（a-c）或圖案（d-f）之后，熱跡線保留在屏幕上，并可通過熱成像可視化。

　　? 摘要

　　PIN 碼和圖案仍然是最廣泛使用的基于知識的認證方案。由于熱攝像機變得無處不在且價格低廉，我們可以預見針對移動設備上用戶隱私數(shù)據(jù)的新形式威脅。熱感相機使得執(zhí)行熱攻擊成為可能，因為在認證時產(chǎn)生的熱跡線可以用于重建密碼。在本文，我們詳細研究利用熱成像推斷移動設備上的 PIN 和鎖屏密碼的可行性。在研究（N=18）中，我們評估了 PIN 和鎖屏密碼圖案的性質(zhì)如何影響其熱攻擊抗性。我們發(fā)現(xiàn)熱攻擊在移動設備上確實可行；重疊圖案很明顯地將熱攻擊成功率從100％降低到16.67％，而即使具有重復的數(shù)字，PINs 仍然脆弱（>72％ 熱攻擊成功率）。為了用戶和身份驗證方案設計師，我們總結(jié)并建議以下抵抗熱攻擊的方法。

　　ACM分類關鍵詞：

　　K.6.5安全和保護：認證

　　作者關鍵詞：

　　熱成像；移動認證；觸摸屏

　　?引言

　　個人移動設備上可用的敏感數(shù)據(jù)（例如個人照片，通話記錄，銀行帳戶和電子郵件）數(shù)量的增加強化了防止各種惡意攻擊的需要。因此，用戶使用不同的身份驗證機制保護對移動設備的訪問，包括圖案和 PIN（注：鎖屏密碼），以及生物識別方法，如 FaceUnlock 或 TouchID。眾所周知，隱私問題影響用戶的技術(shù)使用決策，這表明許多用戶可能放棄生物特征識別方法，因為存在相關的隱私問題，如生物識別信息泄露。然而，PIN 和圖案仍然是當今最流行的認證機制。

　　可用安全社區(qū)最近專注于調(diào)查不同的以用戶為中心的攻擊，例如背后窺視和污痕攻擊（注：smudge attack，根據(jù)手指在屏幕上留下的污跡劃痕判斷出鎖屏密碼）。與此同時，新的威脅出現(xiàn)了，迄今為止，研究界少有關注，它就是對移動設備觸摸屏的熱攻擊。過去幾年來，在大眾市場上出現(xiàn)了帶有便攜式熱成像儀的個人移動設備，例如 CAT S60（https://www.catphones.com/phones/s60-smartphone），或作為移動設備的可附加配件（如 FLIR One [https://www.flir.de/flirone] 或 Seek thermal[https://www.thermal.com]）。硬件價格下降使得這些設備價格實惠。在本文出版之時，能以約 400 刀的價格買到溫度敏感度為0.05℃的便攜式熱像儀。這自然地使得我們需要了解這種能夠進行熱攻擊的設備所帶來的威脅。

　　在熱攻擊期間，在遠紅外光譜中工作的熱像儀在認證后（注：指在屏幕上輸完密碼后）捕獲移動設備表面上留下的熱跡。這些痕跡被恢復并用于重建密碼。與污痕攻擊不同，熱攻擊可泄漏有關PIN和圖案輸入順序的信息（參見圖1）。此外，它們可以在受害者認證之后進行，減輕可能受到手遮擋影響的現(xiàn)場觀察攻擊（如背后窺視攻擊）的需要。

　　雖然已有前人研究利用熱傳導來識別交互的接觸點，但我們研究的是可靠性，針對在認證后從觸摸屏上留下的熱跡推導出密碼。Abdelrahman 等人描繪了針對表面熱跡識別的材料空間（注：意思是屬于這個集合空間內(nèi)的材料表面可熱跡識別）。然而，他們的研究工作并沒有含蓋觸摸屏材料。我們調(diào)查 Gorilla（大猩猩）玻璃的熱攻擊（https://www.corning.com/gorillaglass/worldwide/en/products-with-gorilla.html），它是被用于大多數(shù)觸摸屏的標準覆蓋玻璃。

　　在這項工作中，我們將探討當前的認證機制如何易受熱攻擊的影響。我們引入了一種基于自動計算機視覺的方法，在認證過程之后分析熱跡，并提取潛在的 PIN 或圖案（注：密碼）。我們的實現(xiàn)是開源的，因此允許進一步實驗熱攻擊（https://github.com/Yomna-Abdelrahman/ThermalAttack.git）。我們在用戶研究中調(diào)查了 PIN 和圖案的特性如何影響熱攻擊的成功，并報告我們的發(fā)現(xiàn)。特別是，我們關注于身份驗證方式的類型、密碼的屬性以及身份驗證后的攻擊實施時刻。我們發(fā)現(xiàn)，盡管包含重復數(shù)字的PIN的熱圖像不能被肉眼看到 PIN（圖1），但是在認證后的頭30秒內(nèi)予以實施，熱攻擊可以產(chǎn)生 72％ 至 100％ 的成功率。同時，如果圖案包括一個或多個重疊，針對圖案的熱攻擊成功將顯著降低（在前 30 秒內(nèi)從 100％ 降到17％）。

　　?貢獻聲明

　　本文的貢獻如下：

　　1. 針對最先進的智能手機觸摸屏的熱接觸傳導率評估，以及商業(yè)熱感相機如何利用它們進行熱攻擊。

　　2. 一種從熱痕中提取 PIN 和圖案來分析熱攻抗性的自動計算機視覺方法。

　　3. 關于常用認證方案的屬性如何影響熱攻擊的成功率的深入研究。

　　4. 一組幫助用戶和認證方案設計人員克服熱攻擊的建議。

　　?相關工作

　　我們的研究工作基于兩部分前人研究：（1）熱成像和（2）移動設備上對用戶認證的不同類型的威脅。

　　? 熱成像

　　熱像儀捕捉實景的熱圖。它們在波長于 7.5 和 13μm 之間的遠紅外光譜中工作。熱成像的特性與可見光的特性有很多差異。

　　第一個熱的特性是熱輻射。與可見光相比，熱輻射具有不同的反射特性，其取決于表面。以前的工作中利用了熱反射，以使身體穿戴和手持設備能夠檢測空中手勢[42]。

　　第二個獨特的特性是熱成像獨立于光和著色前提，這允許熱像儀用于面部和表情識別。熱像儀可以提供有關于感知到的身體溫度信息，可用于以無接觸的方式推斷用戶的生理和認知狀態(tài)[41]，比如通過評估其應激水平。

　　第三個獨特的特性是熱成像能夠檢測過去已經(jīng)存在的輸入。當用戶觸摸物體表面上的一個點時，熱量從使用者轉(zhuǎn)移到物體表面，這產(chǎn)生慢慢消失的熱痕跡?？墒褂脽岢上駲z測這些熱跡。熱痕跡已被用于（注：數(shù)據(jù)）輸入，以及根據(jù)用戶的熱手印來認證用戶。

　　在本文中，我們研究使用熱成像推斷在移動設備上輸入的密碼，這利用了熱痕僅會慢慢消失的事實。我們調(diào)查最先進的觸摸屏的熱特性，并研究密碼特性對熱跡的影響，從而成功地通過熱成像提取出密碼。

　　? 對移動設備上身份認證的威脅

　　移動設備（如平板電腦和智能手機）存儲并允許訪問太多的私人內(nèi)容。之前有人調(diào)查了一些使用戶的私人數(shù)據(jù)面臨風險的威脅模型。

　　?背后窺視攻擊

　　被討論最廣泛的威脅之一是背后窺視攻擊，在該攻擊中(注：背后）觀察者試圖竊聽用戶以發(fā)現(xiàn)私人信息，其中包含登錄憑據(jù)信息。有些方法可減緩背后窺視攻擊的沖擊：添加隨機線索；通過讓攻擊者觀察多個線索來分割攻擊者的注意力[14,29]；以及偽造用戶輸入。除專注于登錄憑據(jù)，研究還調(diào)查了為保護用戶免于被背后窺視短信和圖片的方法。大多數(shù)反擊背后窺視的方案都是攻擊者可以清楚地觀察一次密碼輸入的威脅模型。其他威脅模型涵蓋多次觀察攻擊或視頻攻擊。

　　?污痕攻擊

　　另一種前人已描述的攻擊類型是污痕攻擊，其中攻擊者利用交互后觸摸屏上留下的油性殘留物發(fā)現(xiàn)密碼[5]。污痕攻擊對圖案（注：密碼）的表現(xiàn)特別好，因為污跡提示了模式的開始位置。但是，他們幾乎無法提供有關PIN輸入順序的任何有用的信息。減少污跡攻擊的方法包括圖形化地轉(zhuǎn)換輸入密碼的視覺提示；引入隨機元素以導致在每次身份驗證嘗試時出現(xiàn)不同污跡；或者使用多個手指增加圖案復雜性。污痕攻擊的威脅模型假設攻擊者除了清晰可見的污跡以及可清楚看到這些污跡的理想照明條件外，還可訪問移動設備。

　　?熱成像攻擊

　　熱成像攻擊利用熱成像的特性。也就是說，在認證期間，熱跡線從用戶的手轉(zhuǎn)移到觸摸屏。這些慢慢消失的痕跡[32]使得，即使用戶已經(jīng)輸過了密碼，熱像儀也可以察覺顯示屏的哪些部分被觸摸過。類似于背后窺視，熱攻擊泄漏關于輸入PIN和圖案順序的信息。然而，相比背后窺視，熱攻擊可以在用戶離開設備后執(zhí)行。這給了攻擊者一個優(yōu)勢，因為他們不需要在認證時觀察用戶，這使攻擊更加微妙，并消除了手遮擋。雖然熱圖像可以通過交互來扭曲，但執(zhí)行有限交互或在認證后離開設備的用戶仍然容易受到熱攻擊。

　　Mowery 等人研究了對帶有塑料鍵盤 ATM 機進行熱攻擊的有效性。他們發(fā)現(xiàn)即使用戶認證過后，熱攻擊也是可行的。盡管 Mowery 等人調(diào)查了對 ATM 機的塑料鍵盤的熱攻擊，對移動設備和其他觸摸屏設備的熱攻擊幾乎沒有任何涉及。在初步研究中，Andriotis 等人[4]能夠觀察到在輸入圖案認證 3 秒后所產(chǎn)生的熱痕跡。這允許他們提取部分圖案（注：密碼）。

　　在我們的工作中，我們深入分析在對于移動設備觸摸屏上PIN和圖案及相應不同密碼特性情況下的熱攻擊的表現(xiàn)有多好。我們考慮了PIN中的重復數(shù)字和圖案重疊。為此，我們實現(xiàn)了ThermalAnalyzer（注：熱分析器），它可自動從熱痕跡中提取密碼。ThermalAnalyzer顯示，即使在認證發(fā)生30秒（即10倍時長于先前研究工作[4]），熱攻擊也可成功。

　　?理解熱攻擊

　　我們的研究工作依賴于熱從一個物體到另一個物體的傳遞現(xiàn)象。熱從用戶手上傳遞到與之接觸的物體表面，這留下了可用于分析的痕跡。它取決于物體表面材料的特性，即所謂的熱接觸電導[12]，是指兩個接觸物體（表面）之間的熱傳導率。

　　根據(jù)blackbody（注：黑體）模型[27]，任何絕對零點以上的物體（例如我們周圍環(huán)境中的物體）都會發(fā)出熱輻射。這種輻射被吸收，反射和傳播。然而，對于完全不傳導的表面，沒有傳輸部分[20]。這約束有效部分為反射和吸收輻射。因此，熱輻射可以表現(xiàn)為Thermal reflectivity + Thermal absorptivity = 1（熱反射率+熱吸收率=1）。

　　一旦物體接觸表面，熱輻射被物體表層傳播和吸收，導致溫度變化。這導致熱痕積聚在表面上。為了計算傳輸?shù)臒崃坎⒋_定熱量是否可以被商用熱攝像機檢測到，我們測量了接觸點處的溫度（T_contact）。我們使用Ray[40]的一個成熟的模型來計算兩個物體接觸點的溫度。在我們的場景中，兩個物體是：人體皮膚（即用戶的手指）和移動設備的觸摸屏（即Gorilla玻璃片）。

　　(1) T_contact = (b_skin*T_skin + b_gorilla_glass*Tgorilla_glass) / (b_skin + b_gorilla_glass)

　　(2) b = sqrt(K*P*C)

　　T_contact 取決于接觸點的溫度（T_skin 和 T_gorilla_glass）以及它們的熱穿透系數(shù)（b）。它是被表層滲透和吸收的熱能的總量。此 b 由等式 2 定義。它由熱導率（K），熱密度（P）和比熱容（C）的乘積構(gòu)成[38]。人類皮膚和 gorilla 玻璃短接觸的b分別是1000 pow(JS,-1/2.0)*pow(m,-2)*pow(K,-1)[38]和1385 pow(JS,-1/2.0)*pow(m, -2)*pow(K,-1)[44]（該值由我們大學的應用光學研究所通過實驗室測量確定）。

　　另外，接觸點溫度變化的檢測取決于相機的靈敏度。溫度的變化必須高于相機的溫度敏感度才能被相機區(qū)分開來。例如，如果觸摸屏玻璃的溫度T_gorilla_glass為23℃，用戶的手溫T_skin為30℃，則按等式1計算T_contact為25.9℃，這導致2.9?C的溫差（T_contact - T_gorilla_glass）。因此，熱敏感度≤2.9℃的熱相機將能夠通過利用熱痕跡衰減來恢復PIN/圖案輸入的順序。在我們的研究中，熱像儀的熱敏感度為0.04℃，它能夠感知手溫差異。

　　?威脅模型

　　在我們的威脅模型中，攻擊者（即未經(jīng)許可訪問設備的人）等待受害者完成認證過程并離開移動設備。比如用戶快速查看其最新消息后，將設備放在他或她的桌子上，然后去咖啡機取飲料。為了確保攻擊者在我們的威脅模型中的最佳條件，用戶不與設備進行交互，而只是認證（例如，查看來自通知或窗口小部件的更新），然后讓設備閑置。攻擊者然后使用熱像儀（如，集成于智能手機中的熱像儀）來拍攝設備觸摸屏的熱圖像。然后攻擊者以類似于我們在下一節(jié)中給出的分析的方式分析熱圖像，以識別PIN/圖案。與以前討論的威脅模型[24,36,29,52]類似，攻擊者利用了無人在設備附近的機會來登錄和訪問用戶的私人信息。

　　?THERMALANALYZER（熱分析器）下面，我們將介紹 ThermalAnalyzer 的設計和實現(xiàn)。此 ThermalAnalyzer 由捕獲圖像的熱像儀和用于提取 PIN 和圖案的識別流水線組成。? 識別流水線

　　識別流水線由六個步驟組成，用于從圖像中提取PIN或圖案（圖2）。這些步驟使用OpenCV（https://opencv.org/）實現(xiàn)，包括幀提取、預處理、噪聲和背景去除以及閾值處理。最后一步是特征提取，以推導出接觸點的位置和溫度信息。

　　? 幀提取和相機配置

　　我們使用 Optris 熱像儀 API（https://www.optris.com/software）捕獲了熱像。使用處理器間通信，我們以 16 位顏色格式的幀捕獲溫度信息的編碼。我們使用其API來配置相機以捕獲在 19℃ 到 32℃ 之間的溫度。這是為了實現(xiàn)表示如圖 2 所示的不同溫度值的較高的顏色對比度。對于每個被捕獲的幀，都會有預處理過程被執(zhí)行。這包括噪聲過濾、背景去除和閾值處理。

　　? 噪聲過濾

　　我們吸收了論文[1，32，42]所使用的噪聲過濾處理過程，采用 5x5 像素的中值過濾器，將圖像轉(zhuǎn)換為灰度圖并重新應用過濾器來增強降噪。

　　? 背景去除

　　為去除背景，我們構(gòu)建了半靜態(tài)背景模型。就我們來說，靜態(tài)模型是首選的，因為我們希望檢測到的熱痕跡持續(xù)多個幀，且不被動態(tài)背景模型吸收。然而，另一方面，在操作過程中，需要一個動態(tài)模型來容忍設備的輕微溫差。因此，我們構(gòu)建了一個半靜態(tài)背景模型，其中更新由學習速率（α）參數(shù)控制，該參數(shù)是控制背景模型更新速率的值。為 0.001 的 α 值在初步試驗中表現(xiàn)最好。結(jié)果，密碼輸入產(chǎn)生的最新熱痕跡仍處于前景，而與環(huán)境溫度沒有太多差異的熱痕則與背景相融合。

　　? 閾值處理

　　為了區(qū)分與識別熱痕跡相關的區(qū)域（圖2），我們使用了 Otsu 的閾值處理方法[37]?；?Otsu 算法的動態(tài)計算的閾值，幀被分為兩個之間有最小重疊的像素組。然后，我們應用了一個額外的形態(tài)closing(注：逼近？)操作來突出顯示閾值前景的邊界并除去背景。

　　?特征提取

　　我們的特征分為（1）用于 PIN 檢測的圓形痕跡，以及（2）用于圖案檢測的線條痕跡。

　　通過從二進制圖像中提取輪廓可檢測出熱跡線，在提取時，要掃描圖像來檢測輪廓數(shù)組。類似于 Sahami 等人的工作，我們使用圓形擬合輪廓檢測來識別 PIN 輸入。輪廓中心從提取出的輪廓的空間矩計算出。為檢測圓形擬合的熱跡，我使用相同的方式，采用 Hough Transform（注：霍夫變換）提取線形擬合輪廓檢測來識別輸入的圖案，如圖 2 所示。

　　? PIN 和圖案順序檢測

　　在處理流水線的這一步，已經(jīng)從捕獲的幀中提取了 PIN 或圖案輸入，但沒有關于輸入順序的信息。為了推斷 PIN 的順序，我使用帶虛擬輸入鍵盤的預設幀，采用正方形來識別 PIN 位置。正方形表示整個有效區(qū)域（ROI，regions of interest）。Mowery 等人報告說，以平均溫度表示 ROI 收獲了最佳的恢復輸入序列順序的性能。因此，我們計算每個 ROI 的平均溫度，并根據(jù)其權(quán)重排序。

　　為了識別重復條目，我們計算每個數(shù)字的總體平均溫度。從而減去背景溫度。因此，從未按下的數(shù)字將具有幾乎為零的溫度值。所以，重復輸入（即被多次觸摸的數(shù)字）具有超過總平均值的值?？梢詮臋z測到的按壓總數(shù)的相對溫度值推斷重復的數(shù)量?？傊?，給定一個四位數(shù)的 PIN，將有四種檢測結(jié)果：

　　1. 四種不同的熱痕：這意味著沒有重復。因此，以降序的方式根據(jù)其溫度排列痕跡剛推斷出（注：PIN密碼）序列。

　　2. 三種不同的熱跡：具有 T_contact 溫度的熱跡是PIN中的最后一個輸入，因為它會保持 T_contact 值。這為剩下的序列留下了 3 種可能性，這足以讓攻擊者嘗試而不被鎖定。然而，這種方法將與最近捕獲的幀一起才起作用，因為熱痕，即 T_contact，隨著時間推移衰減。

　　3. 兩種不同的熱跡：根據(jù)權(quán)重的相對比例確定每個數(shù)字的重復次數(shù)。然后規(guī)范化權(quán)重將顯示最后觸摸的數(shù)字。一旦識別出最后一位數(shù)字，攻擊者可以判斷它是重復的數(shù)字（即其他副本位于第1、2 或 3 位，而剩余的數(shù)字根據(jù)其熱痕排序），或最后一位數(shù)字不是一個重復的數(shù)字，因而攻擊者有3種不被鎖定的嘗試可能性。

　　4. 一個熱跡：這意味著 PIN 由相同的數(shù)字重復4次。

　　由于熱痕跡衰減，可能會遇到前三種情況之一。在這種情況下，我們認定丟失的數(shù)字為不明數(shù)字，并將其設置為 PIN 的開頭（例如，如果檢測到 3 個痕跡，沒有重復的證據(jù)，則第一個數(shù)字被標記為未知，其余的三個按照他們的溫度權(quán)重排序）。

　　對于圖案，遵循相同的方法，其中提取的線根據(jù)其平均溫度進行分析和排序。另外，比較所提取線的兩端溫度可識別此線的方向。我們的算法不考慮特殊圖案長度，因此我們將可用的熱跡線呈現(xiàn)可再生圖案。

　　更保守地分析，ThermalAnalyzer 沒有針對特定長度（最大為 9）的圖案檢測進行優(yōu)化。這是因為在我們的威脅模型中，而且很可能也是在真實情況下，攻擊者不知道圖案長度。這意味著在 ThermalAnalyzer 產(chǎn)生長度為n而不是9的猜測的情況下，剩余的 9-n 個熱痕跡在攻擊時已經(jīng)消失。

圖3：設置用于拍攝手機屏幕的熱像儀

　　? 收集熱像

　　盡管過去幾年引入的各種認證方案，但個人識別碼（PIN）是最常用的方案之一。此外，隨著 Android 設備在市場上占主導地位，圖案越來越多地被采用，這是一種 Android 圖形密碼方案，用戶可在其上的3×3網(wǎng)格中繪制一個可顯示的由點的連接構(gòu)成的線條圖案。

　　在這項研究中，我們分析了用戶輸入密碼后智能手機屏幕的熱像。我們使用 ThermalAnalyzer 分析這些圖像，并特別關注于理解（1）不同的認證方案，（2）密碼輸入和攻擊之間的時間，（3）密碼屬性影響熱攻擊可行性。

　　? 設計

　　該研究采用重復的測量設計，所有參與者都接觸到所有情形。我們研究了三個獨立變量對成功熱攻擊的影響：（1）密碼類型：所使用的方案是PIN還是圖案，（2）熱痕跡的年齡：我們分析驗證后0,15，30,45和60秒的熱痕，以調(diào)查它們可以被攻擊者利用多久，以及（3）PIN 和圖案的特性。

　　對PIN碼，我們研究的屬性是 PIN 中副本數(shù)。一方面，副本扭曲了熱痕跡，使輸入順序不好區(qū)分；另一方面，副本的存在減少了密碼空間，這意味著來自熱攻擊的較少信息將足以揭示密碼。

　　我們研究了無重復，1 重復和 2 重復的影響（例如分別為 1236，1223 和 3222）。例子分別顯示于圖1a，1b和1c。對于圖案，我們調(diào)查了圖案中重疊數(shù)的影響。當用戶的手指通過已被選中的節(jié)點時則發(fā)生重疊。我們預計重疊可能使熱跡線扭曲，足以使得不可能重建輸入的圖案。我們研究了在圖案中有一個，兩個或沒有重疊的影響（分別參見圖1e，1f 和 1d）。

　　? 儀器

　　我們的設備有兩個三星 Galaxy Note Edge 智能手機，一個熱相機（Optris PI450 [https://www.optris.com/thermal-imager-pi400]）和一個 GoPro Hero3 RGB 相機，均安裝在三腳架上。一個智能手機用于練習密碼，另一個用于實際輸入。熱像儀具有 382×288 像素的光學分辨率和 80Hz 的幀速率。它能測量 -20℃ 和 900℃ 之間的溫度，并具有作為噪聲當量溫差（NETD,是指被解釋為對象溫差的電子噪聲）的 0.04℃ 的熱敏感度。相機拍攝的波長在 7.5μm 和 13μm 之間的光譜范圍內(nèi)。鏡頭提供 80°×58° 的視場。熱敏相機使用 USB 作為電源以及傳輸數(shù)據(jù)。它提供以 16 位彩色值形式編碼的溫度信息。

　　為了確保在預期時間記錄下熱痕跡，我們在相機前面距離 80 厘米的使用位置標記（參見圖3），以指示為了借助熱像儀記錄熱痕跡的智能手機的最佳放置位置，同時這樣最小化熱反射。另外，我們使用 RGB 攝像機記錄了整個研究。此RGB視頻反饋在之后用于確定用戶手指不再接觸屏幕的時間。

　　? 參與者和過程

　　我們使用大學郵寄名單招募了 18 名參與者（10 名女性和 8 名男性），平均年齡為28.3歲（SD = 4.7）。所有參加者都是不同專業(yè)的學生。兩名參與者是左撇子。沒有一個參與者曾經(jīng)接觸過過熱相機。

　　參加者到達實驗室后，我們首先要求他們簽署同意書并說明研究的目的。接下來，我們將一組印在卡片上的PIN和圖案以及兩個智能手機交給參與者。為避免輸入錯誤和暫停，我們要求參加者首先通過在練習機上多次輸入密碼來預先熟悉密碼。我們指示參與者輸入密碼，然后立即將用于研究那個智能機放在他們前面的桌子上的位置標記上（參見圖3）。我們在每個輸入之間等待了三分鐘，以確保上一個輸入的熱痕完全衰減。每個參與者輸入了每種類型的三個密碼（即18個密碼）。其順序使用拉丁方來反平衡。

　　研究花了大約40分鐘。我們視頻記錄了研究過程，以對輸入時間的進行事后分析。在整個實驗中，除手機溫度外，我們還記錄了參與者的優(yōu)勢手（即用于輸入密碼的手）的溫度。實驗在穩(wěn)定于24℃的室溫下進行。

　　為了分析熱攻擊，我們考慮了兩個方法：（1）目視檢查熱跡和（2）使用我們的計算機視覺方法 ThermalAnalyzer。分析由作者之一完成，其不知道而且從未看過輸入密碼列表。另外，反饋來自于熱像儀的分析。早期使用 ThermalAnalyzer，此作者報告了存儲于 csv 文件中的包含所有可能組合的重新生成的PIN和圖案。

　　圖4：該圖顯示當衰減時間為0、30、60秒時輸入的PIN（頂部）和圖案（底部）導致的熱跡。

　　? 結(jié)果

　　為了評估針對 PIN 和圖案的成功熱攻擊，我們測量了

　　1. 成功率：熱攻擊成功顯示整個密碼的案例百分比。

　　2. Levenshtein距離：產(chǎn)生的猜測與正確密碼之間的距離。

　　成功率和 Levenshtein 距離在前人研究中用以反映成功攻擊率的高低程度（成功率）以及猜測與真實密碼之間距離接近程度（Levenshtein距離）。

　　我們目視檢查了數(shù)據(jù)中的熱圖像樣本（3名參與者）。但是，我們無法通過視覺恢復PIN的整個順序，也不能恢復圖案的方向。這在圖1a中是顯而易見的，圖中識別 3 和 6 的順序?qū)τ谌庋蹃碚f是具有挑戰(zhàn)性的。另外，圖案的起始點不是視覺上可以推導的（見圖1e）。因此，我們只考慮了 ThermalAnalyzer 的 PIN 和圖案。我們調(diào)查了三個獨立變量的影響：（1）認證方案，（2）熱痕年齡和（3）密碼特性。在研究期間執(zhí)行的任務通常需要 26％ 至 44％ 的 CPU 使用率。

　　?統(tǒng)計分析

　　由于我們有三個獨立變量，我們使用三因素重復測量方差分析（如果球形度被破壞，則使用 Greenhouse-Geisser 校正）來分析數(shù)據(jù)。隨后使用 Bonferroni 校正的t檢驗進行事后成對比較。

　　圖 5 和圖 7 顯示了熱痕跡和密碼特性的每個年齡的成功率。另外，圖 6 和圖 8 示出了熱痕跡和密碼特性的每年齡的 Levenshtein 距離。結(jié)果表明，熱攻擊針對 PIN 比針對圖案更成功。

圖 5：當熱圖像在前 30 秒內(nèi)拍攝時，針對PIN的熱攻擊成功率明顯較高。盡管通過多次觸摸相同的數(shù)位引入了噪聲，但是熱攻擊對具有重復數(shù)字的 PIN 表現(xiàn)良好。

　　圖 7：在認證后前30秒內(nèi)拍攝分析用的熱圖像時，對圖案的成功熱攻擊率明顯較高。此外，對于具有重疊的圖案，熱成功攻擊率明顯較低。

　　圖 6：猜測 PIN 和正確 PIN 之間的平均 Levenshtein 距離和標準偏差。

　　圖 8：猜測圖案與正確圖案的平均 Levenshtein 距離和標準偏差。

　　?驗證方案：PIN 碼 vs 圖案

　　總體而言，對 PIN（M=0.62，SD=0.31）的熱攻擊比對圖案（M=0.32，SD=0.16）的更成功。類似地，對 PIN（M=0.856，SD=0.127）的 Levenshtein 比對圖案（M=3.14，SD=0.28）的更短。我們發(fā)現(xiàn)密碼類型對猜測和實際輸入密碼F1,17=91.923，p<0.001之間的 levenshtein 距離具有重要主影響。事后分析顯示，與圖案型密碼（m=3.14，sd=0.28）相比，pin 型密碼（m=0.856，sd=0.127）之間存在顯著差異（p<0.001）。這意味著，與圖案及其猜測相比，pin 及其猜測通常更接近原始真實密碼。

　　?熱痕年齡

　　PIN 碼

　　從熱痕年齡來看，結(jié)果顯示熱攻擊越早，成功率越高， Levenshtein 距離越?。▍⒁姳?）。方差分析的結(jié)果顯示，熱痕跡年齡對正確密碼與猜測的密碼的 Levenshtein 距離的有顯著主導影響(F_1.79,30.45 = 41.7，p<0.001)。使用 bonferroni 校正t檢驗的事后分析顯示60秒與所有其他持續(xù)時間（p<0.001）以及45秒與所有其他持續(xù)時間之間具有統(tǒng)計學顯著性差異（p<0.001）。這表明在身份驗證后的最初 30 秒內(nèi)對 pin 進行熱攻擊會產(chǎn)生出與 30 秒后對 pin 進行熱攻擊相比更接近真實密碼的猜測密碼。這也反映在了如圖 5 所示的成功率中?？偟膩碚f，這表明對 pin 的熱攻擊在身份驗證后 30 秒內(nèi)執(zhí)行時非常有效。

　　?圖案

　　類似于 PIN 的結(jié)果，圖案的結(jié)果表明，跡線越老，熱攻擊成功的可能性越小，Levenshtein 距離越高（參見表1）。我們發(fā)現(xiàn)熱痕跡年齡對正確圖案和猜測圖案之間的 Levenshtein 距離具有明顯主導影響 F_2.228,38.876 = 13.295，p<0.001。使用 bonferroni 校正t檢驗的事后分析顯示 60 秒和所有其他持續(xù)時間之間的具有顯著差異（p<0.05）。

　　這表明，在認證后 60 秒發(fā)生的圖案熱攻擊，與前 45 秒內(nèi)完成的相比，產(chǎn)生的猜測密碼比正確密碼相關甚遠。這也反映在了圖7所示的成功率上?？偠灾?，這表明對圖案的熱攻擊在認證后 45 秒內(nèi)執(zhí)行時非常有效。

表1：對于熱跡不同年齡的成功率和 Levenshtein 距離

　　?手和屏幕溫度

　　我們發(fā)現(xiàn)手和屏幕之間的溫度差（D_t）影響熱攻擊成功。D_t 越高，熱攻擊越成功，因為更多的熱能傳遞到屏幕上（參見等式1）。使用 Pearson 的乘積矩相關性，我們發(fā)現(xiàn) D_t 和熱攻擊成功率之間的相關性從 0.55（0秒）增加到 0.85（在60秒）。這意味著 D_t 與攻擊成功之間存在很強的相關性，而 D_t 對于認證后過一段時間內(nèi)發(fā)生的攻擊特別重要。

　　?密碼特性1. PIN 碼重復

　　我們發(fā)現(xiàn)重復數(shù)字數(shù)量對抗熱攻擊的重要主導影響 F_2,34 = 13.23，p<0.01。事后分析顯示無重復（M=1.23，SD=0.25）和2重復（M = 0.47，SD = 0.08）之間，以及1重復（M=0.87，SD＝0.15）與2重復（M=0.47，SD=0.08）之間存在顯著的統(tǒng)計差異（p<0.05）。這意味著pin的重復次數(shù)越多，猜測越接近正確的pin碼。

　　這表明盡管重復數(shù)字的存在使得難以確定檢測到的觸摸的順序，但該方法能夠確定數(shù)字是否重復兩到三次。因此，在重復的 PIN 的情況下，通過覆蓋的熱痕跡所加上的安全性被大大減少的密碼空間所抵消。

　　2. 圖案重疊

　　我們發(fā)現(xiàn)重疊次數(shù)對正確圖案與猜測圖案間的距離具有主導影響 F_1.441,24.503 = 28.563，p<0.001。事后分析顯示兩對之間存在顯著差異（p <0.001）：無重疊圖案（m=0.48，sd=0.08）對比一次重疊圖案（m=3.67，sd=0.68）；無重疊（m=0.478，sd=0.08）對比兩重疊（m=5.29，sd=0.43）。第三對之間沒有顯著差異（p>0.05）。

　　這表明盡管通過身份驗證后長達 30 秒的熱攻擊可以成功（100％的成功率）地發(fā)現(xiàn)圖案，但重疊的存在顯著增加了其對熱攻擊的抵抗力。

　　?討論

　　我們的研究結(jié)果和前人研究綜述顯示具有特定性質(zhì)的表面可以用于使用熱成像檢測表面交互。在此基礎上，我們在前面的部分介紹了收集和分析認證過程中的熱痕跡的結(jié)果，我們總結(jié)和討論此結(jié)果，形成以下主要觀察。

　　我們特別關注 PIN 和圖案，因為它們是目前最常見的基于知識的認證方案。然而，其他認證方案也可能容易受到熱攻擊。我們預計，依賴于提示回憶的圖形密碼的攻擊類似于我們調(diào)查的圖案密碼。

　　PIN 通常很容易被觀察攻擊破解（De Luca 等人報告 95％ 的對 PIN 攻擊成功率）。我們的研究結(jié)果表明，PINs 在防御熱攻擊方面也很差，當認證后的前 30 秒內(nèi)進行攻擊時，整體成功率從 78％到 100％ 不等（圖5）。雖然針對PIN的污痕攻擊可以揭示哪些數(shù)字被輸入，從而大大減少密碼空間，但熱攻擊可以進一步發(fā)現(xiàn)數(shù)字輸入的順序。

　　在沒有重疊的情況下，在認證后 30 秒內(nèi)執(zhí)行熱攻擊的情況下，可100％成功地發(fā)現(xiàn)最大長度的圖案（圖7）。然而，只要添加一個重疊就會顯著增加對熱攻擊的抵抗力，因為它會影響方向檢測和輸入圖案的順序。重疊圖案不具有與重復 PIN 相同的效果，因為它們還影響檢測到的方向和所輸入圖案的順序。因此，我們建議在圖案中加入重疊移動，以增加對熱攻擊的抵抗力。

　　與重疊相反，騎士移動不會扭曲圖案點的熱跡，而只能扭曲交叉點。因此，騎士移動在使熱攻擊更加困難的上也是無效的，因為它們是防止污痕攻擊的。

　　此外，與污痕攻擊不同，熱攻擊不需要找到痕跡可見的最佳角度。Mighty 等人報告[34]，熱攻擊顯示出能對容忍不同的視角/距離。Mowery 等人評估不同的距離（30-70厘米），并沒有觀察到檢測的變化。在我們設置中，相機被放置在手機上方 80 厘米處，因此我們期望距離對結(jié)果的影響最小甚至沒有影響。

　　與觀察攻擊相反，熱圖像是在認證后拍攝的，因此攻擊對受害者來說不易察覺，且不受認證速度的影響。此外，熱成像的操作允許無縫攻擊，因為它以光不變的方式操作，其中照明條件不影響熱信息的捕獲。

　　使用具有高溫敏感性的熱像儀和自動計算機視覺方法來檢測痕跡，優(yōu)于前人相關工作報告的結(jié)果。我們的方法在30秒鐘之后發(fā)現(xiàn) PIN/圖案具有高成功率，而前人工作中的成功攻擊只能在認證后3秒鐘。雖然更高靈敏度的相機可能在手動分析中導致更好結(jié)果，但我們認為主要性能增強來自于自動化計算機視覺方法，即使在人工目視檢查不可用的前提下，它也可以檢測出熱痕跡。

　　?抗熱攻擊建議

　　存在抵御熱攻擊的方法。我們提出三個類別：（1）根據(jù)我們的研究結(jié)果，我們能夠引導用戶選擇耐熱攻擊的PIN或圖案，（2）基于文獻綜述，我們建議使用理論上不受熱攻擊影響的方案，以及（3）我們提出了扭曲熱痕跡的新方法，這減少了成功的熱攻擊的機會。

　　?PIN 和圖案的選擇

　　我們的研究結(jié)果表明，在認證圖案中添加單個重疊顯著增加了對熱攻擊的抵抗力。當涉及到PIN時，盡管重復會扭曲熱攻擊依賴的熱跡，其他因素也有助于揭示重復的PIN的容易度或難度。

　　我們建議通過在 PIN 中增加位數(shù)來增加 PIN 對熱攻擊的抵抗力。PIN 越長，用戶輸入的時間越長，這又會在用戶認證時降低第一位數(shù)字的熱跡的強度。

　　?反熱攻擊方案已經(jīng)提出了許多認證方案來抵抗不同類型的攻擊。我們不知道哪些系統(tǒng)構(gòu)建時就主要以抵抗觸摸屏熱攻擊為目的。然而，一些現(xiàn)有的以知識為基礎的方案在設計上的確可抵制它們。

　　反熱攻擊的一組認證方案依賴于觸摸輸入以外的一種或多種模式。例如，生物識別方案依賴于諸如加速計之類的傳感器收集的數(shù)據(jù)來識別用戶。由于不使用觸摸屏進行專用輸入，因此不易受到熱攻擊。

　　類似地，將觸摸輸入與另一個模式組合的認證方案增加了對熱攻擊的抵抗性。PhoneLock，SpinLock，TimeLock 和 ColorLock 通過使用用戶在認證時需要響應的聽覺和觸覺提示來增強PIN輸入。這些隨機的提示用于反背后窺視攻擊。其他例子利用眼睛運動。例如Liu等人和 Bulling 等人使用注視輸入進行身份驗證。同樣地，Khamis 等人介紹了組合凝視手勢和觸摸輸入的 GazeTouchPass。根據(jù)認證方案，使用熱像儀仍然可以幫助攻擊者揭示觸摸屏上輸入的部分內(nèi)容。對于觸摸屏來說，對這些方案的熱攻擊將無法發(fā)現(xiàn)PIN。

　　圖 9：除了基于我們的結(jié)果和前人工作的解決方案之外，我們還提出了以下方法在輸入密碼后抵抗熱攻擊：（a）使用白色閃光燈 3 秒，（b）用戶用手隨機擦拭屏幕以扭曲密碼的熱跡，（c）強制 CPU 最大速運轉(zhuǎn) 3 秒。

　　此外，旨在抵抗污痕攻擊的新穎認證方案也增加了對熱攻擊的抗性，因為污痕攻擊利用了與基于觸摸輸入類似的弱點。例如，SmudgeSafe 通過隨機變換底層圖像，使圖形密碼的污痕攻擊復雜化，從而在每次登錄嘗試時造成不同的污痕。Von Zezschwitz 等提出了三種基于令牌的圖形密碼方案，其中兩種方法與圖案相比在防止污痕攻擊上，明顯更加安全。這些方案依賴于隨機定位的可拖動對象。因此，熱攻擊預計不會比污痕攻擊表現(xiàn)更好。

　　?實物保護措施

　　雖然新穎的認證方案增加了對熱攻擊的阻力，但是增加當前 PIN 和圖案輸入對熱攻擊的安全性仍然是一個重要方面。將手放在顯示屏上可能會刪除屏幕上的所有熱痕跡，如圖 9b 所示。然而，存在不同的程序可降低熱攻擊的成功率而不涉及用戶。例如，如圖 9a 所示，將顯示器的亮度增加到最大數(shù)秒將加熱顯示屏溫度，從而減少熱痕跡可見的時間。類似地，在手機上運行計算繁重的進程快速加熱手機，會導致類似的效果，如圖 9c 所示。

　　?不足

　　在這項工作中，我們探討并了解 PIN 或圖案特性對其易受熱攻擊的影響。因此，我們的威脅模型假定攻擊者擁有理想環(huán)境。在這種情況下，用戶解鎖電話（例如，檢查在主屏幕上的通知或日歷條目），而無需進一步的交互。我們承認，在現(xiàn)實世界的情況下，用戶在解鎖手機后可能會進行互動，從而創(chuàng)造更多的痕跡。未來的更復雜的方法（例如，使用深度學習）可以通過例如利用痕跡年齡來僅考慮最舊的痕跡來分離認證和交互圖案。

　　雖然 CPU 使用率可能會影響熱攻擊的成功，但我們在測量過程中并沒有測量 CPU 使用率。在未來的工作中可以考慮調(diào)查 CPU 使用率對熱攻擊成功率的影響。

　　我們用固定距離的帶有熱像儀固定設置。初步研究顯出出熱攻擊對觀察距離的魯棒性。然而，從 0 到 180 度不同的視角且不同距離地探索手機，可能會增強熱攻擊的理解和實用性。

　　?未來的工作

　　在將來的工作中，我們的結(jié)果可以用來推廣對帶有觸摸屏的設備的熱攻擊。我們可以考慮更廣泛的場景，包括平板電腦和共享的公共觸摸屏設備（例如，IKEA自助退房，用戶在觸摸屏上輸入 PIN 碼，而沒有任何進一步的屏幕交互，使其PIN易受熱攻擊）。此外，擴展我們的 ThermalAnalyzer，去加入神經(jīng)網(wǎng)絡和學習機制以更好地檢測 PIN 和圖案將是有趣的。我們及時分析了一個圖像中的每個點。我們預計擁有更加復雜的圖像或視頻的熱記錄流以及痕跡歷史的使用可以進一步提高攻擊的成功率。

　　我們的發(fā)現(xiàn)是基于熱敏相機靈敏度。使用具有較高熱敏感度的熱像儀將甚至允許在 60 秒后檢測到熱痕跡。我們考慮了長度為 4 的 PIN。然而，可以根據(jù)需要重用此方法來推斷更長的 PIN。

　　我們分析了熱接觸電導，以確定我們提出的攻擊的適用性。另外，計算和分析觸摸屏的傳熱系數(shù)將提供關于痕跡的衰減速率和年齡的更詳細的信息。如果用戶知道這兩個熱性質(zhì)，他們將能夠識別其設備發(fā)生熱攻擊的可能性。

　　另一個方向可能是分析不同的屏幕保護。我們測試了一些材料，但視覺分析顯示，與gorilla玻璃相比，許多其他材料表現(xiàn)更差，因為熱痕跡表現(xiàn)得更密。對不同屏幕保護膜的詳細調(diào)查可以進一步了解。

　　?結(jié)論

　　我們調(diào)查了對最先進的觸摸屏和移動設備的認證方案的熱攻擊的可行性。為了分析熱圖像，我們實現(xiàn)了 ThermalAnalyzer，該分析儀能夠在頭 30 秒內(nèi) 72％-100％ 地發(fā)現(xiàn)PIN，以及 100％ 地發(fā)現(xiàn)沒有重疊的圖案。我們還發(fā)現(xiàn)，圖案重疊顯著增加了對熱攻擊的抵抗力。我們的工作驗證了熱攻擊確實對移動設備構(gòu)成威脅，應被用戶和身份驗證方案設計人員相關所考慮。我們還提供幾種解決方案，根據(jù)我們實驗結(jié)果、前人工作以及扭曲熱跡的方法，來防止熱攻擊。

　　?致謝

　　這項工作部分在 Amplify 項目中進行，該項目由歐盟研究委員會（ERC）根據(jù)歐盟2020年研究和創(chuàng)新計劃（授權(quán)協(xié)議號：683008）獲得資助，并獲得了德國研究基金會在SimTech卓越集群（EXC 310/2）內(nèi)的資助。

　　本文由 看雪翻譯小組hanbingxzy編譯，來源 HIC Group@vis.uni-stuttgart.de