受人喜好的人工智慧最易受到VibeScamming攻擊-任何人均可建立即時詐騙網頁

Lovable是種生成人工智慧 (Artificial Intelligence, AI) 驅動的平台,允許使用文字提示建立全端(Full stack) 註1Web 應用程式,但該平台被發現最容易受到越獄攻擊(jailbreak attacks),允許網路犯罪者設置相似的憑證收集頁面。

Guardio Labs的 Nati Tal在與The Hacker News分享的一份報告中表示:「作為專門用於建立和部署網路應用程式的工具,其功能完全符合每個詐騙者的期待」。從像素級精準詐騙頁面到即時託管、規避技術等,甚至還有可用於追蹤被盜者資料管理儀表板—Lovable不僅是參與其中,且積極執行。該技術代號為VibeScamming,「氛圍編碼(Vibe Coding)註2」,係指的是一種依賴人工智慧的程式技術,透過用幾句描述問題陳述作為針對編碼調整的大型語言模型 (LLM)提示來產生軟體。濫用LLM和AI聊天機器人進行惡意用途並不是一個新現象。近期,研究顯示威脅行為者如何濫用OpenAI ChatGPT 和Google Gemini等AI工具來協助惡意軟體的開發、研究和建立內容。此外,如DeepSeek的LLM也被發現容易受到提示攻擊和越獄技術的影響,例如Bad Likert Judge、Crescendo和Deceptive Delight,這些技術允許模型繞過安全和道德護欄並產生其他被禁止的內容。這包括建立網路釣魚電子郵件、鍵盤測錄器和勒索軟體等樣本。

2025年3月發布的一份報告中,博通(Broadcom)旗下的賽門鐵克(Symantec)披露如何利用OpenAI的Operator(一種可代表用戶執行基於網路的操作的人工智能代理)來自動執行整個過程,包括查找特定人員的電子郵件地址、建立可收集系統資訊的PowerShell 腳本、將其儲存於Google Drive中,以及撰寫並向被害者發送網路腳本並誘騙被害者執行網路腳本。(如圖1)

 

一張含有 文字, 螢幕擷取畫面, 軟體, 圖表 的圖片

AI 產生的內容可能不正確。

圖:利用OpenAI的Operator自動執行整個過程

人工智慧工具的日益普及也意味著可以明顯降低攻擊者的進入門檻,使攻擊者能夠利用自身的編碼能力,在幾乎不具備任何技術專業知識的背景下,撰寫出功能性惡意軟體。例如:一種被稱為「沉浸式世界(Immersive World)註3」的新越獄方法,可以建之一個資料竊取程式,能夠收集儲存在Google Chrome瀏覽器中的憑證和其他敏感資料。該技術通過建立一個詳細虛擬世界並為角色分配特定規則來「利用敘事工程來繞過LLM安全控制」,從而繞過受限制操作。Guardio Labs最新分析更進一步發現像Lovable和Anthropic Claude 此類的平台在較小程度上可以被視為網路攻擊武器以產生完整的詐騙活動,包括簡訊模板、Twilio虛假連結簡訊傳遞、內容混淆、防禦規避和Telegram整合。

VibeScamming直接提示AI 工具自動執行攻擊週期的每個步驟,評估其初始回應,然後採用多提示方法,引導LLM模型產生預期惡意回應。此階段稱為「升級(level up)」,涉及增強網路釣魚頁面、改進傳遞方法以及提高詐騙的合法性。根據Guardio說法,Lovable不僅可以產生一個模仿真實Microsoft登入頁面,還可在其自身子網域(「即 *.lovable.app」)上託管URL上自動部署該頁面,並在憑證被盜後重定向到office[.]com。除此之外,Claude和Lovable似乎都遵遁尋求協助的提示,以避免詐騙頁面被安全檢測回應系統標記,並將被盜的憑證洩露給Firebase、RequestBin和JSONBin等外部服務或私人 Telegram頻道。

Tal表示:更令人擔憂的不僅是圖形的相似性,還有使用者體驗。對真實情況的模擬非常逼真,可以說比實際的微軟登入流程還要流暢。這展示以任務為中心的人工智慧代理的原始威力,以及如何在無嚴格安全強化情況下,不知不覺地成為被濫用的工具。「不僅生成具有完整憑證儲存scampage,還提供一個功能齊全管理儀表板,並可查看所有捕獲的資料憑證、IP位址、時間戳和完整的純文本密碼」。結合研究結果,Guardio也發布所謂VibeScamming Benchmark第一個版本,以對生成式AI模型進行嚴格測試,並測試在其網路釣魚工作流程中抵禦潛在濫用能力。ChaGPT得分為8分(滿分10分),而Claude得分為4.3分,Lovable得分為1.8分,這表明其可用性很高。

Tal亦表示:「ChatGPT 雖可說是最先進的通用模型,但也是最謹慎的模型」。相較之下,Claude一開始就堅決反擊,但事實證明非常容易被說服。一旦被引出「道德(ethical)」或「安全研究(security research)」的框架,便會提供出人意料的有力指導。

 

註1:Full stack (全端):顧名思義就是包合了前端和後端,如果該軟件工程師兼具前後端網站開發的能力,就可以成為全端開發者。

註2:Vibe Coding(氛圍編碼):首先提出Vibe Coding概念的人,是安德烈.卡帕斯(Andrej Karpathy),是OpenAI的共同創始人之一,也曾在特斯拉擔任AI和自動駕駛視覺總監,Vibe Coding是一種全新的程式設計方式,開發者透過自然語言向AI描述需求,由AI自動生成程式碼,其核心理念是「完全順應感覺(vibes)、擁抱AI帶來的進步,並忘記程式碼本身的存在」,而這種開發方法,從根本上顛覆了科技業長久以來的觀念:開發軟體需要擁有高超coding技能的工程師。

註3:沉浸式世界(Immersive World):是一種新的AI越獄技術,該技術利用大型語言模型 (LLM) 的敘事功能來繞過其安全限制。這種方法被稱為「沉浸式世界」,它將受限查詢框在一個虛構的世界中,誘使人工智慧產生原本被阻止的內容。

本文參考自:https://gbhackers.com/hackers-hijack-telegram-accounts/