中国红客联盟 首页 资讯 国内安全 查看内容

人工智能安全(二)RACONTEUR: A Knowledgeable, Insightful, and Portable LLM-Powered Shell Command Explainer

2025-3-3 10:11| 发布者: Honkers| 查看: 23| 评论: 0

摘要: 概要 持续的网络攻击对组织的数据、应用程序和其他宝贵资产构成重大威胁。恶意shell命令通常充当攻击者远程控制受害者计算机的跳板。为了阻止此类尝试,入侵检测系统(IDS)通常会捕获并提醒可疑的shell命令

概要

持续的网络攻击对组织的数据、应用程序和其他宝贵资产构成重大威胁。恶意shell命令通常充当攻击者远程控制受害者计算机的跳板。为了阻止此类尝试,入侵检测系统(IDS)通常会捕获并提醒可疑的shell命令,以便人类分析师进行进一步调查。对发出警报的shell命令进行手动审核是安全操作的关键部分。安全分析师应该完全理解这些命令,从字面语义到高级意图。然而,恶意命令的复杂语法和隐蔽性使得初级技术人员甚至安全专家都难以理解。
大型语言模型(LLM)的最新突破为程序员和非程序员释放了代码解释的潜力。人们发现,商业LLM(如ChatGPT)可以通过用户提示为常用命令生成可理解且相当准确的解释。然而,当面对复杂或看不见的命令时,通用LLM会提供错误甚至幻觉的解释。对于使用包含私有实用程序或敏感参数的特殊shell命令的公司来说,这种情况可能会更糟。例如,在敏感的内部源代码意外泄露后,三星禁止使用ChatGPT和其他人工智能聊天机器人。
本文中,我们开发了一个基于LLM的shell命令解释器,名为RACONTEUR,它对shell命令,特别是恶意命令提供了知识渊博、见解深刻的解释。RACONTEUR还可以移植到其训练数据集中不存在的私有shell命令。

如何为通用LLM提供shell命令解释方面的专业知识?
现有的通用LLM在shell命令解释方面的性能并不令人满意,特别是对于恶意命令。微调通用LLM是一种有前景且经济实惠的解决方案,但缺乏用于shell命令解释任务的域数据。为了解决这个问题,我们构建了一个由“提示、响应”对组成的微调数据集。为了考虑用户提示的多样性,我们设计了基于规则和基于模型的方法来生成各种各样的提示。这些回复是由著名代码库的专业知识组成的。经过微调后,RACONTEUR能够解释shell命令中每个步骤的操作,并总结shell命令的整体行为。

如何对shell命令的意图提供有见地的解释?
对命令的深入理解不仅包括对语义的逐步描述,还包括对意图的抽象,即理解攻击者想要通过什么手段(技术)实现什么(策略)。将基于自然语言的描述转化为MITRE ATT&CK框架定义的技术和策略,有助于分析师快速寻求相应的缓解措施。例如,命令rundll32.exe.keymgr,KRShowKeyMgr的语义解释可能是“该命令使用rundll38.exe执行位于keymgr.dll中的导出函数KRShowKeyMgr。”如果分析师也了解此命令背后的技术,即将存储的Windows凭据从凭据管理器导出到属于“T1003-OS凭据转储”技术的文件,则会更有帮助。这一行动的最终目的是MITRE ATT&CK框架中的“TA0006-凭证访问”策略。通过确定技术和策略,可以利用丰富的先验知识来应对这一威胁。不幸的是,基于自然语言的解释与MITRE ATT&CK文档给出的标准描述之间存在差距。为了解决这一差距,我们建立了一个嵌入模型,将RACONTEUR和MITRE ATT&CK的描述映射到同一个嵌入空间中,在此基础上,我们将命令与描述最相似的技术和战术相匹配。

如何提供在训练阶段看不到的私有shell命令的准确信息?
在组织中执行的大部分命令都是专有的,涉及组织内开发的仅供内部使用的实用程序、参数和文件。当出现不公开的看不见的命令时,LLM可能会提供不准确和虚构的信息。为了使RACONTEUR能够移植到私有shell命令中,我们设计了一个文档检索器,以收集补充文档中的相关上下文(例如,公司的先验文档),以协助RACONT EUR的解释过程。通过这种方式,RACONTEUR可以根据提供的文档分析命令并提供忠实的解释。

贡献

我们建议使用RACONTEUR,这是一种基于LLM的shell命令解释器,可以提供有关shell命令(尤其是恶意命令)的知识渊博且富有洞察力的描述,以协助安全分析师识别潜在的网络攻击。
我们为RACONTEUR配备了一个全面的工具包,包括行为解释器、意图标识符和文档检索器,使RACONTEUR能够对公共和私有shell命令提供全面和忠实的解释。
我们进行了广泛的实验,以验证RACONTEUR能够提供高质量的解释和对指挥意图的深入洞察。我们策划的数据集是开源的,以促进LLM辅助代码解释的进一步研究。

背景与动机

SHELL命令指令

技术与战术。要分析shell命令,特别是恶意命令,必须了解技术和策略。该技术是命令的具体操作,即“如何”逐步执行命令。战术是命令的最终目的。,
“为什么


免责声明:本内容来源于网络,如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

路过

雷人

握手

鲜花

鸡蛋

发表评论

中国红客联盟公众号

联系站长QQ:5520533

admin@chnhonker.com
Copyright © 2001-2025 Discuz Team. Powered by Discuz! X3.5 ( 粤ICP备13060014号 )|天天打卡 本站已运行