网空威胁情报(CTI)日益成熟: 2020年SANS CTI调查结果解读
2020-03-11 11:00:09 Author: www.freebuf.com(查看原文) 阅读量:292 收藏

一、报告核心观点

2020年2月份,SANS如期公布了《2020 SANS Cyber Threat Intelligence(CTI) Survey》,报告中首先强调了一下CTI的定义:网空威胁情报(CTI)是分析关于满足利益相关方特定需求的对手的能力、机会和意图的信息。组织利用网空威胁情报项目来聚焦于他们所面临的威胁,并提供具体的信息来帮助组织抵御这些威胁。

2020年的这篇报告受访组织数高达1006,几乎是2019年受访者的2倍。相比2019年,在2020年的调查报告中SANS听到了受访者们更多成熟的回答。SANS研究所在本次调研报告中,探讨了网空威胁情报在过去一年中的发展,下面摘录了《2020 SANS Cyber Threat Intelligence (CTI) Survey》的核心观点

1. 合作是关键

尽管拥有专门的威胁情报团队的组织越来越多,但我们发现:无论是通过付费服务提供商的关系或是通过信息共享组织或项目来使用威胁情报,均强调与彼此间的合作。此外,组织内的协作也在增加,许多受访者报告说,他们的CTI团队是整个组织协调工作的一部分。

2. 并非所有处理威胁情报的过程都需要相同的自动化水平

当涉及到数据处理时,半自动化可能是黄金标准,即使是一些经常被认为是冗余的任务,例如数据去重;因为在某些时候,数据去重中的部分信息是对分析人员是有用的。

3. 必要的数据和工具一直在随着CTI团队的发展而变化

随着越来越多的组织开始产生他们自己的情报,CTI分析师需要的信息本质也从最初的威胁订阅或供应商提供的情报转变为来自内部工具和团队的数据。虽然可以使用许多类似的工具和流程来处理这类信息,但组织也必须明确如何使用合适的工具来处理内部生产的数据。

4. 成熟团队逐步形成对CTI的具体计划和需求

需求是情报处理过程中的关键部分,有助于确保分析人员重点关注的情报收集和分析,以及适当的情报生产。这使得情报处理更有效率、更可测量——这是长期成功的关键。去年报告中,少数组织表示他们已明确定义和记录了情报需求;而今年,近一半的受访者表示他们已经定义并记录了情报要求。这是数据上的一次奇妙飞跃,鼓励人们在CTI项目中文档化记录对威胁情报的具体需求。

5. 消费和生产情报的共同体才能为CTI做出贡献

SANS本以为在调研中会有更多的组织消费情报而非生产情报,但是实际调研发现:超过40%的受访者既能生产又能消费情报——这是网空威胁情报领域日益成熟和专业化的重要标志。只消耗情报或缺少任何优先的情报需求而难以满足组织机构中的大部分情报需求,他们因此考虑同时去生产和使用情报。

二、报告调查主要内容(节选)

2.1 如何衡量情报计划的有效性?

CTI社区和许多组织都生产和消费情报。多年来,越来越多的组织表示他们在同时生产和消费情报数据。2019年开始,基于原始数据生产和消费威胁情报的组织增加了10%;基于带上下文威胁告警数据和发布的威胁报告来生产和消费威胁情报的组织增加了近7%在CTI的三种类型中,我们看到只有“已发布的威胁情报报告”有更多的单一消费者,约55%的受访者使用这种类型情报而不去生产它(参见图5)。

图5 CTI 生产和消费的类型

(译者注:此文图例均遵循SANS报告原始图例编号)

对于许多组织来说,无论是情报生产还是消费,真正能够提升防御能力的情报计划,是一套利用威胁情报从发现到行动的流程——这套流程就是经典的情报周期闭环。

图6 情报周期

情报周期是一个产生准确情报、有效情报的过程。

1. 计划 / 需求(Planning/Requirements

它开始于一个计划阶段,在这个阶段,必须回答情报问题(这也称为“情报需求”)。

2. 收集(Collection

当需求明确下来,下一个阶段就是收集情报了。这个阶段中,收集数据来帮助组织回答问题并满足需求。

3. 处理(Processing

下一个阶段是处理:在这个阶段中,数据将转换成可用的格式进行分析。

4. 分析(Ananlysis

第四阶段是分析,在这一阶段中,数据被综合运用来满足(最初的)情报需求。

5. 传播(Dissemination

最后一个阶段是传播:此阶段以适当的格式收集调查结果,以达到第一阶段“计划阶段”所设定的目标。在计划阶段需要注意的是,虽然情报周期是一个循环的过程,但有时有必要在这个过程中反馈和调整。例如,如果在分析阶段发现还需要额外的信息时,或者信息必须以不同的格式被处理,那么需要灵活调整情报采集计划。在每个阶段做灵活的调整和情报反馈,这样的情报流程最终会得出一个有根据、准确的分析结果。

2.2   哪些流程和工具能有效支持CTI的协作工作?

网空威胁情报包括有关威胁的分析信息并提供指导采取哪些步骤来应对这些威胁。利用网空威胁情报分析并采取针对性步骤来防御威胁的过程,在概念上看,似乎比较直观好理解,但是其实际过程是非常复杂的,它依赖于人、流程和工具的组合来产生、消费和作用于威胁情报。

这三个组件对于任何一个CTI项目的成功来说都是至关重要的。如果没有人员评估信息和做出分析判断,就不会有CTI。同样,如果没有流程和工具,即使是最优秀的分析师也会发现,他们的组织能够转化为可操作的情报数据量也会受到严重的限制。随着更多的人与更多团队间的协同工作,拥有正确的流程和工具来支撑CTI的工作越发重要了。

SANS报告中将CTI工具分为两组:

一组是处理数据并将其转换为情报的工具;

数据必须经过处理才能被分析并转化为情报。处理流程包括一些重复的工作,例如数据去重、数据富化和数据标准化,以及其它需要分析师操作的任务,例如逆向恶意软件。大多数组织表示其情报处理流程要么是手工操作的过程,要么是半自动化的过程。数据去重是最常见的自动化过程,只有27%的组织是靠人工数据去重。样本的逆向工程是自动化程度最低的处理流程,有48%受访者申报人工处理样本逆向工程;这个比例比2019年略有上升。

在管理工具方面,这一趋势更加明显,这意味着在CTI功能中使用这些管理工具时,分析人员必须手动开始输入数据,或者手动将数据从一个系统输入到另一个系统中进行分析。

从2019年开始,使用外部公共数据源和半自动方法来富化情报信息的数量增加了5%。有趣的是,除了富化内部数据外,能全自动处理富化数据的受访者比例保持不变或略有减少,这表明现阶段的威胁情报分析处理流程趋于半自动化,依赖工具实现完全自动化是有一定的难度。

另一组是管理情报包括基于情报生成告警的工具。

图4 CTI管理工具使用调研

上图显示了组织会使用哪些类型的管理工具来聚合、分析和/或呈现网空威胁情报信息。SANS报告显示:使用最多的工具是安全信息和事件管理(SIEM)平台、网络流量监控工具和入侵监控平台。其中,SIEM平台来作为CTI管理工具的自动化使用率较高;其他大多数管理工具,包括网络流量分析工具、入侵监控平台和取证平台都具有一定的自动化程度,但电子表格和电子邮件大多都是是人工处理的。尽管电子表格和电子邮件缺少自动化或半自动化的流程,但是它们仍然是CTI分析师的顶级管理工具之一。

2.3   CTI使用的核心场景和情报内容有哪些??

图11 威胁的检测、响应、预防和缓解

如图11所示:在检测、响应、预防和缓解风险整个范围内,受访者们都会使用网络威胁情报(CTI)。其中,最主要的用途是用于威胁检测(89%),接下来是威胁预防(77%),威胁响应(72%)和威胁缓解(59%)。那些过于聚焦在预防威胁的组织机构,主要会在检测和响应中挣扎,而这些本来就是过去他们预防威胁的核心能力。近几年从很多组织机构获取的调查数据清晰的表现出,至少哪里应用了CTI,哪里就是把检测作为重中之重。

图12 威胁检测和响应的价值

如图12所示:在检测和响应案例中,最具有价值的分析要素排序分别是:IoC,对手的TTP情报和威胁行为,数字足迹(行为操作记录)或攻击表征,攻击者策略分析。图12勾勒出了一个对于组织机构来说,粗粒度的各类价值情报排名。目前IoC仍然是最具价值的要素,于此同时使用的机构组织正在更聚焦于TTP类情报。随着这些机构组织有更合适、更有效地工具去评估使用TTP情报,他们很有可能挤掉IOC把TTP作为首要检测参考要素。

结合TTP和IoC可以形成一套强大的检测和响应策略。相比于用IoC过滤一遍所有的数据去增加误报率,将TTP作为首要检测策略参考,然后基于TTP的检测子集结果,辅以IoC进行比对会更有效果。举个例子,在我已使用VPN的网络中直接使用IoC作为检测结果,会比已经用TTP检测后的恶意使用VPN网络再用IoC进行检测误报率高很多。这就使得分析师可将TTP作为一种可调整的、持久性高的检测方式,但其依然可以通过IoC获取上下文信息中的价值点。另外,IoC仍然可以作为一种高效的机制,在威胁发生后概括相关上下文信息。一些团队很在应急响应时,他们会优先处置他们在检测阶段发现的IoC。

2.4   组织有效使用CTI的阻力是什么?

图14 CTI 阻碍因素

让CTI团队举步维艰的原因有很多,包括那些他们可控范围之外事务,比如管理上的支持和企业资源。有时候,起步就很难。当被问到最大的阻碍时,基本上主要集中在“人”和“流程”上占到57%的首要因素是缺乏专业的员工和能充分利用威胁情报的经验。紧接着的因素是,针对团队采取合适的情报处理流程的时间不足占到52%。有趣的是,仅占到23%的最末因素,是利用这些信息知识去做决策的信心不足(如图14)。

CTI的使用者以及威胁情报团队似乎很清楚如何使用情报和理解情报价值,但是仍然在寻找真正合适的才能方面有所匮乏。好的一面是,只有少数经遭遇着缺乏管理层的困难,这意味着CTI的价值主张在大多数企业的较高程度上是受认可的。

SANS调查了受访者们针对CTI各个维度的满意度评价:满意度最高的一项是“看到威胁能力”(75%),然后是“在威胁上的调查和报告”(73%),以及“相关的威胁数据和信息”(72%)。“通过受访者的工具技能进行CTI信息的自动处理和聚合能力”也还不错(61%)。但是对CTI各个维度的满意度中,被选最少的是“机器学习”,满意度只有36%,以及对于其效果和价值方面有58%的相当不满意。这表明:虽然工具可以有利于情报分析,但实际过程严重依赖于情报分析师的专业能力。

三、从报告中我们能看到什么?

3.1   网空威胁情报应用逐渐成熟

表明网空威胁情报逐渐成熟的一个标志是:2020年CTI调查结果显示:几乎一半的受访者表示他们有一个专门的威胁情报团队(有近50%的受访者组织拥有致力于CTI的团队,而2019年为41%)。

SANS作者Robert M.Lee在CTI的调研结果分析研讨会中也表示:“在过去的三年中,我们看到选择由专门的团队组成负责整个CTI计划的受访者比例有所增加。”尽管拥有专门的威胁情报团队的组织数量正在增长,但调研结果也显示了内外部协作的方向。

在过去的一年中,有更多的组织选择了与外部合作资源,有61%的受访者表示:CTI任务是由组织内部门与服务提供商团队协作完成;而在2019年的报告中,只有54%;团队完全依赖服务提供商来运用CTI的比例与2019年的调查报告中保持相对一致,在2019年的调研报告中,该比例为8%,2020年比例为7%。一些受访者对支持其组织的CTI项目的协作提供了补充见解:例如内部网络防御的处理,这表明其他CTI任务可能由外部合作伙伴来处理,如数据收集和提供威胁评估。一名受访者表示:虽然他们的主要职责是支持其他组织的威胁情报服务提供者,但他们仍然与自己的外部合作伙伴有关系。在某些情况下,一个组织的大量信息不可与外部合作伙伴分享,例如一些政府部门调查对象的信息数据;但即使在这种情况下,与外部合作伙伴合作仍然让其提出有益见解,使该政府组织尽可能的看到更多威胁趋势。这种内外部协作的趋势也是促进组织内进行情报内生的因素之一。

表明网空威胁情报逐渐成熟的另一个标志是:情报需求的定义和记录。报告中披露已采用正式流程来收集威胁情报需求的组织数量比去年增加了13.5%,到2020年将近44%(见下表)。这使得情报流程更加有效和可衡量,这是长期成功的关键。

SANS从2019年开始调研“情报需求如何驱动情报项目的发展”,这一领域在过去一年中取得了令人难以置信的增长。情报需求确定了在威胁情报项目中必须要明确解决的哪些具体问题或者聚焦点。明确情报的需求是情报生命周期循环中的第一阶段。在此阶段上,组织对情报需求具体化、流程化、文档化,也表明组织对威胁情报的应用逐渐成熟起来。

3.2   网空威胁情报内生趋势逐年上涨

多年来,越来越多的组织表示他们在同时生产和消费情报数据。今年的报告中显示:近一半的受访组织既能利用原始数据生产情报也能消费威胁情报。从2019年开始,基于原始数据生产和消费威胁情报的组织增加了10%;基于带上下文威胁告警数据和发布的威胁报告来生产和消费威胁情报的组织增加了近7%

图5 CTI 生产和消费的类型

上图披露的情报生产与消费趋势,也侧面证实了奇安信对信息化建设和网络安全同步建设提倡的内生安全:面对信息化变革和不断变化的网络威胁,网络安全进化到了“内生安全”时代,即把安全能力构建在业务系统上,让业务系统能不断从内生长出安全能力。

利用组织内的原始数据、带上下文的告警数据以及内外部的威胁情报分析报告数据等来做情报生产,基于组织内部信息化和业务系统实现“情报内生”,是实现高级威胁检测、构建内生安全能力的必要条件之一。

3.3   网空威胁情报处理流程趋于半自动化

威胁情报是对有关对手意图、机会和能力的数据进行汇总和分析的结果。在威胁情报处理流程中,将正确的数据放到正确的地方进行分析是至关重要的。在整个情报分析过程中,虽然总会有一定程度的人工分析工作,但这样做的目的是让CTI分析师能将时间花在需要他们专业判断的事情上,并将手工工作从不需要的流程中剥离出来。

SANS在CTI处理工具调研中发现:完全自动化实现情报处理的工具比较少,大多数处理工具都是半自动化流程来处理和分析威胁情报。SANS表示,威胁情报的数据富化在自动化流程处理方面有提升。依靠人工来使用内部数据源来富化情报信息降低了5%,而运用半自动化和全自动化流程来富化信息却略有增加。由于数据处理在分析过程中是至关重要的一步,因此分析人员似乎不愿意将这一步完全信任自动化处理流程。相对于完全信任自动化处理流程,他们更倾向于验证自动化处理流程,因此简化验证的过程可能导致更多的半自动化处理流程,而非全自动化处理流程。

3.4   团队协作是情报有效使用的关键

人通常被认为是CTI项目的核心,他们不仅进行分析来获得最终的情报,而且还决定使用什么工具和流程来支持他们的工作。专业的CTI团队能帮助组织更好地理解和处理他们所面临的威胁。所以许多组织刚开始建立自己的CTI团队时,不仅需要注重CTI技能的培训,还需要注重与内外部合作伙伴的团队协作能力。实现内生安全的机制之一,正是需要信息化环境与网络安全深度聚合,在新机制下实现技术聚合、数据聚合与人的聚合。

上图表明在过去的一年中,更多的组织选择了与外部合作资源:有61%的受访者表示:CTI任务是由组织内部门与服务提供商团队协作完成;而在2019年的报告中,只有54%。

实际上,组织内部在做情报内生的建设中,也离不开与具有情报优势的安全厂商合作,无论是商业情报源的输入、情报生产过程中的安全运营还是高级威胁的分析判定,都需要专业的情报分析师来完成情报分析闭环。

四、如何实现情报内生,聚合应变?

4.1   情报内生是什么

“情报内生,聚合应变”实际上是指基于威胁情报能力构建三位一体能力体系,实现威胁情报协同联动防御,主要包括以下方面:

情报能力规划先行,实现关口前移

组织机构基于威胁情报能够有效发现防御环境中的系统弱点,在同步规划安全与信息化建设时,提出合理的安全规划建议,建立正确的架构安全体系,增强系统自身安全防御能力从而减少被攻击面。

情报能力叠加演进,实现内外兼修

组织机构结合自身的业务数据、安全数据、告警数据,通过威胁情报内生体系生产自身密切相关的情报,挖掘出未知威胁的攻击方法,并及时告诉防御方需要增补哪些积极防御手法或工具,有效弥补动态防御短板。同时,情报内生体系高效地综合分析各种网络空间安全相关威胁情报数据和内生威胁情报数据,对不断演化的网络空间威胁做出识别、理解和预见,来实现安全体系的“内外兼修”,以掌握整体安全情况并定向发现潜伏威胁,并提供清晰明确的威胁情报来支持响应决策。

情报能力以人为本,实现实战运行

SANS报告中提到“人、工具、流程相互配合及内外部团队合作是有效使用威胁情报的关键”。内外部的协力合作情报内生正是内生安全的最佳实践之一,这个过程中强调“情报能力以人为本,实现实战运行”。因为网络安全的本质在对抗,对抗的本质在攻防两端能力较量,所以威胁情报以人为本,通过人员、技术、数据与组织的深度聚合,实现“实战化”安全运行,有效保障信息化系统“内生安全”能力输出。

4.2   情报内生实践案例

SANS报告中今年最核心的观点之一就是:大多数组织/机构 都意识到用自身组织内的原始数据、带上下文的告警信息以及已发布的威胁情报报告等数据(这里包含了结构化数据和非结构化数据)来同时实现情报生产与消费,最大化地发挥威胁情报价值。

基于情报内生的高级威胁检测实践案例,奇安信威胁情报中心把实现内生安全的关键步骤和系统组件都总结在《情报内生:高级威胁检测实践的必要条件》中。

详情请参阅:https://ti.qianxin.com/blog/articles/endogenous-intelligence-necessary-conditions-for-advanced-threat-detection-practices/

*本文作者:奇安信威胁情报中心,转载请注明来自FreeBuf.COM


文章来源: https://www.freebuf.com/articles/system/228817.html
如有侵权请联系:admin#unsafe.sh