回到大数据的安全技术运营应用场景下,这块和以往的实践完全不同,“大数据在安全运营上的应用主要分为两类模型:一类是离线学习模型,用于生产知识库;一类是在线分析模型,用户对安全大数据进行实时分析,发现威胁,并进行解决方案的实时响应。”,模型这个词我的理解是解决困难后固化实践的一种方法,例如离线学习模型属于不断积累的过程,提升后端能力,在线分析模型则是实时分析与检测,感知度会有要求,整体而言还是比较容易理解的。云主防的例子很好理解,这里就不再描述了,微软与CrowdStrike目前主打这类架构,建议直接读原文(1.2.5章节),云端对于发起异常分析请求来源的场景时会做出反应,如果能经过后端能力分析后确定威胁就直接下发拦截或清除。
建立模型只是解决其中一个问题,对于整体安全架构而言,在运营过程中需要有比较健壮的运营分析系统,随着系统的完善与思路应用改进,后续将变成目前很流行的威胁智能分析系统(也类似安全大脑的概念)。通过对系统的分解,将每个具体问题的解决思路与实践沉淀为特定的模型或小系统,随后组合起来将形成一套成体系和复杂的系统。由于从刚开始工作到如今还比较习惯手工作坊式的工作节奏,所以一时半会还未转变过来此类思路(关注全局,降低细节关注度),随着对这些概念以及思路的理解与思考,发现涌出了对以前未曾做好或完善的方向的一些思路与看法。古人云授人以鱼不如授人以渔,从整本书通读过程里第一次阅读到章节《技术运营必备的6种思维》就提供了启发,确实需要改变自己的思维,思维决定了做事的方式方法,还可能导致效果的不同,知识是比较容易获取的,但是看待事物的视野能力需要一定程度刻意地培养。
接下来就结合这一章节的学习和体会写一些内容,大多都是一些那时那刻内心的心得。“除了知识和见识,思维方式也是大家在工作中应具备的非常重要的软实力。”,在提供的案例中,换位思考后发现自己也会如主角B一样采用“设法通过提炼专家规则实现自动化处理”这类通常的“改进思维”的思路,因为从内心中感觉到这块是可控的,改进其实也算是创新的范畴,我们需要理解的是并不是完全重新造出一个事物才算是创新,改进的场景是相对熟悉的。能实现自动化或半自动化在当时当刻觉得应该是能使效能得到很大提升,但实际是提升的天花板终归是有限的,考虑到后续的专家资源投入也需要算在安全预算成本中,整体下来又回到了以往的工作思维中。近几年慢慢地了解到周围存在的观点,例如系统或者模型的落地在当时当刻确实从0到1有了很大的感知度提升,价值很大,但是之后的运营投入从1到90的难度相对很大,因此对于热切追求性价比的社会氛围下却显得有些步履蹒跚,因此往往是不断地追逐新概念与新思路落地解决老问题。其实也是2022年下半年才想明白任何事物需要相对来看,这些做法没有对错,只有当时当刻合适与不合适。社会活动探索创新的过程也会是如此的结果,而如果循规蹈矩可能就如专家经验投入的改进思维一样,在效果与经济效益层面可能有些缓慢。适当地接触一些新思路或实践是不错的,说不定就是解决困局的一种小方法或钥匙。
“主角A把威胁发现的问题设计成机器学习中常见的分类和聚类问题,从另一个角度进行思考,创新了另一套方法,并且在实践中遇到难题时能够换个思路引入更多维度的数据,进而成功解决了难题,达成了目标”,假设并不熟悉机器学习(第一次了解到还是2017年团队内部技术分享时涉及了《Web安全之机器学习入门》这本书),那可能就想不出这类方法了。结合情报追踪与挖掘方向的实践,此刻不由得想起Mandiant团队在2014发布的追踪恶意文件或特定组织的思路与方法《Tracking Malware with Import Hashing》,结合上一年度2013年Mandiant团队发布经典的获得业界认同的第一份APT研究报告,可以推测在威胁发现并有了进步的过程中肯定是对他们以往的工作或流程有了一定的改进与创新。imphash利用到PE文件中的导入表函数汇总后计算出哈希值进行聚类或者挖掘相似恶意文件家族文件,在情报挖掘与追踪中确实发挥了很重要的作用,整个算法不难理解但效果确实挺好,第一次就给人很优雅的感觉。随后在2016年JPCERT发布了一些改进与创新的方法《Classifying Malware using Import API and Fuzzy Hashing – impfuzzy –》,结合模糊哈希的特性来进一步泛化发现相似的文件进行聚类从而发现新的威胁活动,感觉又是一次思路的转变,当然还有机器学习或深度学习在情报挖掘追踪中的应用,这类需要涉及的知识背景由于存在门槛,因此短时间无法理解到方法的精髓。
系统性思维需要整合各个能想到且经过验证的思路的自身优势并打造出更为健壮有效的系统,值得尝试并转变思路换位思考如何更好的设计一个系统或整合一个系统?猜测是属于架构师或者leader类需要思考或投入的点,建设一个达成目标所需的系统框架,最终目的还是要达成目标或效果来解决特定问题,围绕目标效果拆解步骤与环节来结合每个所能使用的力量(属于书中提及的全局思维)。回到自身,从面对的困难与场景出发,假设想设计一个自动情报挖掘与分析系统来提升人的效能,那应该如何设计呢?从自己的理解与观察发现团队与团队的差距很大部分在于对自有实践的固化能力以及系统落地能力的不同,实现地越好人均能效比越高就越有价值,差距也会越大。如果是在以前考虑设计系统会顿感头大无从下手,深陷于一些技术细节里,毕竟这些想法未曾想过而内心难免排斥。此时我觉得会考虑先利用书里提及的系统性思维将整体框图确定下来,之后利用改进思维再根据已有的专家经验或实践落地自动化或半自动化系统,接着研读业界近几年实践或案例寻求合适的实践思路,在延展性上多阅读相关的会议论文或知名安全会议记录来启发思路,最后是考虑运营反馈与工程化问题以及验证环节,每个团队或组织的内部情况不同,并不是每种提炼的想法与思路都可以适合落地,也不是每种思路与想法落地后效果会非常好,都存在慢慢改进优化的过程。整体而言从一个利用改进思维落地的小系统(解决人为参与过多的问题)到最好较为完善的复杂系统框架是一个遵循事物发展规律的过程,肯定是可行的。
下一篇写安全技术运营中逻辑思维、水平思维、全局思维、系统性思维以及大数据思维具体的学习与反思。
参考材料
Tracking Malware with Import Hashing | Mandiant
https://www.mandiant.com/resources/blog/tracking-malware-import-hashing
Classifying Malware using Import API and Fuzzy Hashing – impfuzzy – - JPCERT/CC Eyes | JPCERT Coordination Center official Blog
https://blogs.jpcert.or.jp/en/2016/05/classifying-mal-a988.html