对于中国的网络安全从业者与决策者而言,我们正处在一个关键的历史节点。一方面,国内安全生态“蓬勃发展”,产品平台“百花齐放”,网安企业都在谋求出海之路;另一方面,随着企业全球化与技术的国际化,我们正不可避免地与一个由海外厂商主导的技术体系深度交互。在这个过程中,一个看似底层却至关重要的问题摆在我们面前:安全数据如何互通?
当我们试图将海外采购的EDR产品与国内的SIEM平台整合,或者当我们的出海业务需要遵循AWS、Google、Microsoft等云平台的安全规范时,我们便会亲身感受到“数据巴别塔”带来的巨大摩擦。因此,洞察并理解海外安全数据标准化的演进路径,不再是可有可无的学术探讨,而是具有高度现实意义的战略必修课。这不仅是“看懂”它们是什么,更是“看透”其背后的驱动力、博弈与妥协,从而为我们自身的安全体系建设、技术选型乃至国内标准的未来发展,提供来自大洋彼岸的“他山之石”。
现代安全运营面临的核心挑战,是一个全球性的难题。无论是在北京、上海,还是在硅谷、伦敦,网络安全运营中心都面临着数据格式各异、语义不明的困境。想象一个典型的场景:一家走向国际化的中国企业,其国内总部使用某款国产SIEM,而在其欧洲分部则采用了Gartner魔力象限推荐的某海外EDR解决方案。当一个安全事件同时在这两处触发告警时,分析师会发现,来自两边的数据如同鸡同鸭讲:
源地址。source.ip。sourceIPAddress。这种混乱的直接后果,是运营效率的急剧下降和安全风险的显著增加。检测规则无法复用,跨国攻击的溯源分析变成一场耗时费力的人工“拼图游戏”,而自动化的美好愿景则被复杂的解析适配逻辑消磨殆尽。因此,建立一套通用的数据语言,推倒这座“数据巴别塔”,是全球安全行业共同的追求。海外的标准化之路,正是对这一共同挑战的长期探索与回应。
为了应对数据混乱的挑战,海外的第一波标准化浪潮,并非源于开放的行业协作,而是由当时的SIEM巨头出于自身产品集成的迫切需求而推动。ArcSight和IBM等厂商,分别定义了自己的私有日志格式——CEF和LEEF。这些标准首次确立了在数据写入时就进行规范化(Schema-on-Write)的核心理念,极大地简化了第三方产品的集成。
由于ArcSight在早期SIEM市场的统治地位,CEF迅速成为众多第三方安全设备厂商必须支持的“官方语言”,否则就意味着难以进入主流客户的视野。
深入解读: CEF的成功,是其作为商业策略的成功。它不仅验证了标准化的巨大价值,更成为了ArcSight构建其商业护城河的关键工具。其厂商驱动 的本质体现在:首先,标准的制定与演进完全由ArcSight控制,服务于其SIEM平台的关联分析引擎和产品路线图。其次,它为市场上的其他安全厂商设立了一个“准入门槛”,迫使它们投入研发资源以支持CEF格式,从而才能顺利地被集成到ArcSight的生态中。这种模式虽然在当时极大地促进了集成的便利性,但也埋下了“围墙花园”的种子。CEF的扩展性有限,这使得经过其规范化的数据虽然能被ArcSight高效利用,但在导出到其他平台时,往往会丢失丰富的上下文信息,其可移植性大打折扣。
示例: 假设一个Palo Alto防火墙生成了一条流量日志,其中包含一个独特的字段app_id=ssl。在转换为CEF格式时,标准字段如源/目的IP会被映射到src和dst。但app_id这个Palo Alto特有的应用层信息,在CEF的标准字典里没有对应字段,只能被放入一个通用的自定义字段中,例如cs1=ssl,并加上cs1Label=ApplicationID。这样一来,虽然ArcSight可以解析,但对于不理解这个自定义标签的另一个平台来说,cs1=ssl这部分信息的具体业务含义就丢失了。
LEEF是典型的生态内标准 ,其设计哲学与IBM QRadar平台的架构深度耦合。
深入解读: 与CEF相比,LEEF的“围墙”属性更为明显。在QRadar中,核心的分析能力依赖于被称为“属性(Properties)”的机制,这些属性是从原始日志中提取的关键信息,用于驱动规则引擎、生成攻击(Offense)以及进行可视化。LEEF格式中的字段,被设计为可以直接、高效地映射到这些预定义的QRadar属性上。这种紧密集成使得LEEF数据在QRadar内部的处理效率极高,但也意味着一旦数据离开QRadar环境,其大部分语义价值便难以被其他系统理解。因此,LEEF并非旨在促进普遍的互操作性,而是作为强化其平台粘性、优化自身生态系统性能的内部工具。
示例: 一条Windows登录成功事件(Event ID 4624)被转换为LEEF格式。其日志中可能包含usrName=zhangsan和src=192.168.1.10这样的键值对。当QRadar接收到这条日志时,其内置的LEEF解析器会立即识别usrName并将其值填充到QRadar内部的“Username”属性中,将src的值填充到“Source IP”属性中。这样,分析师就可以直接使用“Username”和“Source IP”这些标准化的属性来创建全局的关联规则,而无需关心原始日志的具体字段名。
随着市场重心向云端迁移,传统的SIEM厂商逐渐被新一代的平台巨头所挑战。Splunk、微软和谷歌,作为数据分析和云计算领域的领导者,各自发展出了一套更为复杂和强大的平台化数据标准。这些标准虽然在技术实现上各不相同,但其战略目标高度一致:构建一个以自身平台为核心、功能强大但高度绑定的安全数据生态系统。
Splunk CIM开创了“查询时规范化”(Schema-on-Read)的范式,即允许数据以原始格式存储,在进行搜索分析时才动态应用标准。
工作流深度解析: Splunk的“查询时规范化”并非简单的字段映射,而是一个由多种“知识对象”协同工作的复杂流程。
datamodel=Authentication action=failure)时,Splunk的知识对象开始工作:首先,字段提取规则 (通常是正则表达式)从原始的Windows事件日志中动态抽取出user和workstation等关键字段。接着,字段别名 机制会将workstation这个源字段名,映射为CIM标准的src_host。最后,基于事件源类型预设的标签 (如tag=authentication)会将该事件动态地归入Authentication数据模型的范围。整个过程在查询时实时发生,为分析师提供了极大的灵活性。示例: 假设分析师想查找所有被防火墙拒绝的网络连接。Palo Alto防火墙日志中表示拒绝的字段是action=deny,而Check Point防火墙的日志中则是action=drop。在CIM中,管理员可以设置字段别名,将deny和drop这两个不同的值都映射到CIM标准action字段的blocked值上。这样,分析师只需执行一次查询 datamodel=Network_Traffic action=blocked,就可以同时查找到来自两种不同防火墙的拒绝事件,无需为每个厂商编写单独的查询语句。
深入解读: CIM的成功在于其无与伦比的灵活性 ,但其优势的背后,是高昂的“隐性成本”。首先是性能开销 ,每一次查询都需要实时进行字段提取和映射。其次,也是更关键的,是其带来的深度锁定 。所有基于CIM开发的告警规则、仪表盘、关联分析乃至机器学习模型,都与Splunk的知识对象体系深度绑定,无法移植到其他平台。一旦企业的核心分析能力建立在CIM之上,其转换成本将变得极其高昂,这对于注重技术自主可控和架构灵活性的国内用户而言,是一个需要高度警惕的战略信号。
作为云原生SIEM的代表,微软Sentinel推出了其自己的规范化框架——高级安全信息模型(Advanced Security Information Model, ASIM)。
技术实现: ASIM在哲学上与Splunk CIM类似,也采用查询时规范化 。但其技术实现并非依赖于数据模型对象,而是通过一系列功能强大的KQL(Kusto查询语言)解析器 来完成。这些解析器本质上是预置的函数,它们接收原始的、非结构化的数据表作为输入,在查询执行时,实时地将其字段解析、映射并输出为一个符合ASIM预定义模式(如imDns, imNetworkSession)的标准化视图。
示例: 假设Azure防火墙的网络日志存储在AzureDiagnostics表中,而一个第三方VPN设备的日志存储在自定义的MyVPN_CL表中。在ASIM中,会有两个解析器:_Im_NetworkSession_AzureFirewall和_Im_NetworkSession_MyVPN。分析师无需知道这两个表的具体名称和字段,只需调用统一的视图函数 imNetworkSession 进行查询,例如 imNetworkSession | where SrcIpAddr == '1.2.3.4'。ASIM会自动在后台调用所有相关的网络会话解析器,将两个不同来源的数据合并成一个标准化的视图,并对SrcIpAddr这个标准字段进行过滤。
深入解读: ASIM的优势在于其与微软生态的无缝集成和KQL的强大能力。用户可以为任何自定义的数据源编写自己的解析器,从而将其快速纳入ASIM框架,并利用所有基于ASIM构建的内置分析规则、工作簿和狩猎查询。然而,这也构成了其“锁定”效应的核心。所有的分析资产都与KQL和ASIM的特定语法和模式绑定,使得分析逻辑难以迁移出Sentinel平台。ASIM是微软云安全生态的“通用语”,功能强大,但边界清晰。
谷歌的SIEM产品Chronicle(现为Google Security Operations的一部分)则采用了与前两者截然不同的技术路径,其核心是统一数据模型(Unified Data Model, UDM)。
技术实现: UDM是一个高度结构化的、摄入时规范化 的模型。所有进入Chronicle的数据,都会在第一时间被解析并强制映射到UDM的JSON结构中。UDM的一个显著特点是其对事件Event 和实体Entity 的明确区分。事件记录了发生了什么动作(如一次登录),而实体则存储了关于资产、用户等对象的丰富上下文信息。这种设计使得Chronicle能够在其底层架构上进行高效的实体关系关联和高速的遥测数据搜索。
示例: 一条来自EDR的进程创建事件日志进入Chronicle。它会被解析成一个UDM事件记录。这个记录中会包含一个principal对象,描述发起操作的用户信息(如principal.user.userid = 'zhangsan');一个target对象,描述被创建的进程信息(如target.process.file.path = 'C:\Windows\System32\cmd.exe');以及一个about对象,描述事件发生在哪个资产上(如about.asset.hostname = 'WIN-DEVPC01')。这种结构化的实体关系使得分析师可以轻松地查询“用户‘zhangsan’在主机‘WIN-DEVPC01’上执行了哪些命令行操作?”,Chronicle能够利用其图数据库能力高效地回答这类问题。
深入解读: UDM的优势在于其极致的性能和强大的上下文关联能力。通过在摄入时就完成规范化,Chronicle能够利用其强大的后端基础设施,实现对海量数据的秒级搜索。对实体上下文的重视,也使其在威胁溯源和用户行为分析(UEBA)方面表现出色。但其缺点也同样明显:UDM是一个非常“固执己见”(opinionated)的模型,其复杂的结构和严格的规范化要求,使得接入新的、非标准的数据源比CIM或ASIM更具挑战性。它是一个为谷歌的超大规模数据处理能力量身定做的、高度优化的内部标准。
无论是厂商主导的“摄入时规范化”,还是平台绑定的“查询时规范化”,其本质都未能解决一个根本问题:数据的所有权和互操作性。标准的最终解释权依然掌握在少数商业巨头手中。进入云原生时代,业界对一个真正开放、中立、可扩展标准的呼声日益高涨,催生了一场开源革命。这场革命目前由两大主角引领:Elastic公司的ECS和由Linux基金会托管的OCSF。
ECS是Elastic公司为其全家桶产品推出的开源规范。它回归了“摄入时规范化”的道路,但提供了远超CEF的丰富性和扩展性。其最关键的一步棋,是其宣布与云原生可观测性(Observability)领域的事实标准OpenTelemetry 进行融合。这一战略结盟,意图将ECS从一个单纯的“安全标准”,提升为覆盖开发、运维、安全- DevSecOp 所有遥测数据的“大一统模型”,这是一个极具前瞻性的布局。
深入解读: ECS的设计哲学是“实用主义”和“生态协同”。它通过一套扁平但逻辑清晰的字段集(如host.*, network.*, process.*)来组织数据,这种结构对于开发者来说易于理解和映射。其核心价值体现在与Elastic Stack的无缝集成上。一旦数据遵循ECS格式,Elastic Security中的数百条预置检测规则、机器学习任务和可视化仪表盘就能“开箱即用”。
示例: 一条Sysmon进程创建事件(Event ID 1)被Filebeat采集后,会自动转换为ECS格式。原始日志中的Image字段会被映射到ECS的process.executable,User字段映射到user.name,ParentImage映射到process.parent.executable。这样,一条内置的、用于检测“可疑父进程”的Elastic Security规则(例如,检测winword.exe启动了powershell.exe),就可以直接在这条规范化后的数据上生效,而无需关心原始日志是来自Sysmon还是其他EDR产品。
OCSF的诞生堪称行业里程碑。它由AWS和Splunk这两大昔日的“宿敌”联手发起,并迅速移交给中立的Linux基金会 进行治理,身后更是站着Google、Microsoft、IBM等一众巨头。OCSF的终极目标是成为网络安全领域的“通用翻译器 ”或“世界语 ”。它最大的王牌在于其厂商中立的治理模式 和前所未有的行业联盟 。对于需要与国际主流云服务商和安全产品打交道的中国企业来说,OCSF的崛起是一个极其重要的信号,它预示着一个更加开放和互联的未来。
深入解读: OCSF的设计哲学是“严谨性”和“互操作性”。它不仅仅是一套字段列表,更是一个包含事件分类、对象、配置文件和扩展 的完整框架。其面向对象的模型(如可重用的File对象、Process对象)旨在提供比ECS更强的结构化和上下文关联能力,确保数据在不同平台间流转时不会丢失语义。其核心目标是让一个CrowdStrike EDR产生的OCSF格式的事件,能被一个Splunk SIEM或一个AWS Security Lake原生地、无歧义地理解。
示例: 同样是那条Sysmon进程创建事件,在OCSF中,它会被归类到Process Activity这个事件类 下。事件中会包含一个actor对象,其process属性描述了父进程(如winword.exe)的信息;一个process对象,描述了被创建的子进程(如backdoor.exe)的详细信息,包括其文件哈希、签名等;以及一个device对象,描述了事件发生的主机。这种清晰的、面向对象的结构,使得跨平台的关联分析变得极为简单,例如,可以直接查询“所有由actor.process.name = 'winword.exe'触发的,且process.file.signer无效的Process Activity事件”。
洞察海外的“标准之争”,最终是为了指导我们自身的实践。面对不同的技术路径和战略愿景,国内企业和安全厂商可以从中获得宝贵的启示。
首先,治理模式决定未来 。从厂商私有到社区中立的演进,清晰地表明,一个真正开放、不由单一商业实体控制的治理模式,是标准能否获得广泛信任和长期生命力的关键。这对我们国内标准的制定和推广极具借鉴意义。
其次,是架构范式的权衡 。“摄入时”与“查询时”规范化的路线之争,本质上是性能 与灵活性 的权衡。在数据量和实时性要求越来越高的今天,海外的天平似乎正重新向“摄入时规范化”倾斜,这值得我们在进行技术架构选型时深思。
最后,是未来愿景的博弈 。ECS+OTel的“可观测性大一统 ”愿景,与OCSF的“安全领域通用语 ”愿景,代表了两种不同的发展方向。这提醒我们,数据标准的背后是生态的博弈,选择一个标准,某种程度上也是在选择一个生态联盟。
基于以上分析,对于想要出海的国内网安企业的建议: