浅谈云上攻防—— Kubelet 访问控制机制与提权方法研究

作者：云鼎实验室
原文链接：https://mp.weixin.qq.com/s/qLEjK1sx6P2KG9YgGkxqJg

背景

本文翻译整理自rhino安全实验室：近些年针对kubernetes的攻击呈现愈演愈烈之势，一旦攻击者在kubernetes集群中站稳脚跟就会尝试渗透集群涉及的所有容器，尤其是针对访问控制和隔离做的不够好的集群受到的损害也会越大。例如由unit 42研究人员检测到的TeamTNT组织的恶意软件Siloscape就是利用了泄露的AWS凭证或错误配置从而获得了kubelet初始访问权限后批量部署挖矿木马或窃取关键信息如用户名和密码，组织机密和内部文件，甚至控制集群中托管的整个数据库从而发起勒索攻击。根据微步在线的统计上一次遭受其攻击的IP地址90%以上属于中国，因此需要安全人员及时关注并提前规避风险。Siloscape具体攻击流程如图1所示。

图 1-Siloscape攻击流程

Kubernetes集群中所有的资源的访问和变更都是通过kubernetes API Server的REST API实现的，所以集群安全的关键点就在于如何识别并认证客户端身份并且对访问权限的鉴定，同时K8S还通过准入控制的机制实现审计作用确保最后一道安全底线。除此之外K8S还配有一系列的安全机制（如Secret和Service Account等）共同实现集群访问控制的安全，具体请求如图2所示：

图 2-Kubernetes API请求

其中用户所控制的kubectl即每个Node节点都会启用的进程，可以把kubelet理解成【Server-Agent】架构中的agent，用来处理Master节点下发到本节点的任务，管理Pod和其中的容器，比如创建容器、Pod挂载数据卷、下载secret、获取容器和节点状态等工作。Kubelet会在API Server上注册节点信息，定期向Master汇报节点资源使用情况。如果没有做好相关的权限管控或其遭受了任何的攻击都可能导致对k8s集群更广泛的危害。如以下图3操作。

图 3-Kubectl操作

K8S认证鉴权

认证阶段（Authentication）

认证阶段即判断用户是否为能够访问集群的合法用户，API Server目前提供了三种策略多种用户身份认证方式，他们分别如下表1：

序号	认证策略	认证方式
1	匿名认证	Anonymous requests
2	白名单认证	BasicAuth认证
3	Token认证	Webhooks、Service Account Tokens、OpenID Connect Tokens等
4	X509证书认证	clientCA认证，TLS bootstrapping等

表 1-认证

其中X509是kubernetes组件间默认使用的认证方式，同时也是kubectl客户端对应的kube-config中经常使用到的访问凭证，是一种比较安全的认证方式。

当API Server内部通过用户认证后，就会执行用户鉴权流程，即通过鉴权策略决定一个API调用是否合法，API Server目前支持以下鉴权策略

序号	鉴权策略	概述
1	Always	分为AlwaysDeny和AlwaysAllow，当集群不需要鉴权时选择AlwaysAllow
2	ABAC	基于属性的访问控制
3	RBAC	基于角色的访问控制
4	Node	一种对kubelet进行授权的特殊模式
5	Webhook	通过调用外部REST服务对用户鉴权

表 2-鉴权

其中Always策略要避免用于生产环境中，ABAC虽然功能强大但是难以理解且配置复杂逐渐被RBAC替代，如果RBAC无法满足某些特定需求，可以自行编写鉴权逻辑并通过Webhook方式注册为kubernetes的授权服务，以实现更加复杂的授权规则。而Node鉴权策略主要是用于对kubelet发出的请求进行访问控制，限制每个Node只访问它自身运行的Pod及相关Service、Endpoints等信息。

准入控制（Admission Control）

突破了如上认证和鉴权关卡之后，客户端的调用请求还需要通过准入控制的层层考验，才能获得成功的响应，kubernetes官方标准的选项有30多个，还允许用户自定义扩展。大体分为三类验证型、修改型、混合型，顾名思义验证型主要用于验证k8s的资源定义是否符合规则，修改型用于修改k8s的资源定义，如添加label，一般运行在验证型之前，混合型及两者的结合。

AC以插件的形式运行在API Server进程中，会在鉴权阶段之后，对象被持久化etcd之前，拦截API Server的请求，对请求的资源对象执行自定义（校验、修改、拒绝等）操作。

Kubelet认证鉴权

认证

Kubelet目前共有三种认证方式:

1.允许anonymous，这时可不配置客户端证书

authentication: 
anonymous:      
enabled: true

2.webhook，这时可不配置客户端证书

authentication:   
webhook:    
enabled: true

3.TLS认证，也是目前默认的认证方式，对kubelet 的 HTTPS 端点启用 X509 客户端证书认证。

authentication:   
anonymous:       
enabled:false   
webhook:   
enabled: false  
x509:  
clientCAFile: xxxx

然而在实际环境当你想要通过kubectl命令行访问kubelet时，无法传递bearer tokens，所以无法使用webhook认证，这时只能使用x509认证。

鉴权

kubelet可配置两种鉴权方式分别为AlwaysAllow和Webhook，默认的及安全模式AlwaysAllow，允许所有请求。而Webhook的鉴权过程时委托给API Server的，使用API Server一样的默认鉴权模式即RBAC。

通常在实际环境中需要我们通过TBAC为用户配置相关权限，包括配置用户组以及其相对应的权限。并最终将用户和角色绑定完成权限的配置。

TLS bootstrapping

TLS在实际实现的时候成本较高，尤其集群中众多的kubelet都需要与kube-API Server通信，如果由管理员管理证书及权限，很有可能会因为证书过期等问题出现混乱。这时候Kubelet TLS Bootstrapping就应运而生了。其主要实现两个功能第一，实现kubelet与kube-API Server之间的自动认证通信；第二，限制相关访问API Server的权限。

K8s目前默认通过TLS bootstrapping这套机制为每个kubelet配置签名证书确保与API Server的交互安全。其核心思想是由kubelet自已生成及向API Server提交自已的证书签名请求文件（CSR），k8s-master对CSR签发后，kubelet再向API Server获取自已的签名证书，然后再正常访问API Server。具体如图所示：