解决方案介绍

作为光大银行云原生技术合作伙伴，小佑科技深度理解光大银行的现状及相关建设要求，共同参与了光大银行全栈云容器平台安全防护建设项目，一起打造了全栈云容器安全防护平台。

1、核心理念

· 全生命周期自适应安全：对容器安全涉及的所有对象都进行防御，包括操作系统、Kubernetes平台、容器、容器镜像、镜像仓库、微服务。在每一个资产对象的防护方案中，均考虑了资产盘点-加固-检测-响应-预测这样的安全框架，形成安全运营的闭环。

· 监测智能化：基于动态学习业务系统进程与网络流量的方法，采用机器学习技术，构建安全基线模型，实现风险识别和风险态势感知。配合传统基于规则的分析识别技术，加上机器学习技术较全面发现安全漏洞和风险。

· 安全内生化：全栈云容器平台不仅仅提供基础运行环境，还直接集成安全能力。在创建Kubernetes集群时，便将防御容器以Daemonset的方式进行同步创建，每个集群节点运行一个防御容器，提供检测与防护能力。当集群扩容或缩容时，防御容器可以随着节点数量变化而自动做相应调整，减少安全运维成本。

· 流程敏捷化：基于安全左移的思路，实现DevSecOps。即在软件研发阶段便同步介入安全检查。通过在软件的整个生命周期中支持多个卡点，将风险尽早暴露，降低安全运维的成本。安全卡点包括 “编排文件扫描”、“镜像安全扫描”、“镜像构建入库”、“镜像运行拦截”等。安全左移能够尽早发现问题，有助于降低修复成本。

· 零信任：按照零信任的思想，持续信任评估，动态访问控制。零信任的其中一条技术路线是微隔离。在容器网络中，我们便采用微隔离技术来缓解风险。

2、主要能力2.1资产清点

容器安全平台对镜像、仓库、容器、集群节点、微服务、Kubernetes配置信息等容器相关信息进行自动采集，统一可视化管理，对容器风险一目了然，时刻掌握容器资产变化，使安全不落后于业务。消除安全与运维之间的信息壁垒，使业务环境内各项资产对安全用户清晰可见。

细粒度、结构化的资产清点助力安全用户及时发现容器、集群环境中可能存在的的风险隐患，提前进行预防、修复，并在在入侵事件发生时帮助安全用户及时定位受损资产信息，快速进行响应处理以免恶意事件扩散使更多资产收到感染

资产管理类型包括容器、镜像、仓库、主机、POD等，为用户提供容器内资产的分类视图，支持对每一类资产进行数据分级聚合展示，实现容器资产的全面可视化，帮助用户更直观的了解当前系统内的资产情况。

2.2漏洞管理

基于漏洞或脆弱性的视角，对整体的风险进行梳理，形成发现漏洞-验证漏洞-修复漏洞的闭环。

· 发现漏洞：对业务容器的镜像和集群进行扫描，得到当前存在的漏洞列表；

· 验证漏洞：对漏洞进行验证，以确保扫描结果的正确性；

· 分类分级：从漏洞的严重性与相关资产的重要程度，对漏洞进行评级，使得修复工作分得清优先级。

· 修复与验证：对修复漏洞后的资产重新扫描审核，确认问题得到缓解。

2.3合规审计

在业务系统上线运行之前，对业务系统所在容器、集群以及主机节点进行合规检测，以防止不安全的配置导致容器逃逸或者集群入侵事件。

全栈云容器安全防护平台在制定规范要求时，基于CIS合规进行裁剪与自定义，并在软件中提供对容器及集群进行合规审计的功能。基于产品提供可视化的基线检测结果和修复建议，用户可以自行修复不合规的检测项。

2.4告警响应

支持实时监控容器的运行情况，能够对可能出现的所有异常行为进行捕获和发出告警，可在响应中心中查看所有入侵事件具体信息。并支持在响应中心对不同状态的容器进行相应的操作改变其状态，目前支持的操作包括：解除隔离、启动容器、隔离容器、杀容器、暂停容器。

2.5镜像安全

镜像作为容器运行的基础，如果存在的安全隐患、风险问题直接影响到容器环境的安全性。面对镜像中可能存在的安全问题，需要对业务环境主机中和镜像仓库中的镜像资产，进行自动扫描以及支持手动扫描来识别风险，对危险镜像基于策略进行阻断，对高危镜像提供可写入dockerfile的修复建议

容器防护平台支持对容器镜像制作过程、镜像运行、镜像发布进行全方位的监控和检测。提供了自动获取节点和仓库中的镜像并从CVE漏洞、CNNVD漏洞、木马病毒、可疑历史操作、敏感信息泄露、以及是否是可信任镜像等多个维度对镜像进行扫描。

2.6容器安全

容器运行时的安全状况是容器安全管控的重中之重。目前传统的入侵检测方式主要针对于主机或者网络层面，现有手段无法快速发现针对容器层面的入侵行为。若无法设置预警与实时报警，入侵者极有可能通过漏洞远程操作容器执行命令实现入侵，从而导致重要数据泄露。

镜界容器防护平台通过对容器的调用行为进行自动学习，形成容器的运行模型，同时对容器的调用行为进行监控，当容器出现行为之外的调用动作后，进行实时预警或阻断。

容器安全防护平台支持对容器内行为进行检测。当发现容器逃逸行为、读取敏感信息、启动恶意进程、挂载非法设备、映射敏感目录、修改命名空间等恶意行为时，根据预设策略触发报警或阻断容器运行，并对发现异常的POD进行隔离。

2.7微服务安全

全栈云容器防护平台提供了对微服务、应用进行周期性的检测。支持自动检测发现Kubernetes集群内的微服务以及API并通过可视化视角展示出来。能够通过手动或周期性自动发现的微服务以及API进行安全风险扫描。

2.8编排文件安全

在Kubernetes系统中，各类资源均需要通过编排文件构建，编排文件编写是否规范，将直接影响到构建资源的安全性、规范性与可用性。对于部署资源所编写的编排文件，系统支持自动接入，自动扫描，根据扫描结果指出编排文件中存在风险或不规范的配置项，并给出修复建议，保障资源合规且安全的创建。

2.9集群安全

Kubernetes 的 API-Server、 Scheduler、Controller 等多个核心组件在实现上，均有不同程度的漏洞爆出，其中不乏高危甚至是 10 分 (CVSS)的超危漏洞。除了包含漏洞的组件，不安全的配置也可能使得整个集群处于风险之中。全栈云容器安全平台支持对3朵云的容器集群的不同版本进行安全风险扫描。如：Kubernetes版本信息披露、匿名身份验证、可能遭受的各类攻击等。

2.10网络微隔

对容器环境中网络流量进行绘图，打破网络黑洞，支持对进程、容器、pod、服务、主机级别的网络监测。通过对单个业务之间，业务组之间，以及租户之间的网络访问策略配置，实现业务之间隔离，来减小被入侵之后的影响范围；通过网络拓扑图，从网络层面判断入侵影响范围。

全栈云容器防护平台自动检测发现Kubernetes集群内的运行容器，应用以及镜像，关联相对应的安全风险进行汇总，展示安全风险的数量以及风险级别的分布。支持自动发现容器内进程之间、容器之间、POD之间、服务之间、节点之间的网络连接状态，展示连接的原地址，目的地址以及端口。并对异常连接进行预警。支持对Kubernetes集群内POD之间的通信进行网络隔离控制、隔离策略支持配置POD的间的访问规则、阻断来自其他命名空间的所有流量、允许来自外部客户端的流量等。

1、关键技术特点

1.1全容器化部署

产品在部署时采用了全容器化的形态，与全栈云保持一致性。一方面提升了对各类不同操作系统的兼容性，一方面也可以充分发挥云原生技术带来的各项优势。例如

· 故障自愈：软件存在故障时，可以利用平台的“故障自愈”特性进行恢复。

· 资源隔离：安全软件占用的CPU/内存不会影响到业务容器；

· 弹性伸缩：当遇到性能压力时，软件可以自动扩容，然后进行负载分担；

1.2系统高可用

方案本身支持高可用架构，所有组件均支持多副本，多个副本也可以部署在异地以实现地理冗灾。多个副本正常工作时，实现负载分担；当部分副本无法正常工作时，仍然可以由剩下的副本完成安全运维业务的处理。

另外，该方案的各项功能的工作流程，均以旁路的形态与业务平台进行交互，而不是串行在业务流程中。所以即使整个安全平台完全故障，也不会影响银行的业务软件正常工作。

1.3以ATT&CK为指导

未知攻，焉知防。在入侵检测时，本方案以ATT&CK为指导框架，明确各类告警事件所属类别，以及攻击链上所处位置，并尝试构建恶意行为的完整攻击链，使安全运维人员更方便地进行事件回溯和后续预防。

1.4平台无缝集成

容器安全与全栈云平台进行了无缝集成，体现在以下方面：

用户单点登录：用户体系共用OIDC方案，一次创建用户可以到处登录；

防御容器自动部署：每次创建集群时，都会内置防御容器，减少用户额外安装配置的工作量；

流水线集成：包括CI与CD两部分。CI阶段：与DevOps流程进行集成，在构建完成后立即触发镜像扫描，如果发现严重问题则不允许其上传至镜像仓库。 CD阶段：在启动容器前，对镜像进行扫描，如果发现严重问题则不允许其上线。

2、创新点

2.1容器行为学习

基于“不可变基础设施”的理念，每个容器只运行特定软件，其行为模式是可以预期的，这为容器行为白名单模式提供了理论依据。然后本方案通过对容器内行为进行学习，建立安全基线模型，也就是白名单。当监测到模型外的进程、文件访问、异常网络连接和系统调用时，会通过关联分析风险事件列表，进行告警处置。通过白名单模式，可以有效提升异常事件检出率，可以用于防御0day风险。

对于白名单模式可能存在的误报情况，支持人工响应处理，及时纠正，从而不断提升入侵检测的准确率。

2.2无侵入式防护

为避免对容器云平台造成影响，本方案在设计过程采用无侵入式的检测与阻断方式。涉及功能包括入侵检测、镜像阻断、微隔离策略等。在检测过程不串行到业务访问过程，因此不会降低业务容器的性能。镜像阻断、微隔离、暂停容器等各种处置能力则充分调用Kubernetes原生能力，不增加额外的故障点。

2.3微隔离规则预演习

容器微隔离用于阻止容器间东西向攻击，减小攻击面，全自动构建和管理容器层的ACL隔离安全策略。主要通过双向控制、访问可视化、访问过程溯源的功能，对基于容器、容器组和业务视角进行超细粒度的双向网络访问控制，能够对非法访问的轨迹监控并溯源整个行为访问的过程。

在微隔离方案中，包括4个部分。首先是抓取流量，洞察各个业务容器的访问关系，提升可观测性。其次是根据正常访问的业务流量自动生成隔离策略。但是在执行策略前，为避免策略设置不当导致业务容器受影响，本方案支持“策略预演”功能。在预演期间，所有命中阻断策略的流量将会进行告警，交由人工确认。
预演一段时间后，通过人工优化，策略变得完整而健全。此时开启策略执行，便可以有效地拦截非法访问流量，增加网络安全。

光大银行全栈云容器平台作为驱动金融数字基础设施建设的重要引擎，协助产品快速向应用敏捷化开发转型，能够大幅度提升产品交付速度，增强用户体验。但同时作为新兴技术，其安全性面临考验，安全防护手段也与传统安全防护手段不同。

1、防护对象不同：在容器平台，防护对象不再是主机或虚拟机，而是容器/Pod。其生命周期可能以分钟或小时计，在资产梳理方面存在困难；

2、攻击手段不同：针对容器的技术特点，新的攻击手段和漏洞利用方式不断出现，传统安全产品无法检测与阻断；

3、防护边界不同：在容器平台，防护边界从物理边界改变为以应用或服务为边界，传统边界防护主要应用在南北向流量，而对东西向流量缺少管控手段；

4、应用架构不同：在容器平台的应用大多采用微服务架构，API爆发式增长导致受攻击面增加；

5、开发过程不同：传统瀑布开发模式转变为DevOps模式，追求敏捷而缺少配套的安全流程；

结合上述安全挑战，以及实际运维场景，光大银行的全栈云容器平台安全建设包括以下需求。

1、全栈安全覆盖

2、合规风险控制

3、实时入侵检测

4、异构平台兼容

5、高可用高安全

综上所述，光大银行全栈云容器平台安全防护建设实践在深度理解全栈云容器工作负载安全防护需求的基础之上，构建了预测、防护、检测、响应的一体化防御体系，覆盖容器应用的开发、测试发布与运行等全生命周期，也包括了容器平台涉及的各类资产对象，安全防护功能全面、完整性高，也体现了纵深防御的特点。
本方案还采用了DevSecOps思想，将“安全左移”，与开发测试过程的安全管控进行集成，从而更早一步发现安全问题，自动化解决安全问题。方案上线以来，为日常安全运营和安全攻防演习均提供了有力支撑，印证了我们在全栈云容器平台上的安全建设思路，达到了预期效果。