方案背景：

从2017年《中华人民共和国网络安全法》 到2018年《公安机关互联网安全监督检查规定》规定再到2021《教育部办公厅工业和信息化部办公厅关于提高高等学校网络管理和服务质量的通知》。政策法规对网络安全的要求逐年加强。信息系统等级保护中，在“安全区域边界”、“安全管理中心”、“安全运维管理”方面，日志管理成为安全审计与安全运维管理的基础。目前，政企单位客户的网络日志审计存在以下痛点：

（1）日志量大：出口设备日志达到10W+EPS，常规日志审计设备无法满足大日志采集分析的要求。

（2）存储压力大：日志180天存储达到PB级以上，常规日志审计设备单机存储达不到要求。

（3）NAT实名审计：出现问题要溯源时无法找到真实的责任人，需要对大出口NAT等做转换日志找到真实地址，并和实名认证设备联动认证。

（4）安全运维运营效率：海量日志信息中运维运营压力大，需要智能分析能力、情报分析能力发现海量日志潜在威胁，发挥日志分析的威胁预警能力。

网络日志的范围不仅仅是只有网络设备产生的日志，还包括网络产品和服务在运行过程中产生的各类日志，也就是所涉及网络运行系统的全量日志。尤其在政企门户网站、数据库、中间件、操作系统等都是需要去做日志留存和管理的，这些数据量是庞大和复杂的。对此，聚铭网络特别针对性地推出了《政企大日志留存分析及实名审计解决方案》。

方案概述：

聚铭政企大日志留存分析及实名审计解决方案，通过在政企单位出口路由交换旁路部署聚铭综合日志分析系统，将网内的所有资产日志和上网行为日志进行统一采集分析，分析归类各安全事件，并及时告警处置，实现对日志数据全生命周期的管理。并且可以针对DHCP、NET等场景与实名认证系统联动，当出现威胁事件时，通过账号实名认证溯源到具体责任人。从而针对性地解决政企客户网络出口流量大、数据多，无法全量留存，统一关联分析，导致不满足监管合规要求，发生安全事件后无法精准溯源的问题。

该解决方案目前已适配飞腾、龙芯、申威CPU，适配统信、麒麟、欧拉等国产化操作系统，神州鲲泰服务器，信创国产化程度达到90%以上。

功能模块：

· 数据处理：支持Syslog、Syslog-ng 、SNMP Trap、文件、WMI、SFTP、数据库、NetFlow、页面导入、SMB、插件扩展、kafka、sflow、二进制等方式采集日志。然后进行标准化处理，系统日志标准化能兼容支持近千种设备类型，包括不限于以下设备安全设备：安全设备、网络设备、操作系统、数据库、应用系统、中间件等设备和系统。通过对海量日志进行清洗噪音操作，将日志的类型、级别、地理位置信息、实名信息等通过专家策略库、全球地理位置信息库、实名认证系统联动进行补全。对处理后的数据存放在大数据仓库，可供分析和调用。

· 数据分析：处理后的日志数据会进入到数据分析引擎，数据分析引擎集成了威胁情报能力和数学算法模型。经过分析引擎的分析，会对数据进行打标处理，归类在不同的业务库中，同时AI智能算法会针对数据样本进行特征提取归并，让内置模型库更加精准有效。数据打标分库，可以在提供数据服务和数据查询时，按照库的种类和优先级快速进行响应。

· 数据服务：通过RESTful的接口架构和数据服务总线的模式，给业务分析提供数据支撑。对大日志综合管控中心的业务功能，不做数据使用权限的限制。对对外的三方接口，进行数据服务鉴权和服务管理，只提供三方所需数据进行传送。

· 业务展示层：大日志综合管控中心，能够对日志进行安全审计，及时将发现的安全事件进行预警推送。同时提供实名制溯源能力，能够精准定位问题设备、使用人员/账号，提供数据、资产、安全的运维管理服务操作，提供根据数据维度、数据查询频率等规则的查询方式，提供基于日志数据采集状态、安全事件分析、网络质量状态等综合展示大屏，提供对系统参数、系统任务、系统用户的管理功能，提供与三方接口兼容对接的数据服务功能。

方案亮点：

亮点1：高可用

系统内置SmartBalance自动负载均衡组件，高性能运作，保证日志不丢失。

亮点2：大日志

基于SamrtBalance架构下的大日志系统，采集性能达到10W+EPS，存储能力达到PB级以上。

亮点3：实名审计

通过采集出口路由器/防火墙/上网行为设备/DNS日志等数据，并联动账号系统（锐捷SAM+、城市热点、深澜）进行实名认证追溯，应对DHCP场景无法实名统计溯源、NAT转换无法实名、恶意行为无法追责、无法实名统计上网流量等问题。

亮点4：智能运维

海量日志集中采集、统一分析，通过数据识别、清洗、智能分析，剔除噪音数据，精准发现潜在安全风险，实现从原始数据10亿条/天：安全告警100条/天：安全事件10条/天的降噪能力，极大地提升了安全运维工作的效率。

方案技术框架：

1.服务器集群并行方式部署，每台设备提供相同的应用，对业务分析主机和数据采集主机启用不同的服务进程，无论业务主机，还是数据采集主机出现故障后，其余服务器能瞬间接管全部应用。其中业务主机作为后端分析设备，会进行定期的数据备份，当出现故障后，会在整体集群中通过资源评估机制，筛选一台进行业务分析服务启用。并行集群技术，资源有效利用率高，故障收敛时间快，可靠性更高。

2. 负载均衡组件采用双机模式，首先双机可以保证日志采集分流负载均衡组件自身的程序灾备，即一台组件挂了，还有一台备机可以立即自动接替工作；其次日志采集分流负载均衡组件与日志集群节点之间有工作状态保活同步机制，当某个节点处于异常状态时，可以自动将日志分流到其他日志集群节点上，防止数据丢失。

核心优势：

1、存储超级优：大幅减少满足6个月日志合规留存规定所需存储空间，实测压缩比3：1。解决合规存储要求，避免了客户花费大代价单独购买存储设备的需求。

2、吞吐超级大：可以支撑每秒20000条以上超大日志量场景，完美应对出口大日志量场景下高性能采集处理要求。支持动态集群热扩容。

3、溯源超级快：10亿级日志秒级查询，满足网监溯源需求，提高海量日志下查询效率。

4、兼容超级全：开放兼容收集主流网络、安全、服务器、中间件等厂商1000+日志标准化，快速识别各类资产日志，实现合规审计的日志分析要求。

业务支撑能力——应用场景

日志审计作为安全合规及安全审计中重要的安全设备节点，需要保证在不丢失一条日志的情况下，做到180天以上的留存能力。同时需要能够结合日志数据，进行多维的安全关联分析，形成安全审计能力。

随着互联网应用的发展，用户侧的网络流量指数级激增，安全威胁不断加剧，网络设备、安全设备、业务系统上产生的日志数据也随之快速增长。导致现有的单日志审计产品的各项性能及安全能力越来越难以应对现有数据量级。同时公安部82号令要求对上网进行实名制审计和留存。

聚铭大日志留存分析及实名审计方案，通过集群式的部署方式，有效提升了日志的采集和安全审计性能，同时做到上网实名制的回溯。在满足各项安全合规要求的前提下，提升了日志数据的安全分析价值。

聚铭大日志留存分析及实名审计方案，能够支持10W以上的EPS日志量，达到PB级别的存储能力，秒级的查询检索能力。在上亿条的海量日志数据中，筛选出百条级别的高价值安全事件数据。

业务支撑能力——业务需求

（1）采集管理

采集是综合日志分析系统的重要功能模块，它承载了日志或事件采集标准化、过滤、归并功能。采集管理是系统进行分析的第一步，用户通过指定需要采集的目标、相关采集参数（Syslog、SNMP Trap等被动方式无需指定）、相关的过滤策略和归并策略等创建日志采集器，以收集相关设备或系统的日志。

（2）数据识别（标准化）

不同的系统或设备所产生的日志格式是不尽相同的，这给分析和统计带了巨大的麻烦，所以在综合日志分析系统中内置了众多的标准化脚本以处理这种情形；即便对于某些特殊的设备，您没有发现相关的解析脚本，综合日志分析系统也提供了相应的定制方法以解决这些问题。

（3）过滤和归并

为了对接收的日志数量进行压缩，综合日志分析系统还提供了过滤和归并功能；其中，过滤功能不仅仅是丢弃无用的日志，而且也可以将它们转发到外部系统或对部分事件字段进行重新填充。

（4）实时监控

所谓实时监控是指对当前接入的事件日志的逐条、实时显示，显示的日志内容是可以根据用户的需求进行设置过滤条件来定制的。实时监控中包括了如下功能：
设置监控过滤规则：根据用户需要或分析过程的需要设定显示过滤条件，便于观察日志实时接收情况；

开始或暂停监控：根据过滤条件开始监控或暂停监控；

导出当前监控显示的内容：当暂停监控时，用户可以导出当前显示的日志内容，便于后续分析、挖掘或追溯异常安全事件日志。

（5）会话审计

综合日志审计系统利用独有的智能协议识别技术，可高速、准确地识别上千种应用，在解析五元组（源IP、目的IP、源端口、目的端口、协议）、会话发生时间外，根据不同应用协议进行了更加深度的解析，满足客户会话审计的需求。

（6）威胁检测

通过对网络流量进行非入侵性的侦听检测，在威胁发生全生命周期的多个阶段识别攻击者的攻击负荷、恶意行为和网络通信。

（7）事件分析

综合日志分析系统的事件分析功能是系统中的核心功能之一；其中关联分析策略主要侧重于各类日志之间可能存在的逻辑关联关系。

综合日志分析系统不仅支持以预定义规则的方式进行事件关联，还支持基于模式发现方式的关联。

推广应用情况：
截止目前，聚铭政企大日志留存分析及实名审计解决方案已经陆续在民政部一零一研究、泰州市公路管理局、中铁十七局集团、国家广播电视总局、中国邮政、花旗银行、上海机场、河海大学、南京师范大学等在内的全国1000+家政企单位成功落地实践，通过对客户网络的安全排查，累计发现并处理了网内中病毒终端用户计算机10W余台，封堵不安全端口1.8W 余个，修复应用系统安全漏洞6W余个。极大地保证了政企客户在合规审计、内网威胁防护等方面的建设需求。以日志为抓手，通过对海量数据进行范式化、识别、清洗、建模等处理，剔除噪音数据，精准发现潜在安全风险，有助于实现智能化运维，具有很强的推广示范意义。