返回大厅
腾讯科技某物流行业长周期大数据威胁溯源平台项目
投票数量:88 票
助力海报
企业介绍
案例名称及介绍
需求痛点
案例创新点介绍
腾讯安全作为互联网安全领先品牌,致力于成为产业数字化的安全战略官。以企业“核心业务+数据资产”为目标,构建“发展驱动”的安全新范式。
基于腾讯二十多年黑灰产及多样化业务安全经验,结合腾讯安全联合实验室3500+专家科研成果,腾讯安全已获得Gartner、IDC、Forrester、frost&Sullivan、Omdia等主流国际权威研报认可近百次,并在四大核心安全赛道(云安全、零信任、安全运营与管理、风控反欺诈 )稳居“领导者”地位。
腾讯云原生安全数据湖是一款基于云原生技术打造的,高性能、易扩展、扩展性强、数据使用场景丰富的新一代安全大数据分析平台,为用户提供一站式的数据接入、采集、处置、存储、智能分析、检索和可视化BI等,具备“插件化”应用开发能力,上层应用可根据需求灵活开发,并联合合作伙伴构建了完整的日志应用生态体系,助力用户构建云原生湖仓一体安全分析平台。案例特点如下:
1、一体化
一站式数据湖服务,覆盖数据接入、解析、存储、检索、模型分析、数据外发等场景。
2、云原生
采用云原生架构,具有高可扩展性,支持弹性伸缩、秒级扩缩容,低成本,支持无限量存储。
3、平台化
搭建数据市场,提供Rest API及SDK,实现“插件化”的场景组装构建安全功能和数据应用
4、数据洞察
丰富的可视化组件,所见即所得。提供开箱即用检测规则和模型,并支持用户自定义,帮助挖掘有价值的数据,洞察数据背后的重点信息。
5、丰富泛安全场景
检测、调查、溯源、可视。以及合规、审计、风控。
安全数据湖为企业提供泛安全数据一站式接入、加工、存储、分析、告警、可视化等服务。借助安全数据湖,安全团队可以获得广泛安全可见性,以快速检测、调查、溯源和响应安全事件。提供SQL/SPL检索分析,支持安全合规、审计、风控领域的数据分析和挖掘。
6、快速接入,简洁易用
支持快速接入云原生产品数据,简单的配置后即可无缝接入结构化数据,减轻团队初始化投入的工作量,迅速投入使用。适配SQL、SPL语句迁移,长时间查询任务等。
用户原始日志放在Hadoop上,数据规模大概几个PB;每日新增的安全日志存在ES上,平均每天10TB~30TB。由于数据量较大,受性能制约,很多威胁狩猎语句无法正常运行,且无法对历史数据进行情报回扫,发挥不了历史数据价值。基于威胁狩猎和情报回扫的场景,在安全大数据分析方向待提升的内容:
●每日产生大量安全原始数据,且数据规模不断增长,占用较多存储资源,亟需降低数据存储成本
●提升安全数据检索和分析效率,实现对海量安全数据的实时分析,以满足灵活的狩猎和分析规则建立
●深度挖掘历史安全数据价值,可基于最新的安全检测规则和威胁情报,对6个月以上历史数据回扫
场景1:
安全威胁回溯
创新点:
微切片:基于微切片信息估算每一个查询的执行代价(CBO),从而选出最优的查询计划;当计算单元执行查询时,也会基于微切片信息和帧摘要进行分支优化,减少数据读取,提前结束不必要的扫描。
RBO/CBO(基于规则的优化/基于代价的优化):本地计划和分布式计划的生成都会通过一系列规则进行优化;其中分布式查询计划的生成会结合微切片信息进行基于代价的优化。
集群状态监控:通过监控集群的CPU/内存/磁盘/网络等状态信息,自动选择出状态最优的计算单元 。
场景2:
仓湖一体化
创新点:
无索引:避免索引带来的成本开销,安全数据湖的摘要大小是压缩后数据的十分之一。
列存储:极致的压缩率,可达10~20倍压缩比,对于不同数据类型采用不同压缩算法进一步提升压缩性能
支持对象存储COS:支持容灾备份+冷热存储COS,对SSD磁盘的消耗降低80%
场景3:
内部威胁检测
创新点:
依托安全数据湖为数据分析底座,围绕办公场景下的3类用户行为,对“用户”而非“账号”进行行为审计,对用户的登陆、下载、访问进行全面的内部威胁检测,核心场景如下:
1、活跃地点偏离群组
2、新设备登陆
3、首次地点登陆
4、异常的附件下载
5、登陆时间偏离群组
6、僵尸账号活跃
7、访问非常用应用
8、慢速爬取通讯录
9、异常鉴权
10、异常IP登陆
11、账号共享
场景4:
PB级数据存储与高效分析
创新点:
1、多种接入方式+内置标准数据格式
支持syslog、kafka、TCP/UDP等多种接入方式,内置多种标准的数据格式,支持用户自定义解析策略,多次解析策略,帮助用户快速完成数据初始化工作。
2、高性能存储、查询、分析能力:
列存储,“无索引”架避免索引开销,支持存算分离。通过自研原子能力实现处理、查询、存储、分析一体化。支持SQL/SPL语法,快速迁移原有规则和调查任务。
3、百亿级数据(实测数据)
存储压缩比:原始日志存储大小 / 压缩后存储大小 > 10
单字段等值匹配查询 < 5秒
单字段前缀匹配查询 < 10秒
单字段聚合统计 < 30秒
4、安全场景:
内置多种安全场景、检测规则/模型、威胁情报IOC、漏洞情报等,即开即用,秒级查询,快速上手PB级海量数据回溯及威胁狩猎等主动防御手段
5、开放“插件化”APP:
提供多样的可灵活自定义场景APP,插件化可插拔,根据业务场景扩展,生成定制的数据分析视图和任务。