爱奇艺网络流量分析引擎QNSM及其应用

导读 一定业务规模的互联网公司的基础设施的网络边界通常都呈现一定程度的复杂多分区的情况，如何进行有效的安全防护和控制会成为安全体系建设的重点和难点。面对这一挑战，爱奇艺安全团队自研了网络流量分析引擎QNSM,并将其用在各种基于流量分析的跨区安全检测和控制场景中，成为了爱奇艺安全防御体系的关键基础引擎。本文是根据爱奇艺高级总监卢明樊在 QCon 全球软件开发大会（上海站）2019 分享《爱奇艺网络流量安全检测能力建设实践》部分内容整理而成。
 ▌互联网企业边界复杂性
 

 

上图是典型的中大型互联网公司的网络架构，通常分为:·  办公网络，可能还有如右下角的众多小的分支机构，甚至还有办公机房·  核心数据中心， 这些数据中心机房可能分布在全国多个地方，并通过专线实现互连，在这个基础上构建了自己的私有云。·  CDN网络，这些CDN节点和核心机房也存在一定的互连。·  如果使用公有云基础服务，呈现混合云的模式，这些基础服务与核心数据中心存在互连。·  上述大量的分区都可能通过不同的方式接入到互联网。·  最后，BYOD和各种无线热点以及手机无线热点等出现，导致呈现了大量碎片化的所谓新边界。对企业安全防御而言，带来了各种新的挑战:·  安全防御变得碎片化和多层次化，大边界内部还可能出现更多的小边界。·  单个边界可能流量会非常大，特别是互联网互联的边界，100Gps以上成为常态，如果在这些边界进行流量检测，要求流量检测要具备高性能和很好的水平扩展能力，随时应对边界流量的扩展。·  企业面临的内外威胁依旧很严峻，流量型攻击，漏洞型攻击，边界突破渗透，内部人员的泄露、破坏和控制都是普遍存在。·  安全防御的体系也在逐步演化，从单纯的边界防御、结合多层次内部防御的纵深防御、以及立足于零信任或者假设失陷的下紧扣角色和权限的安全模型都在推动我们安全防御在不断的升级迭代来应对日益严峻的威胁。安全防御体系的演化不代表边界消失了，边界防御依旧是基础和重要一环，有效地流量分析和控制成为了新的安全防御体系重要的数据源和关节可编排的控制点。因此，我们自研了旁路流量分析引擎QNSM(iQiYi Network SecurityMonitoring)，通过对业务流量和旁路流量的协同分析，并集成多种可调度的防护能力，协同应对多种类型和多种层次的攻击，并且安全运营体系打通，从接入、预案、响应、联动、防御、溯源逐步形成闭环。
 

▌QNSM简介 全流量分析是非常重要的, 可以用来进行资产发现、网络监控和可视化，对安全而言，通过对网络流量的分析，对流量构建基线建模，从流量中可以发现异常、风险以及检测攻击，从流量中也可以实现数据内容提取，发现潜在的敏感数据流动或者泄露，还可以进行ACL策略校对，并将网络流量产出的数据特征通过机器学习和专家分析，可以挖掘更多的信息以及进行取证溯源和事件回查。
 


 

 QNSM（iQIYI Network Security Monitor）设计目标是成为一个全流量，实时，高性能网络安全监控引擎，高性能、实时性、可扩展、多元特征提取是我们需要的关键特性。

·  高性能: 基于DPDK（ https://www.dpdk.org/)利用普通x86服务器即可高速处理10Gbps以上的流量，绕过了内核复杂的协议栈，并采用轮询的方式收发数据包，基于主从和流水线架构，无锁化设计。

·  扩展性强：旁路部署, 结合分光分流可以支持多机快速横向扩展，自身的流水线设计也可以方便实现自定义组件的插入，并且提供基于配置文件的统一资源管理模型，包括队列，CPU，MEMPOOL等，能够快速组建数据交换网络，加速开发进程。

·  多元特征: 多种维度的DDoS检测特征数据，支持基本的DFI/DPI，以库文件形式实现的Suricata IDPS集成，支持ipv4和ipv6双协议。

·  实时性: 集成IDPS实时检测，DDoS检测支持以10s（可调整）周期输出聚合数据，提取的多元特征可以通过Kafka和安全智能分析服务实现对接并进行后续分析。

 

▌QNSM架构设计