互联网流量大数据工程

第1章 互联网流量大数据背景

1.1 网络流量记录与分析

1.2 网络流量研究现状

1.2.1 网流信息的归档与查询

1.2.2 网络流量的归档与查询

1.2.3 对研究现状的分析

1.3 互联网流量大数据平台

1.4 国际前沿进展

1.5 小结

参考文献

第2章 互联网流量测量与带宽管理

2.1 流量测量概述

2.1.1 Internet流量测量

2.1.2 流量测量的难点

2.1.3 流量测量的目的

2.1.4 网络测量与流量测量

2.1.5 流量测量的分类

2.1.6 离线测量与实时测量

2.2 现有算法研究工作

2.2.1 原始记录算法及其存在的问题

2.2.2 解决问题的思路

2.2.3 采样算法

2.2.4 Multi Stage Filter算法

2.2.5 Multi Resolution Space Code Bloom Filter算法

2.2.6 其他算法18互联网流量大数据工程

2.2.7 工业界的解决方案

2.2.8 NetFlow介绍

2.2.9 NetFlow卡的工作原理

2.3 流量管理概述

2.3.1 流量管理定义

2.3.2 流量控制

2.3.3 高速流量管理调度算法比较与分析

2.3.4 现有流量管理系统

2.3.5 协同式流量管理系统

2.4 结束语

参考文献

第3章 互联网流量档案化

3.1 高速网包获取的关键技术

3.1.1 网包

3.1.2 Linux NAPI

3.1.3 libpcap

3.1.4 PF_RING

3.1.5 Netmap

3.1.6 Scap

3.2 网包位图索引压缩算法

3.2.1 位图索引数据库

3.2.2 WAH索引压缩算法

3.2.3 PLWAH算法

3.2.4 COMPAX算法

3.3 流量归档查询系统

3.3.1 基于关系数据库的系统实现

3.3.2 TM系统

3.3.3 TIFA系统实现［14］

3.3.4 TIFAflow系统［15］［16］

3.3.5 NET FLI流记录压缩与查询系统

3.3.6 H

3.4 处理平台展望

3.4.1 多核处理平台［17］

3.4.2 GPU方法［18］

3.5 小结

参考文献

第4章 互联网流量大数据存储

4.1 流量大数据 移动互联网增长背景

4.2 流量大数据 采集、获取与归集

4.3 流量大数据 平台架构及系统实现

4.3.1 Hadoop集群

4.3.2 HBase集群

4.3.3 优化策略

4.3.4 HBase与DatabaseX比较

4.4 流量大数据 经营与挑战

4.4.1 流量大数据经营

4.4.2 流量大数据-挑战

4.5 流量大数据-总结

参考文献

第5章 互联网流量攻击检测关键技术

5.1 网包处理流程

5.1.1 系统结构

5.1.2 功能模块图

5.1.3 多核组织模式

5.2 多模匹配算法概述

5.2.1 Bloom Filter算法及其改进

5.2.2 AC算法及其改进

5.2.3 BM算法的推广型

5.3 基于Bloom Filter的匹配引擎

5.3.1 Bloom Filter算法

5.3.2 参数选择

5.3.3 散列函数选择

5.4 基于HBM算法的匹配引擎

5.4.1 记号和假设

5.4.2 BM算法回顾

5.4.3 HBM算法概述

5.4.4 HBM算法的初始化流程

5.4.5 HBM算法运行流程

5.4.6 HBM算法在多核平台上的优化

5.4.7 HBM算法的证明与分析

5.5 实验与分析

5.5.1 实验环境

5.5.2 基于Bloom Filter算法的引擎性能

5.5.3 基于HBM算法的引擎性能

5.6 本章 小结和展望

参考文献

第6章 互联网流量攻击检测实例

6.1 数据中心的服务监测

6.2 互联网服务访问行为分析

6.3 互联网服务抗DDoS攻击

6.4 互联网安全实时对抗

6.5 网络攻击检测与流式处理

6.5.1 Twitter Storm流计算

6.5.2 Yahoo!S4分布式流计算平台

6.5.3 Facebook DataFreeway/Puma3

6.5.4 Apache Spark平台

参考文献

第7章 互联网化软件流量行为分析

7.1 安全软件简介

7.2 测试方案

7.2.1 测试环境

7.2.2 测试方法

7.3 网络流量分析

7.3.1 流量包进行统计

7.3.2 网络行为频率分析

7.3.3 网络行为数目分析

7.3.4 网络行为间隔累积分布对比

7.3.5 朱雀网络行为分析

7.3.6 玄武网络行为分析

7.3.7 远程通信地址分析

7.4 流量分析结论

参考文献

附录A 联通大数据平台流量记录格式

附录B 联通大数据平台测试环境

本书在全面介绍互联网流量大数据获取、索引、存储和分析等基本知识的基础上，着重介绍基于多级过滤器和空时Bloom Filter的流量测量技术、基于网包调度的流量管理技术、基于模式匹配的攻击检测技术、基于流式计算的实时攻击检测方法、基于流量分析的互联化安全软件的行为分析和基于大数据平台的互联网流量存储与处理的方法，并通过中国联通研究院的移动互联网监控平台和互联网企业流量大数据平台的实际例子，说明这些技术的具体应用，全书提供了大量应用实例。全书共分8章：第1章介绍互联网流量大数据背景，包括移动互联网发展态势。第2章介绍互联网流量测量与带宽管理，着重介绍高速网络流量测量与网包调度算法及应用。第3章介绍互联网流量归档与查询，该技术是流量大数据运营的前提。第4章介绍互联网流量大数据存储，大数据存储是流量大数据运营的基础，当前流行的大数据存储架构为HDFS/HBase技术。第5章介绍互联网流量攻击检测的流扫描和多模匹配HBM算法等关键技术。当前网络攻击形式更加多样化，如何高效深度分析网流内容，查找网络攻击源头是流量大数据的一个创新应用。第6章介绍互联网流量大数据的网络攻击检测，网络攻击实时检测是保障互联网服务安全的重要手段，介绍了互联网企业在保障业务安全中的攻击检测手段。第7章介绍互联网化软件流量行为分析。互联化终端软件是通过云计算平台部署的，能够充分利用互联网基础服务。在改善用户体验的同时，也会带来用户隐私泄露的隐患。第8章回顾了前7章内容，总结全书。本书适合作为高等院校计算机系统架构、计算机网络及安全专业高年级本科生、研究生的教材，同时可供对计算机网络比较熟悉并且对大数据平台有所了解的开发人员、广大科技工作者和研究人员参考。