互联网信息监测系统研究

第一章 引言

1.1互联网信息

1.2互联网信息监测

1.3手工监测的不足

1.4互联网信息监测系统

1.5全文组织结构

第二章 常见企业用户需求

2.1 业务功能需求

2.2 非功能性需求

第三章 系统设计

3.1 系统结构

3.2 分布式网络信息采集子系统

3.3 海量信息管理与检索子系统

3.4 多维分析与机器学习子系统

3.5 权限与接口管理子系统

3.6 交互子系统

3.7 系统部署方案

第四章 数据处理流程

4.1 结构化解析

4.2 多语言支持

4.3 网页正文提取

4.4 网页信息抽取

4.5 命名实体识别

4.6 数据规模估算

第五章 关键技术解析

5.1 文本聚类

5.2 文本分类

5.3 高可用HA

5.4 全文检索

5.5数据模型NoSQL

5.6词语统计与分析

5.7元搜索

5.8网络协议Robots

第六章 相关厂商和产品

6.1 中科新天

6.2 谷尼国际

6.3 方正智思

6.4 北京本果

6.5 维思比

6.6 乐思软件

6.7 中科点击

第七章 相关开源软件

7.1全文索引框架 Apache Lucene

7.2搜索引擎 Apache Nutch

7.3全文检索平台 Apache Solr

7.4分布式计算基础平台 Apache Hadoop

7.5应用服务器 Apache Tomcat

7.6数据库服务器 MySQL

7.7中文分词工具 IKAnalyzer

7.8消息中间件Apache ActiveMQ

第八章 总结

互联网是现代社会信息发布、交换和获取的重要渠道，各类对企业发展有重大影响的信息，也大量通过互联网发布、交换和获取。对互联网上的上述信息进行检测和分析，及时发现与企业相关的重要新闻或敏感事件，并连接到企业接口人的业务工作中，进而形成面向互联网的服务支撑业务体系。互联网服务支撑信息监测系统的是一整套完整严密的软硬件系统，它需要从每秒都有海量新增内容的互联网上，扫描目标媒体站点，并综合采纳搜索引擎的实时搜索结果，将获取到的原始网页信息，解析并转化为结构化文档，并执行转载统计、热点统计、预警、聚类、分类等文档挖掘算法，从而在此基础上为用户提供有价值的、有针对性的咨询分析，并支持用户在Web界面上执行流程规范的编辑、批阅、分析、预警。

当今，信息传播空前迅猛，网络信息的表达诉求也日益多元。如果引导不善，负面的网络信息将对社会公共安全形成较大威胁。对相关政府部门来说，如何加强对网络舆论的及时监测，以及对网络舆论危机的积极引导，对维护社会稳定、促进国家发展具有重要的现实意义。