搜索引擎与信息检索教程

前言

第1章搜索引擎概述

1.1搜索引擎的概念

1.2搜索引擎的发展史

1.3搜索引擎的分类

1.4搜索引擎的信息检索模型

1.5建立搜索引擎的关键技术

1.6中文搜索引擎的发展趋势

1.7主要搜索引擎介绍

1.7.1谷歌(Google)搜索

1.7.2雅虎(Yahoo)搜索

1.7.3百度(Baidu)搜索

1.7.4天网搜索

1.8小结

思考题

第2章搜索引擎的工作原理

2.1搜索引擎的基本结构及工作原理

2.2网页的搜集

2.3网页内容的提取

2.4查询服务

2.5小结

思考题

第3章信息检索的模型

3.1经典模型

3.1.1布尔模型

3.1.2向量模型

3.1.3概率模型

3.2代数模型

3.2.1广义向量空间模型

3.2.2神经网络模型

3.3其他概率模型

3.3.1贝叶斯网络

3.3.2推理网络模型

3.3.3信任度网络模型

3.4小结

思考题

第4章文本操作

4.1文本预处理

4.1.1文本的词法分析

4.1.2中文分词技术

4.1.3无用词汇的删除

4.1.4词干提取技术

4.1.5索引词条的选择

4.1.6词典

4.2文本聚类

4.2.1文本聚类算法

4.2.2文本聚类中的相关概念

4.2.3特征空间的降维处理

4.3文本压缩

4.3.1基本概念

4.3.2统计方法

4.3.3字典方法

4.3.4倒排文档压缩

4.4小结

思考题

第5章文本信息检索技术

5.1顺排文档检索

5.1.1表展开法

5.1.2逻辑树展开法

5.1.3其他顺排文档检索算法

5.2倒排文档检索

5.2.1倒排文档的检索

5.2.2倒排文档的建立

5.2.3逆波兰表达式

5.2.4检索指令表的生成

5.2.5检索实施

5.3布尔检索

5.4加权检索

5.4.1检索词加权检索

5.4.2词频加权检索

5.4.3标引加权检索

5.5全文检索

5.5.1全文检索的技术指标

5.5.2全文检索的实现

5.5.3全文检索效率的提高

5.6超文本检索

5.6.1超文本技术概述

5.6.2超文本的功能及结构

5.6.3超文本检索的优缺点

5.7分布式信息检索

5.7.1分布式检索的查询协议

5.7.2分布式检索系统的结构

5.7.3分布式信息检索模式

5.7.4分布式检索资源选择

5.8分布式数据库查询技术

5.8.1分布式数据库的基本概念

5.8.2利用C#实现分布式数据库查询

5.8.3基于.NETRemoting的查询技术

5.8.4基于DCOM的分布式查询技术

5.8.5基于JDBC的查询技术

5.8.6基于Servlet的查询技术

5.8.7基于CORBA的查询技术

5.8.8基于Agent的查询技术

5.9小结

思考题

第6章信息检索评价

6.1相关性

6.1.1相关性的特征

6.1.2相关性研究类别

6.1.3相关性模型

6.2信息检索性能评价

6.2.1信息检索系统的有效性

6.2.2评价指标

6.2.3Web检索系统性能评价

6.3信息检索领域的相关组织和会议

6.4小结

思考题

第7章文本分类与聚类

7.1分类与聚类介绍

7.1.1文本分类

7.1.2文本聚类

7.1.3文本分类的算法

7.1.4文本聚类的算法

7.1.5自动分类与自动聚类

7.1.6文本分类的评测方法与指标

7.1.7文本聚类的评测方法与指标

7.2常用文本分类方法

7.2.1文本分类的问题

7.2.2kNN分类算法

7.2.3NB分类算法

7.2.4决策树分类算法

7.2.5Rocchio分类算法

7.2.6支持向量机分类算法

7.2.7特征选择分类算法.

7.2.8文本分类系统的实现

7.3常用文本聚类方法

7.3.1层次聚类算法

7.3.2分割聚类算法

7.3.3基于密度的聚类算法

7.3.4基于网格的聚类算法

7.3.5基于模型的聚类算法

7.4小结

思考题

第8章Web信息检索技术

8.1Web信息处理的基本技术

8.1.1Web信息的基本特点

8.1.2Web信息的表现方式

8.1.3Web信息系统结构

8.1.4网络信息资源的组织与管理

8.2Web数据挖掘

8.2.1Web挖掘流程

8.2.2Web挖掘的分类及现状

8.2.3Web数据挖掘和Web信息检索的区别

8.3Web信息检索的关键技术

8.3.1文档搜集

8.3.2文档预处理

8.3.3索引数据库的建立

8.3.4相似度计算与排序方法

8.4搜索引擎的基本结构

8.4.1搜索引擎的结构分类

8.4.2网页收集模块

8.4.3网页索引模块

8.4.4查询模块

8.4.5用户界面

8.4.6搜索引擎的主要指标及分析

8.5搜索引擎的数据结构

8.5.1存储结构

8.5.2信息库

8.5.3文本索引

8.5.4词典

8.5.5采样表

8.5.6前向索引

8.5.7后向索引

8.6搜索引擎爬虫

8.6.1网络爬虫

8.6.2深度优先策略

8.6.3广度优先策略

8.6.4不重复抓取策略

8.6.5网页抓取优先策略

8.6.6网页重访策略

8.6.7网页抓取提速策略

8.6.8Robots协议

8.6.9网页内容提取技术

8.7元搜索引擎

8.7.1元搜索引擎的基本构成

8.7.2常用元搜索引擎介绍及其分类

8.7.3与独立搜索引擎的比较

8.7.4主要技术指标及分析

8.8小结

思考题

第9章搜索引擎开发技术

9.1实例简介

9.1.1搜索引擎的体系结构

9.1.2网页搜集

9.1.3网页预处理

9.1.4查询服务

9.2环境搭建与配置

9.2.1idk1.6的安装与配置

9.2.2eclipse的安装与配置

9.2.3Tomcat的安装与配置

9.2.4Heritrix的安装与配置

9.3网页搜集的实现

9.3.1扩展Heritrix

9.3.2抓取网页

9.4预处理的实现

9.4.1原始网页的处理

9.4.2建立索引Lucene

9.5提供查询服务

9.5.1搜索引擎架构设计

9.5.2后台设计和实现

9.5.3页面设计和实现

9.5.4部署到Tomcat

9.6小结

实验

参考文献

　　本书是“21世纪高等学校精品教材”之一，全书共分9个章节，较为系统地阐述搜索引擎和信息检索研究领域所涉及的相关内容，具体内容包括搜索引擎的工作原理、信息检索的模型、文本操作、文本信息检索技术、信息检索评价等，其目的就是帮助读者对搜索引擎技术有一个全面的了解和提高，同时为更加深入地学习和研究搜索引擎打下良好的基础。该书可供各大专院校作为教材使用，也可供从事相关工作的人员作为参考用书使用。　　随着搜索引擎技术的发展和不断完善，越来越多的人开始对搜索引擎原理和技术进行研究，越来越多的人喜欢上了搜索引擎。　　本书从教学的角度出发，全面地阐述了搜索引擎的技术和信息检索技术，包括：搜索引擎的基本原理与技术、搜索引擎的数据结构和搜索引擎的爬虫、信息获取与信息检索技术、分类与聚类技术以及Web信息检索技术。　　本书适合高等院校计算机科学与技术专业及相关专业的高年级学生和研究生阅读参考，也适合相关领域的工程技术人员参阅。