搜索引擎

第二版前言

第一版前言

第一章 引论

第一节 搜索引擎的概念

第二节 搜索引擎的发展历史

第三节 一些著名的搜索引擎

第四节 小结

上篇web搜索引擎基本原理和技术

第二章 Web搜索引擎工作原理和体系结构

第一节 基本要求

第二节 网页搜集

第三节 预处理

第四节 查询服务

第五节 体系结构

第六节 小结

第三章 web信息的搜集

第一节 概述

一、超文本传输协议

二、一个小型搜索引擎系统

第二节 网页搜集

一、定义URL类和Page类

二、与服务器建立连接

三、发送请求和接收数据

四、网页信息存储的天网格式

第三节 多道搜集程序并行工作

一、多线程并发工作

二、控制对一个站点并发搜集线程的数目

第四节 如何避免网页的重复搜集

一、记录未访问、已访问URL和网页内容摘要信息

二、域名与IP的对应问题

第五节 搜集信息的类型

第六节 小结

第四章 对搜集信息的预处理

第一节 索引网页库

第二节 网页编码识别

一、基本而重要的概念

二、常用字符编码

三、常用字符编码算法

四、字符的输入和显示

五、编码识别

第三节 中文自动分词

第四节 分析网页和建立倒排文件

第五节 小结

第五章 信息查询服务

第一节 检索的定义

第二节 查询服务的实现

一、结果集合的形成

二、查询结果显示

第三节 小结

中篇对质量和性能的追求

第六章 可扩展搜集子系统

第一节 天网系统概述和集中式搜集系统结构

一、天网系统结构

二、集中式搜集系统

第二节 利用并行处理技术高效搜集网页的一种方案

一、节点间15RI。的划分策略

二、关于性能的讨论

三、性能测试和评价

四、系统的动态可配置性设计

第三节 天网分布式搜集系统

第四节 对DeepWeb的认识

一、DeepWeb的成因

二、搜索DeepWeb的方法

第五节 小结

第七章 网页净化与消重

第一节 网页净化与元数据提取

一、DocView模型

二、网页的表示

三、提取DocView模型要素的方法

四、模型应用及实验研究

第二节 网页消重算法

一、消重算法

二、算法评测

第三节 小结

第八章 高性能检索子系统

第一节 检索系统基本技术

一、系统设计与结构

二、索引创建

三、检索过程

第二节 适于查询的网页索引结构

一、倒排索引结构

二、平面位置索引

第三节 倒排索引压缩

一、倒排索引压缩技术

二、词典与倒排表的压缩

第四节 索引剪枝

一、静态索引剪枝方法

二、动态索引剪枝方法

第五节 混合索引技术

一、混合索引的原理

二、混合索引的实现

第六节 倒排文件缓存机制

一、倒排文件缓存

二、负载特性

三、缓存策略的选择

第七节 小结

第九章 相关排序与系统质量评估

第一节 传统IR的相关排序技术

第二节 链接分析与相关排序

一、链接分析

二、Web查询模式下的新信息

第三节 相关排序的一种实现方案

一、形成网页中词项的基本权重

二、利用链接的结构

三、收集用户反馈信息

四、计算最终的权重

第四节 信息检索技术评估

一、信息检索技术评估指标

二、TREC和CWlRF信息检索评估

三、搜索引擎技术评估

第五节 小结

下篇web信息资源的组织与应用服务

第十章 大规模web历史网页仓储系统的构建

第一节 国外web历史网页保存现状

一、IntemetArchive

二、PANDORA

三、其他相关Web保存项目

第二节 中国web信息博物馆的系统设计

一、WebInfoMall的设计目标

二、‘WebInfoMall的体系结构

第三节 历史网页的存储

一、数据的组织

二、存储结构

三、数据管理与压缩

四、存储性能

第四节 数据访问

一、PageID的索引

二、URL的索引

三、数据服务

四、性能与优化

第五节 网页的格式保存

第六节 小结

第十一章 大规模web非网页信息仓储系统的构建

第一节 网络资源库藏相关工作

一、Ibiblio

二、InternetArchive

二、W1kimedia

四、中国互联网数字资源财富库藏

第二节 CDAL系统概况

第三节 CDAL系统设计

一、系统体系结构

二、可扩展的存储组织方案

第四节 网络资源描述信息获取

一、0ntology概述

二、描述信息获取机制

三、改进查询的方法

四、改进排序的方法

第五节 基于局部聚类思想的共现词汇算法

一、基本定义

二、H）C共现词汇算法

第六节 小结

第十二章 中文网页自动分类与聚类

第一节 文档自动分类算法的类型

第二节 实现中文网页自动分类的一般过程

第三节 影响分类器性能的关键因素分析

一、实验设置

二、训练样本

三、特征选取

四、分类算法

五、截尾算法

六、中文网页分类器的设计方案

第四节 天网目录导航服务

一、问题的提出

二、天网目录导航服务的体系结构

三、天网目录的运行实例

第五节 文本聚类方法

一、文本聚类的一般过程

二、文本间相似性的度量

三、常用聚类算法

四、聚类结果的评估

五、搜索引擎返回结果的聚类

第六节 小结

第十三章 开放域问答系统

第一节 概述

一、问答系统的历史

二、著名开放域问答系统介绍

三、开放域问答系统的通用体系结构

第二节 问句的分析

一、问句中的指代消解

二、问句分类

三、问句主题提取

第三节 文档和段落检索

一、检索模型的选用

二、查询生成

三、查询结果排序

四、增强索引的功能

第四节 答案提取和验证模块

一、生成候选答案集合

二、答案提取

第五节 问答系统的改进方法

一、问答系统中外部资源的利用

二、寻找特殊类问题的解决方案

三、通过系综方法构建问答系统

第六节 问答系统的评测

一、TREC问答系统评测

二、问答系统评测指标

第七节 实例：天网开放域问答系统

第八节 小结

参考文献

附录术语

《搜索引擎：原理技术与系统（第2版）》系统介绍了互联网搜索引擎的工作原理、实现技术及系统构建方案。全书分三篇共13章。上篇介绍搜索引擎的基本原理和技术，讲述一个小型简单搜索引擎实现的具体细节；中篇详细讨论了大规模分布式搜索引擎系统的设计要点及其关键技术；下篇结合“中国Web信息博物馆”和“中国互联网数字资源财富库藏”的实践经验，介绍了构建大规模Web历史网页和非网页仓储系统的技术和方法，以及中文网页的自动分类与聚类、开放域问题系统的构建等。
　　《搜索引擎：原理技术与系统（第2版）》层次分明，由浅入深，上篇和中篇涉及内容提供了源代码下载地址；既有深入的理论分析，也有大量的实验数据和程序，具有学习和实用双重意义。
　　《搜索引擎：原理技术与系统（第2版）》可作为高等院校计算机科学与技术、软件工程、信息管理与信息系统、电子商务等专业的研究生或高年级本科生的教学参考书和技术资料；对广大从事网络技术、Web站点管理、数字图书馆、Web挖掘等研究和应用开发的科技人员有很高的参考价值；书中提供了大量源代码，除了用于构建搜索引擎之外，对于学习编程，提高编程技巧，以及实现一个大规模应用开发也有一定的参考价值。