网站运维技术与实践

第1章服务器监测

1.1理解监测的意义

1.2通过命令了解系统的性能概况

1.2.1ifconfig

1.2.2w

1.2.3df

1.2.4ps

1.2.5vmstat

1.2.6netstat

1.2.7iostat

1.3其他常用工具

1.3.1sar

1.3.2dstat

1.3.3mtr

1.3.4IPtraf

1.3.5TcpDump

1.3.6Wireshark

1.3.7strace

1.3.8stap

1.4SmokePing网络质量监测

1.4.1原理

1.4.2配置说明

1.4.3报警

1.4.4WebUI

1.5Nagios分布式监测

1.5.1架构原理

1.5.2Plugin编写

1.5.3SNMP网络监控

1.5.4Gearman分布式

1.5.5OMD介绍

第2章产品访问监测

2.1关注产品比服务器更重要

2.2网站监测的明星指标

2.2.1可用性

2.2.2响应时间

2.2.3首屏响应时间

2.3网页浏览过程简介

2.3.1解析域名

2.3.2连接服务器

2.3.3发送请求

2.3.4等待响应

2.3.5传输响应内容

2.3.6浏览器渲染处理

2.3.7并发请求

2.4浏览器网络监测与分析

2.4.1Firebug

2.4.2Chrome开发人员工具

2.4.3HttpWatch

2.4.4rvictl接口监控IOS设备

2.4.5HAR格式

2.5第三方监测

2.5.1基调网络

2.5.2监控宝

2.6简单定制JS监测

2.6.1页面内嵌JS

2.6.2Nginx日志记录和存储

2.6.3数据展示

2.7Boomerang

第3章数据采集、传输与过滤

3.1采集点的取舍

3.1.1服务器数据

3.1.2访问日志

3.1.3系统日志Syslog

3.2收集传输

3.2.1Rsyslog

3.2.2messagequeue

3.2.3RPC

3.2.4Gearman

3.3日志收集系统框架

3.3.1Flume—ng

3.3.2logstash

第4章数据分析与报警

4.1时间序列存储

4.1.1RRDtool（Round—Robin

DatabaseTool）

4.1.2Graphite

4.1.3OpenTSDB

4.2全文搜索引擎ElasticSearch

4.2.1简介

4.2.2安装

4.2.3集群

4.2.4基础查询

4.2.5优化

4.2.6时间序列统计示例

4.3数据可视化

4.3.1RRDtool

4.3.2Gnuplot

4.3.3AmCharts

4.3.4其他绘图库

4.4报警

4.4.1SendEmail

4.4.2WebSocket

4.4.3手机推送

4.4.4分级和归并

第5章测试评估

5.1服务器性能测试

5.1.1IOzone

5.1.2Netperf

5.1.3pktgen

5.1.4sysbench

5.2应用性能测试

5.2.1http_load

5.2.2AB

5.2.3weighttp

5.3分布式测试环境

5.3.1AutoBench

5.3.2TCPCopy

第6章集群架构规划

6.1IDC的规划和选择

6.1.1网站性质决定基础面

6.1.2IDC厂商服务质量

6.1.3BGP真伪的验证

6.2CDN规划

6.2.1CDN原理

6.2.2DNS原理

6.2.3DNS查询结构实现

6.2.4DNS调度

6.2.5其他调度方法概述

6.2.6动态加速概述

6.3缓存设计

6.3.1HTTPHeader对缓存的影响

6.3.2Squid的LM—factor过期算法

6.3.3squid的ACL控制

6.3.4Squid的aufs/coss缓存引擎

6.3.5squidclient的运用

6.3.6使用SSD提高性能

6.4本地负载均衡

6.4.1LVS负载均衡原理

6.4.2keepalived与VRRP高可用原理

6.4.3Nginx的upstream

6.4.4squid的cache_peer

第7章弹性控制和部署

7.1配置集成的思想

7.1.1抽象的集群管理

7.1.2通用模式设计

7.2操作系统部署KickStart

7.2.1基本原理

7.2.2配置安装

7.3应用部署与配置管理

7.3.1SSH：：Batch

7.3.2Puppet

7.4搭建私有软件仓库

7.4.1使用spec文件构建RPM包

7.4.2命令行打包工具FPM

7.4.3yum私有仓库

7.5随时控制成本

7.5.1CGroup配置简介

7.5.2内存限制

7.5.3CPU共享限制

7.5.4CPU绑定限制

7.5.5块设备读写限制

7.5.6配合TC完成网络限速

7.6关于云计算

第8章分布式文件系统

8.1NFS

8.1.1原理

8.1.2服务器端配置和优缺点

8.1.3客户端参数优化

8.1.4丢包与网络参数优化

8.2简单易用的FUSE协议

8.3MogileFS

8.3.1GFS介绍

8.3.2MogileFS介绍

8.3.3MogileFS内部原理

8.3.4安装和配置

8.3.5客户端配置和使用

第9章数据库

9.1MySQL必知必会

9.1.1常见SQL

9.1.2导入导出

9.1.3简单配置调优

9.2慢查询分析工具mysqlsla

9.2.1使用

9.2.2结果分析

9.3Percona工具集

9.3.1备份恢复工具XtraBackup

9.3.2在线运维工具箱Toolkit

9.3.3监控插件集

9.4监控工具

9.4.1mytop和innotop

9.4.2orzdba

9.5MySQL集群

9.5.1MySQL复制原理

9.5.2MHA原理

9.5.3MHA安装使用

第10章备份与同步技术

10.1rsync

10.1.1原理

10.1.2常见运用

10.2inotify和sersync工具

10.2.1inotify概述和示例

10.2.2sersync介绍

10.2.3sersync配置用例

10.3Netcat

10.3.1文件传输

10.3.2端口扫描

10.3.3远程控制

10.4P2P传输网络

10.4.1P2P协议概述

10.4.2BitTorrent概述

10.4.3murder部署和运用

第11章运维制度化与自管理

11.1运维制度化

11.1.1运维为什么要制度化

11.1.2运维如何制度化

11.1.3SLA（ServiceLevelAgreement）协议

11.1.4故障处理的五问法

11.1.5知识库

11.1.6流程跟踪的Tracker系统

11.2自管理

11.2.1时间管理

11.2.2思维导图

11.2.3Git管理和应用

11.2.4交流与活动

资深一线运维专家诚意之作，总结多年实践经验，深入浅出，内容涵盖运维工作各方各面。百度、新浪、人人、音悦台等多名技术经理、高级工程师联名力荐。《网站运维技术与实践》深入阐述了运维工作所涉及的监测调优、日志分析、集群规划、自动化部署、存数和数据库等各方面的技术要点，引入了对最新开源产品的实践经验，包含了对自动化运维和DevOps等技术形态的大量思考，旨在帮助运维人员“懒惰、急躁和傲慢”（程序员的三大美德）地完成网站运维工作。网站运维工作，一向以内容繁杂、覆盖面广著称。《网站运维技术与实践》选取日常工作涉及的监测调优、日志分析、集群规划、自动化部署、存储和数据库等方面，力图深入阐述各项工作的技术要点及协议原理，并介绍相关开源产品的实践经验。在技术之外，作者也分享了一些关于高效工作及个人成长方面的心得。《网站运维技术与实践》适合Linux 系统管理员、中大型网站运维工程师及技术负责人、DevOps 爱好者阅读。同时也适于刚踏上或有兴趣踏上运维岗位的年轻朋友，了解运维职业的工作和发展。【作者简介】 饶琛琳： “资深运维”，先后在世纪互联云快线和中华网负责运维工作，热爱CDN并乐于尝试一切可以给互联网用户带来便利和优质体验的技术。“DevOps”，现任人人公司网络运营部高级研发工程师。专注自动化运维平台的构建，活跃于Puppet和Logstash开源社区。“死理性摩羯座”，比特币大潮中依然坚持要写程序实践证券投资分析原理和时间序列数据预警原理。“Larry Wall教徒”，推崇“懒惰、急躁和傲慢”三大程序员美德，并时时运用于运维工作中。同时热衷于推广以perltidy、Moo、AnyEvent和Plack为代表的新一代Perl编程，参与组织了Perl中国用户2013年度大会。