网络爬虫技术的重点之一是网络爬虫框架，因此《Python网络爬虫技术与应用》结合网络爬虫框架的相关案例重点介绍网络爬虫的常见框架，包括PySpider网络爬虫框架的安装和使用，Scrapy网络爬虫框架的安装和使用，以及Scrapy网络爬虫管理与部署。另外，《Python网络爬虫技术与应用》对Python网络爬虫开发需要的reguests库、Scrapy解析库、存储库、XPath进行了介绍，并介绍了requests库、正则表达式、XPath等的使用方法，还重点讲解了这些库的实际应用。 《Python网络爬虫技术与应用》以Python网络爬虫开发为主线，兼顾理论与实战，全面介绍可操作的Python环境与系统开发相关知识，以及大数据算法、大数据分析、大数据系统互补的作用。另外，《Python网络爬虫技术与应用》还赠送课程大纲、教学课件PPT、实验手册、各章习题及答案、期末试卷及答案、教学和实验视频，方便教师授课。 《Python网络爬虫技术与应用》可作为高等院校大数据、计算机、电子信息、软件技术相关专业研究生和高年级本科生的教材，也可作为大数据及编程爱好者的参考用书。
读者对象
《Python网络爬虫技术与应用》可作为高等院校大数据、计算机、电子信息、软件技术相关专业研究生和高年级本科生的教材，也可作为大数据及编程爱好者的参考用书。
本书特色
★★以Python网络爬虫开发为主线，兼顾理论与实战。
★★赠送课程大纲、教学课件PPT、实验手册、各章习题及答案、期末试卷及答案、教学和实验视频，方便教师授课。
网络爬虫，也被称为网络机器人，能够帮助并取代在互联网上自动收集和组织数据的人。在大数据时代，信息收集是一项重要的任务，例如在搜索引擎中抓取和收集网站，在数据分析和挖掘中收集数据，在财务分析中收集财务数据。如果仅仅依靠人力资源来收集信息，不仅效率低下、操作烦琐，还会增加信息收集的成本。此时，可以使用网络爬虫来自动收集数据和信息。此外，Web爬虫还可以应用于舆情监测与分析、目标客户数据收集等领域。
使用Python是爬虫的最佳方式，因为它对初学者更友好，且原理简单，通过几行代码就可以实现基本的爬虫，其学习过程更流畅，能让学习者感受到更大的成就感。
在掌握基本的爬虫程序之后，学生将更加熟悉Python数据分析、Web开发，甚至机器学习。在此过程中，学生将熟悉基本的Python语法、库的使用以及如何查找文档。
《Python网络爬虫技术与应用》内容
《Python网络爬虫技术与应用》全面系统地讲解Python网络爬虫的体系应用，由浅入深地介绍网络爬虫方面的技术知识，对基于Python网络爬虫领域的技术做全面的介绍。原理部分，主要突出网络爬虫的理论基础，原生态网络爬虫中正则表达式与requests库的使用，HTML内容解析模拟浏览器模拟登录模拟验证的应用，Python与数据库的连接与使用，网络爬虫框架的介绍与实际应用等。系统开发环境配置与搭建部分，通过实例系统讲解Python环境的安装、部署、环境搭建、配置、应用程序部署等一系列过程，帮助学生搭建Python开发环境。
网络爬虫技术的重点之一是网络爬虫框架，因此《Python网络爬虫技术与应用》首先重点介绍网络爬虫的常见框架，再结合网络爬虫框架的相关案例介绍PySpider网络爬虫框架的安装和使用，Scrapy网络爬虫框架的安装和使用，以及Scrapy网络爬虫管理与部署。另外，因为Python网络爬虫开发需要reguests库、Scrapy解析库、存储库、XPath的配合，《Python网络爬虫技术与应用》还介绍了requests库、正则表达式、XPath等的使用方法，重点讲解这些库的实际应用。
《Python网络爬虫技术与应用》共分为7章，邓维负责全书的统稿工作，第1～4章由李贝编写，第5章到第6章由汤小洋编写，第7章由康毅斌、林海玉、刘燕秋、林建雄、刘庆胜、钟晓颖统一编写。
在Python网络爬虫的体系应用中，Scrapy与PySpide是非常重要的Python网络爬虫框架，读者通过学习，可以掌握Scrapy和PySpider的安装、配置和使用，以及实现基本的案例。
《Python网络爬虫技术与应用》以Python网络爬虫开发为主线，兼顾理论与实战，全面介绍可操作的Python环境与系统开发相关知识，以及大数据算法、大数据分析、大数据系统互补的作用，可以互相参考。
《Python网络爬虫技术与应用》使用对象
计算机编程爱好者。
适合掌握Python、网络爬虫等技术的读者，按照书中的流程，一步步从环境的准备到基本库、常见框架的开发和部署，直到案例开发的完成。
开设有Python相关课程的高校教师和学生。
如今，国内很多高校计算机、自动化、电子信息、大数据等专业均开设了大数据相关课程，但是绝大部分均以理论介绍为主，单纯的理论教学过于抽象，学生理解起来比较困难，教学效果不理想。《Python网络爬虫技术与应用》所介绍的内容以实践为主、理论为辅，注重学生操作跟实际接轨，使学生对所学知识更感兴趣、更容易接受。
《Python网络爬虫技术与应用》赠送资源
《Python网络爬虫技术与应用》赠送课程大纲、教学课件PPT、实验手册、各章习题及答案、期末试卷及答案、教学和实验视频，读者可分别扫描下方二维码获取。
课程大纲 教学课件PPT 实验手册
习题及答案 期末试卷及答案 教学和实验视频（上） 教学和实验视频（下）
第1章 网络爬虫概述
1.1 网络爬虫简介
1.1.1 网络爬虫的概念与类别
1.1.2 网络爬虫的流程
1.1.3 网络爬虫的抓取
1.2 网络爬虫的攻防战
1.3 反网络爬虫技术及解决方案
1.4 本章习题
第2章 Python基本知识介绍
2.1 Python编程
2.1.1 Python的安装与环境配置
2.1.2 PyCharm的安装与使用
2.2 HTML基本原理
2.2.1 HTML简介
2.2.2 HTML的基本原理
2.3 基本库的使用
2.3.1 urllib库
2.3.2 requests库
2.3.3 re库
2.4 实战案例：百度新闻的抓取
2.5 本章习题
第3章 原生态网络爬虫开发
3.1 requests库详解
3.1.1 requests语法
3.1.2 requests库的使用
3.2 正则表达式
3.2.1 正则表达式详解与使用
3.2.2 Python与Excel
3.3 实战案例：环球新闻的抓取
3.4 本章习题
第4章 解析HTML内容
4.1 XPath的介绍与使用
4.1.1 XPath的介绍
4.1.2 XPath的使用
4.2 lxml库的安装与使用
4.2.1 lxml库的安装
4.2.2 lxml库的常见方法使用
4.3 Chrome浏览器分析网站
4.4 BeautifulSoup的安装与使用
4.5 实战案例：BeautifulSoup的使用
4.6 页面请求与JSON
4.6.1 JSON的介绍与应用
4.6.2 GET请求和POST请求
4.7 模拟浏览器
4.7.1 Selenium的介绍与安装
4.7.2 模拟点击
4.7.3 Ajax结果提取
4.8 实战案例：小说网站的抓取
4.9 模拟登录与验证
4.9.1 复杂的页面请求
4.9.2 代理IP
4.9.3 Cookie的使用与证书
4.9.4 使用Selenium进行模拟登录
4.10 验证码
4.10.1 手动打码
4.10.2 自动打码
4.11 实战案例：模拟登录及验证
4.11.1 基本思路与方法
4.11.2 使用Cookie
4.12 本章习题
第5章 Python与数据库
5.1 MySQL数据库的安装与应用
5.1.1 MySQL数据库的安装
5.1.2 MySQL数据库的应用
5.2 MongoDB的安装与使用
5.2.1 MongoDB的安装
5.2.2 MongoDB的使用
5.2.3 MongoDB的可视化工具RockMongo
5.3 Python库pymongo
5.4 本章习题
第6章 Python网络爬虫框架
6.1 Python网络爬虫的常见框架
6.2 PySpider网络爬虫框架简介
6.3 Scrapy网络爬虫框架简介
6.4 PySpider与Scrapy的区别
6.5 PySpider网络爬虫框架的安装和使用
6.5.1 PySpider的安装与部署
6.5.2 PySpider的界面介绍
6.5.3 PySpider的多线程网络爬虫
6.5.4 使用Phantomjs渲染
6.5.5 PySpider网络爬虫时间控制
6.5.6 RabbitMQ队伍去重
6.5.7 在Linux系统下安装部署PySpider
6.5.8 实战案例：使用PySpider抓取题库
6.6 Scrapy网络爬虫框架的安装和使用
6.6.1 Scrapy的简介与安装
6.6.2 Scrapy的项目文件介绍
6.6.3 Scrapy的使用
6.6.4 Scrapy中使用XPath
6.6.5 Scrapy与MongoDB
6.6.6 Scrapy_Redis的安装与使用
6.6.7 使用Redis缓存网页并自动去重
6.6.8 实战案例：抓取豆瓣Top250
6.7 Scrapy网络爬虫管理与部署
6.7.1 Scrapyd管理网络爬虫
6.7.2 使用SpiderKeeper进行任务监控与定时抓取
6.7.3 Supervisor网络爬虫进程管理
6.7.4 Scrapy项目设计思路
6.7.5 实战案例
6.8 本章习题
第7章 综合性实战案例
7.1 实战案例1：瀑布流抓取
7.2 实战案例2：网络爬虫攻防战
7.2.1 网络爬虫攻防技术认识
7.2.2 代理IP地址网站
7.2.3 抓取新浪微博内容
7.2.4 获得微博内容信息并保存到文本中
7.3 实战案例3：分布式抓取
7.3.1 背景/案例知识介绍
7.3.2 某研究中心的数据抓取
7.3.3 查看效果
7.4 实战案例4：微信公众号文章点赞阅读数抓取
7.4.1 所运用的内容讲解
7.4.2 抓取微信公众号文章的评论数据
7.4.3 效果展示
本章习题
参考文献
书单推荐
