Python程序设计——大数据应用开发技术与实践_魏新红，闫晓妍，王继平_9787577221397

内容简介本书系统介绍了 Python 程序设计语言及在大数据应用开发中的关键技术。全书以语言基础核心技术系统开发数据分析为主线，全面涵盖 Python 语法基础、流程控制、函数与模块、面向对象编程、文件与数据库操作、多线程与网络编程、爬虫技术、GUI 开发以及基于 pandas 的数据分析与可视化等内容。通过大量典型示例、实训案例和综合项目，帮助读者深入理解 Python 编程思想，掌握使用 Python进行数据处理、系统开发和数据分析的完整流程。内容安排循序渐进，既注重语言基础的扎实训练，又强调大数据场景下的关键技术与实战能力培养。本书可作为高等院校数据科学、人工智能、经济管理、金融数学等相关专业的教材，也可以作为广大 Python 程序设计开发者、爱好者的自学参考书。

前　言随着大数据时代的到来，数据处理、分析与应用能力已成为信息技术领域的核心竞争力。Python 作为一门简洁、强大且易学的编程语言，凭借其丰富的生态系统和广泛的应用场景，已成为数据科学、人工智能、Web 开发等领域的主流工具。为适应新时代对复合型人才的需求，越来越多的高校在计算机科学与技术、数据科学与大数据技术、人工智能等相关专业中开设了 Python 程序设计或大数据应用开发等课程。本书以应用型人才培养为目标，紧密结合当前行业技术发展趋势，系统性地介绍了Python 语言基础、核心语法、常用数据结构、函数与模块、面向对象编程、文件与数据库操作、并发与网络编程、爬虫技术、GUI 开发以及数据分析等内容。全书注重理论与实践相结合，通过大量实例和综合案例，帮助读者在掌握语法基础的同时，提升解决实际问题的能力。既适用于高等院校计算机类、数据科学类、人工智能类等相关专业的本科教学，也可作为从事数据分析、软件开发、自动化运维等工作的技术人员的自学参考书。在规划过程中体现了如下一些基本原则和特点：结构清晰、循序渐进：从 Python 基础语法入手，逐步深入至函数、模块、面向对象等高级主题，*后拓展至数据分析、Web 开发等应用层面，适合不同基础的读者系统学习。案例驱动、注重实战：每章均配有丰富的示例代码、实训案例和综合项目，帮助读者将理论知识转化为实际开发能力。大数据应用场景突出：紧密结合大数据处理常用库（如 pandas、NumPy 等）和典型应用场景（如数据清洗、可视化、爬虫等），帮助读者快速掌握利用 Python 高效地处理和分析大数据。资源配套、便于教学：为方便教师授课与学生自学，本书提供配套课件、代码示例及习题参考答案等教学资源。

目　录第 1 章　Python 概述 .............................11.1 Python 语言简介 .............................. 11.1.1　什么是 Python .............................11.1.2 Python 的应用领域 .....................21.1.3 Python 语言的特点 .....................21.1.4 Python 的版本 .............................31.2 Python 开发环境的安装与配置 ......... 41.2.1　在 Windows 上安装 Python 开发　　　　　环境..............................................41.2.2　配置 PATH 环境变量 ..................71.2.3　编写第一个 Python 程序 ............81.2.4 Anaconda 的安装与使用 ............91.2.5 PyCharm 的安装和使用 ...........151.3　扩展库安装方法 .............................. 221.3.1　使用 pip 命令安装 ....................221.3.2　手动下载第三方库，再使用　　　　　pip 命令安装 .............................231.4　本章小结......................................... 231.5　习题 ................................................ 23第 2 章　Python 语言基础 ...................252.1 Python 的基本元素 ......................... 252.1.1 Python 程序的结构 ...................252.1.2 Python 关键字 ...........................262.1.3　标识符与命名规则 ...................262.1.4　注释 ...........................................262.1.5　缩进规则 ...................................272.1.6 Python 语句与表达式 ...............272.2　标准输入与输出函数 ....................... 272.2.1 input() 函数　　　　　从用户获取输入信息................282.2.2 print() 函数　　　　　输出信息到控制台....................282.3　变量 ................................................ 282.3.1　变量的定义与使用 ...................292.3.2　多变量赋值 ...............................292.3.3　常见数据类型 ...........................292.3.4　变量类型转换 ...........................302.3.5 Python 中的动态类型特性 .......302.3.6 Python 中的常量（伪常量） ...302.3.7　内存地址与 id() .........................302.3.8　可变对象与不可变对象 ...........302.4　实训案例......................................... 312.5　运算符与表达式 .............................. 312.5.1　运算符的分类 ...........................312.5.2　算术运算符 ...............................322.5.3　赋值运算符 ...............................322.5.4　比较运算符 ...............................322.5.5　逻辑运算符 ...............................332.5.6　位运算符 ...................................332.5.7　成员运算符 ...............................332.5.8　身份运算符 ...............................332.5.9　运算符优先级与结合性 ...........332.5.10　表达式的概念 .........................342.6　实训案例......................................... 34IIPython 程序设计大数据应用开发技术与实践2.7 Python 基本规范 ............................ 342.7.1　命名规范 ...................................342.7.2　缩进规范 ...................................352.7.3　注释规范 ...................................352.7.4　空行与换行规范 .......................362.7.5 PEP8 编码风格指南 ..................362.7.6　编码声明与文件格式 ...............362.8　综合案例......................................... 362.9　本章小结......................................... 372.10　习题 .............................................. 37第 3 章　流程控制 ................................383.1　程序结构......................................... 383.2　条件语句......................................... 393.2.1 if 语句 ........................................393.2.1 if...else 语句 ...............................403.2.2 if...elif...else 语句 ......................423.2.3　选择语句的嵌套 .......................443.3　实训案例......................................... 453.4　循环语句......................................... 453.4.1 while 语句 ..................................453.4.2 for 语句 ......................................473.4.3　循环嵌套 ...................................483.4.4 for...else 语句与 while...else　　　　　语句 ...............................................503.5　实训案例......................................... 513.6　跳转语句......................................... 523.6.1 break 语句 ..................................523.6.2 continue 语句 .............................533.6.3 pass 语句 ....................................543.7　综合案例......................................... 553.8　本章小结......................................... 563.9　习题 ................................................ 56第 4 章　数据类型 ................................594.1　数字类型......................................... 604.1.1　整型 ...........................................604.1.2　浮点型 .......................................604.1.3　布尔型 .......................................614.1.4　数字类型转换 ...........................614.2　字符串 ............................................ 624.2.1　字符串简介 ...............................624.2.2　字符串格式化 ...........................624.2.3　字符串的常见操作 ...................634.3　列表 ................................................ 674.3.1　列表简介 ...................................674.3.2　列表的常见操作 .......................684.3.3　列表推导式 ...............................714.4　实训案例......................................... 714.5　元组 ................................................ 714.5.1　元组简介 ...................................714.5.2　元组的常见操作 .......................724.5.3　元组与列表的区别 ...................744.6　字典 ................................................ 744.6.1　字典简介 ...................................744.6.2　字典的常见操作 .......................754.6.3　字典推导式 ...............................774.6.4　字典与列表的对比 ...................774.7　实训案例......................................... 784.8　集合 ................................................ 784.8.1　集合简介 ...................................784.8.2　集合的常见操作 .......................794.9　列表、元组、字典与集合之间的　　相互转换 ......................................... 814.9.1　列表与元组之间的转换 ...........814.9.2　列表与集合之间的转换 ...........824.9.3　列表与字典之间的转换 ...........824.9.4　元组与集合之间的转换 ...........834.9.5　字典与集合之间的转换 ...........834.10　综合案例....................................... 834.11　本章小结 ....................................... 844.12　习题 .............................................. 84第 5 章　Python 函数 ...........................865.1　函数基础......................................... 875.1.1　什么是函数 ...............................875.1.2　定义和调用函数 .......................875.1.3 return 语句 .................................88III目　录5.1.4 pass 语句 ....................................885.2　函数参数与返回值 .......................... 895.2.1　位置参数 ...................................895.2.2　函数返回值 ...............................905.2.3　返回值的作用 ...........................905.3　变量作用域 ..................................... 915.3.1　作用域类型 ...............................915.3.2　局部作用域 ...............................915.3.3　嵌套作用域 ...............................915.3.4　全局作用域 ...............................925.3.5　内建作用域 ...............................925.3.6 global 和 nonlocal 关键字 .........925.4　递归函数......................................... 935.4.1　递归函数的基本结构 ...............935.4.2　递归函数的工作原理 ...............945.4.3　递归函数的优势和局限 ...........945.4.4　尾递归优化与递归优化 ...........945.4.5　递归函数的常见应用 ...............955.5　实训案例......................................... 955.6　高阶函数......................................... 955.6.1　高阶函数的定义 .......................955.6.2　高阶函数的应用 .......................965.6.3　返回函数的高阶函数 ...............975.6.4　使用高阶函数进行函数式　　　　　编程............................................975.7　匿名函数......................................... 985.7.1　匿名函数的定义 .......................985.7.2 Lambda 函数的应用 .................985.7.3 Lambda 函数的优点与缺点 .....995.8　实训案例....................................... 1005.9　闭包 .............................................. 1005.9.1　闭包的定义 .............................1005.9.2　闭包的作用和应用 .................1015.9.3　闭包的注意事项 .....................1025.10　装饰器 ........................................ 1035.10.1　装饰器的基本定义 ...............1035.10.2　使用装饰器 ...........................1035.10.3　带参数的装饰器 ...................1045.10.4　装饰器的应用 .......................1045.11　迭代器与生成器 .......................... 1065.11.1　迭代器 ....................................1065.11.2　生成器 ....................................1075.11.3　迭代器与生成器的区别 ........1085.11.4　迭代器与生成器的应用 ........1095.12　偏函数 ........................................ 1095.12.1　偏函数的基本概念 ...............1095.12.2　偏函数与高阶函数 ...............1105.12.3 　偏函数与默认参数的关系 ..1105.12.4　偏函数的灵活性 ...................1115.13　解包 .............................................1115.13.1　解包的基本概念 ...................1115.13.2　解包的高级用法 ...................1125.13.3　解包与函数式编程 ...............1135.14　综合案例..................................... 1135.15　本章小结..................................... 1135.16　习题 ............................................ 114第 6 章　模块与包 .............................. 1156.1　模块 .............................................. 1156.1.1 　模块就是程序 ........................1156.1.2　模块是用来下定义的 .............1166.1.3　让模块可用 .............................1166.1.4　包 .............................................1176.2　实训案例....................................... 1176.3　探索模块....................................... 1176.3.1　模块包含什么 .........................1186.3.2　使用 help() 函数获取帮助 ......1186.3.3　查阅官方文档 .........................1196.3.4　阅读源代码 .............................1196.4　标准库：Python 的开箱即用　　利器 ............................................. 1196.4.1 sys：与解释器交互 ................1196.4.2 os：操作系统接口 ..................1206.4.3 fileinput：多文件行迭代 ........1206.4.4　数据结构进阶 .........................1216.4.5 time ..........................................1216.4.6 random .....................................1226.4.7 shelve 和 json ...........................123IVPython 程序设计大数据应用开发技术与实践6.4.8 re 模块 .....................................1256.5　实训案例....................................... 1276.6　其他有趣的标准模块 ..................... 1276.7　综合案例....................................... 1286.8　本章小结....................................... 1296.9　习题 .............................................. 129第 7 章　Python 面向对象程序设计 ...1317.1　类 ................................................. 1317.1.1　类的定义 .................................1317.1.2　构造方法 .................................1327.1.3　类属性、实例属性 .................1337.1.4　类方法、实例方法、静态　　　　　方法..........................................1357.1.5　类调用实例方法 .....................1367.2　实训案例....................................... 1377.3　对象 .............................................. 1377.3.1　对象（实例） .........................1377.3.2　对象的动态性 .........................1387.4　封装 .............................................. 1397.5　继承 .............................................. 1417.6 　多态 ............................................. 1457.7　实训案例....................................... 1477.8　复制对象....................................... 1477.9 　综合案例...................................... 1497.10 　本章小结.................................... 1497.11 　习题 ........................................... 149第 8 章　Python 错误与调试 ..............1518.1　错误和异常 ................................... 1518.1.1　错误的分类 .............................1518.1.2 Python 的异常机制 .................1538.1.3　理解 Python 的错误信息 ........1548.1.4　预防错误的*佳实践 .............1548.2 　捕获和处理异常 ........................... 1558.2.1 使用 try...except 语句捕获异常 .1558.2.2　捕获多个异常 .........................1558.2.3　获取异常信息 .........................1568.2.4　使用 else 语句 .........................1568.2.5　使用 finally 语句 .....................1578.2.6　自定义异常 .............................1578.2.7　异常的嵌套处理 .....................1588.3　实训案例....................................... 1588.4　处理错误异常的特殊方法 ............. 1598.4.1　使用 with 语句管理资源 ........1598.4.2　使用 assert 语句进行调试 ......1608.4.3　使用 sys 模块捕获异常信息 ..1608.4.4　使用 logging 模块记录　　　　　错误信息..................................1618.4.5　使用 traceback 模块获取　　　　　异常堆栈信息..........................1618.4.6　使用 warnings 模块发出　　　　　警告信息..................................1628.5　实训案例....................................... 1628.6　综合案例....................................... 1628.7　本章小结....................................... 1638.8　习题 .............................................. 163第 9 章　Python 文件和数据库操作 ...1659.1　文件的基本操作 ............................ 1659.1.1　创建和打开文件 .....................1659.1.2　文件的基本方法 .....................1669.2　实训案例....................................... 1689.3　结构化数据文件 ............................ 1689.3.1 CSV 文件操作 .........................1689.3.2 JSON 文件操作 .......................1719.3.3 pickle 文件操作 .......................1729.4　实训案例....................................... 1749.5　数据库简介 ................................... 1749.5.1 MySQL 数据库介绍 ...............1749.5.2 MySQL 的特点与作用 ...........1749.5.3 MySQL 的技术路线与发展 ...1759.5.4 SQLite 数据库介绍 .................1759.5.5 SQLite 架构 .............................1769.5.6 SQLite 的特点 .........................1769.6 Python 数据库基本操作 ................ 1779.6.1 Python 数据库 API .................1779.6.2 SQLite 和 PySQLite ................179V目　录9.6.3　使用 SQLite 进行数据管理 ....1819.7　综合案例....................................... 1819.8　本章小结....................................... 1829.9　习题 .............................................. 182第 10 章　Python 进程、线程与　　　　网络编程 ............................18410.1　线程 ............................................ 18410.1.1　普通多线程 ...........................18410.1.2　定义线程类 ...........................18510.1.3　线程锁 ...................................18510.1.4　全局解释器锁 .......................18610.1.5　定时器 ...................................18610.1.6　队列 .......................................18710.1.7　生产者消费者模式 ...............18710.1.8　线程池 ...................................18810.2　实训案例..................................... 19110.3　进程 ............................................ 19110.3.1　进程的数据共享 ...................19210.3.2　进程锁 ...................................19310.3.3　进程池 ...................................19410.4　实训案例..................................... 19410.5　协程 ............................................ 19510.5.1　使用 greenlet 库实现协程 .....19510.5.2　使用 gevent 库实现协程 .......19610.6　网络编程..................................... 19610.6.1　网络模块 ...............................19710.6.2 SocketServer 及相关类 .........19810.6.3　多个连接 ...............................19910.6.4 Twisted ..................................19910.7　综合案例..................................... 20110.8　本章小结..................................... 20110.9　习题 ............................................ 202第 11 章　Python 爬虫技术 ................20411.1　网络爬虫概述 .............................. 20411.1.1　网络爬虫的定义 ....................20411.1.2　网络爬虫的流程与分类 ........20511.1.3　网络爬虫的反爬与反反爬　　　　　机制........................................20611.1.4　网络爬虫的法律法规 ............20711.2 HTML 解析库的基本使用 ............ 20811.2.1 XPath 简介与 lxml 库的　　　　　使用........................................20811.2.2 Beautifulsoup4 库基本使用 ..21011.3　爬虫库应用案例 .......................... 21311.3.1 Requests 基本使用 ................21311.3.2 Selenium 库基本使用 ...........21511.4　实训案例 ..................................... 21811.5　综合案例 ..................................... 21811.6　本章小结 ..................................... 21811.7　习题 ............................................ 219第 12 章　Python GUI 编程 ...............22012.1 Python GUI 概述 ........................ 22012.1.1 GUI 发展历史 .......................22012.1.2 Python GUI 库 .......................22212.2 Tkinter GUI 库介绍与案例 .......... 22412.2.1 Tkinter 库安装与基本使用 ...22412.2.2 Tkinter 几何布局 ...................22512.2.3 Tkinter 库组件 .......................22612.2.4 Tkinter 事件 ...........................22812.2.5 Tkinter 组件布局方式 ...........23212.2.6 Tkinter 库应用示例 ...............23312.3　实训案例..................................... 23912.4 　综合案例.................................... 23912.5　本章小结..................................... 23912.6　习题 ............................................ 240第 13 章　数据分析 ............................24113.1 pandas 的数据结构 .................... 24113.1.1 Series ......................................24113.1.2 DataFrame ..............................24313.2　实训案例..................................... 24513.3　索引操作..................................... 24513.3.1　索引对象 ...............................24513.3.2　使用单层索引访问数据 .......24613.3.3　使用分层索引访问数据 .......248VIPython 程序设计大数据应用开发技术与实践13.3.3　索引替换 ...............................25013.4　统计计算与统计描述 ................... 25213.4.1　统计计算 ...............................25213.4.2　统计描述 ..............................25313.5　绘制图表..................................... 25413.6 　数据读取.................................... 25513.6.1　读取 CSV 文件数据 ..............25613.6.2　读取 Excel 文件数据 ...........25613.6.3　读取 Json 文件数据 ..............25713.6.4　读取数据库文件数据 ...........25713.7　数据处理..................................... 25813.7.1　检测及处理缺失值 ...............25813.7.2　检测及处理重复值 ...............26113.7.3　数据集成 ...............................26313.7.4　分组与聚合 ...........................26613.7.5　哑变量处理 ...........................26813.7.6　面元划分 ...............................26913.7.7　数据排序 ...............................27113.8　实战案例..................................... 27313.8.1　分析目标及思路 ...................27313.8.2　数据收集 ...............................27313.8.3　数据预处理 ...........................27413.8.4　数据分析与展现 ...................27613.9　综合案例..................................... 28113.10　本章小结................................... 28113.11　习题 .......................................... 281第 14 章　综合案例 - 基于 Flask 的房屋　租赁系统 ............................28314.1 Python 的 Web 框架介绍 ............ 28314.2 Flask 安装与简介 ....................... 28514.2.1　安装 Flask ..............................28614.2.2 Flask 基本结构 ......................28614.2.3 Flask 程序配置 ......................28814.2.4 Flask 扩展包 ..........................28914.3 Flask 的路由、模板与数据库　　　操作 ............................................ 29014.3.1　路由 .......................................29014.3.2　模板 .......................................29514.3.3　数据库操作 ...........................29814.4　房屋租赁系统前期准备 ........ 30214.4.1　项目介绍 ...............................30214.4.2　项目开发模式运行机制 .......3091.4.3　项目创建和配置 .....................31014.4.4　数据准备 ...............................31214.5　房屋租赁系统首页实现 ........ 31614.5.1　房源总数展示 .......................31614.5.2 *新房源数据展示 ...............31714.5.3　热门房源数据展示 ...............31914.5.4　搜索功能 ...............................321参考文献 ............................................330

你还可能感兴趣

我要评论