本教材抛弃传统的面面俱到的做法，简单介绍Python及库的安装后，马上利用开源软件Homeassistant在计算机上进行智能家居的实践，包括语音、短信、摄像头、飞利浦灯具、小米智能家居设备；随后根据进一步扩大智能家居功能的目标出发，介绍Python的相关程序开发方法并把它结合到Home assistant中；同理介绍OpenCV及其在Home assistant的应用，包括人脸识别、运动检测等。随后引入树莓派进行Homeassistant智能家居的开发，通过树莓派在外网利用手机操作智能家居的方法。最后通过几个综合案例提升智能家居的开发能力。

贺雪晨，男，高级工程师， 现任上海电力大学电子与信息工程系主任。主持2019年上海高校本科重点教学改革项目“基于人工智能应用场景的产教深度融合实践教学改革与探索”；主持2019年上海市高水平应用型大学建设重点教改项目“新工科背景下卓越工程师培养模式探索”和“嵌入式智能技术产教融合教学团队”。

目录

第1章概述1

1.1Python安装2

1.2查看安装的库3

1.3思考题4

第2章Home Assistant5

2.1安装和测试Home Assistant5

2.2修改经纬度10

2.3Internet信息服务中的天气预报11

2.4语音与媒体播放器——百度语音与Kodi12

2.4.1创建百度语音应用13

2.4.2配置Home Assistant13

2.4.3使用Kodi进行语音播报14

2.5摄像头与图像处理——IP摄像头15

2.5.1安装IP摄像头15

2.5.2修改配置文件15

2.6利用Twilio实现通知提醒17

2.7家电控制——飞利浦灯具18

2.8家电控制——小米设备22

2.8.1添加小米网关及小米ZigBee设备22

2.8.2添加小米WiFi设备25

2.9自动化31

2.9.1触发器31

2.9.2条件33

2.9.3动作34

2.9.4在Home Assistant前端配置自动化34

2.9.5编写代码实现自动化36

2.10思考题38

第3章树莓派39

3.1树莓派的安装和使用39

3.1.1烧写映像文件至SD卡39

3.1.2启动树莓派41

3.1.3PuTTY44

3.1.4VNC Viewer47

3.1.5文件传输50

3.1.6Linux常用命令与文本编辑51

3.2树莓派中的Home Assistant53

3.2.1自启动Home Assistant53

3.2.2备份映像与SD卡克隆56

3.3组件接入57

3.3.1语音与媒体播放——Google语音与VLC57

3.3.2利用电子邮件实现通知提醒61

3.3.3脚本与自动化64

3.3.4模板与自动化69

3.3.5利用小米万能遥控器实现家电控制74

3.3.6USB摄像头77

3.3.7虚拟摄像头79

3.4人脸识别80

3.4.1dlib配置80

3.4.2本地dlib人脸探测84

3.4.3微软人脸特征检测88

3.4.4微软人脸识别与认证91

3.5界面States UI与Lovelace UI95

3.5.1States UI界面优化95

3.5.2Lovelace UI界面优化97

3.6手机访问Home Assistant102

3.6.1免费云服务器102

3.6.2SSH隧道构建109

3.6.3FRP隧道构建111

3.7使用TensorFlow进行物体识别115

3.7.1安装TensorFlow116

3.7.2配置TensorFlow116

3.7.3在Home Assistant中实现物体识别119

3.8思考题121

第4章Python122

4.1Python快速入门122

4.1.1Python程序编写122

4.1.2方法123

4.1.3循环124

4.1.4分支124

4.2树莓派Python编程基础125

4.2.1变量126

4.2.2值和类型127

4.2.3结构体129

4.2.4控制程序流程133

4.2.5函数135

4.2.6类137

4.2.7模块140

4.3Python与Home Assistant141

4.3.1组件和域142

4.3.2实体、状态和属性143

4.3.3事件和服务148

4.3.4平台152

4.4编写二维码组件153

4.5树莓派GPIO设备控制156

4.5.1Python编程控制LED158

4.5.2利用Home Assistant组件控制LED164

4.5.3利用自定义Home Assistant服务控制LED165

4.6思考题168

第5章OpenCV169

5.1图像170

5.1.1图像读写170

5.1.2图像处理172

5.2视频179

5.2.1视频捕获179

5.2.2保存视频180

5.3人脸识别180

5.3.1人脸检测180

5.3.2人脸加工182

5.3.3人脸比对183

5.4运动检测184

5.5KNN背景分割器186

5.6OpenCV在Home Assistant中的实现187

5.7思考题189

第6章综合实践项目190

6.1智能音箱设计与实现190

6.1.1双传声器树莓派扩展板190

6.1.2唤醒词服务snowboy192

6.1.3语音识别模块SpeechRecognition194

6.1.4唤醒后语音识别196

6.1.5文字处理与反馈199

6.1.6图灵机器人204

6.1.7自定义唤醒词206

6.2MagicMirror在Home Assistant中的实现209

6.2.1MagicMirror安装209

6.2.2天气组件Open Weather的配置与安装211

6.2.3第三方组件Weekly Schedule的配置与安装213

6.2.4获取Home Assistant中的实体信息215

6.2.5与智能音箱联动217

6.3思考题219

前言

物联网是国家新兴战略产业中信息产业发展的核心领域之一，智能家居是物联网技术的重要应用。经过3年多的校企合作卓越工程师教学实践，我们采用开源硬件树莓派、开源软件Home Assistant并结合Python程序设计开发的第三代智能家居系统（“全屋智能”）解决了教学与实际应用中的脱节问题。

本书由上海电力大学“嵌入式智能技术”产教融合教学团队编写，是上海市2019年高校本科重点教学改革项目“基于人工智能应用场景的产教深度融合实践教学改革与探索”的成果，也是2019年上海市高水平应用型大学建设上海电力大学重点教改项目“新工科背景下卓越工程师培养模式探索”的成果。

本书以开源软件Home Assistant贯穿全书的内容。

第1章介绍“全屋智能”的背景以及Home Assistant所需要的Python环境的安装。

第2章和第3章介绍如何采用纯配置的方式实现Internet信息服务、语音与媒体播放、摄像头与图像处理、通知提醒、家电控制等功能。第2章还介绍了如何通过前端配置、编写代码两种方式实现自动化功能；第3章还介绍了树莓派的环境配置和Linux常见命令，通过Dlib和微软Azure 认知服务进行人脸识别，Home Assistant界面优化，手机访问Home Assistant，使用TensorFlow进行物体识别等内容。

第4章介绍Python编程基础知识，以及如何通过Python编程增加新的组件和平台，以扩充Home Assistant的能力，实现二维码组件编写和GPIO设备控制。

第5章介绍在开源计算机视觉环境（OpenCV）下进行图像和视频处理的基本方法，通过Python编程在Home Assistant中实现人脸识别、检测和计数。

第6章应用前5章的知识进行智能音箱、魔镜两个综合项目的开发。其中，智能音箱项目完成了小米、百度等智能音箱所具有的基本功能，包括听、说以及根据听到的内容执行指定的任务等；魔镜项目实现了将镜子转换成个人助理的功能，并实现了与智能音箱的联动。

书中难免有不妥之处，恳请同行专家及读者批评指正。请将意见和建议发至邮箱heinhe@126.com，与作者交流。

作者

2020年11月