教学设备

一、平台概述
    人工智能物联网实验平台是一款人工智能教学、实验、智能应用的开发平台。平台基于视觉、嗅觉、触觉、听觉等感知信息，利用计算机视觉、语音识别、计算机控制、网络通信等技术，结合IOT传感器及执行设备实现行业智慧化应用。
平台架构如图所示：
 
二、平台组成
平台主要由硬件、软件、教学资源三部分组成。
1、硬件部分采用F-Table实验台体，具有八个尺寸不同的插槽、一个可拆卸网板、小型信号示波器、3V/5V/12V电源插孔。插槽处用于安装原理级实验模块，磁吸固定，探针连接信号（RS232、TTL UART、5V、3.3V）。网板支持商用级模块磁吸安装，导线连接。平台支持灵活组合，可与人工智能Python主板、人工智能Android主板、智能网关通信，进行IOT基础教学实验、人工智能应用实验。外观如下图：
 
平台人工智能主板、IOT传感器、IOT执行器的布局图如下所示： 2、软件部分包含人工智能在线教学平台、语音识别小智机器人监控系统两部分。
（1）人工智能在线教学平台提供WEB平台，只需打开浏览器登录到平台，即可开始人工智能知识点的学习，从图像处理基础知识、到机器学习模式识别、深入到Tensorflow框架人工智能深度学习，最后提供典型行业应用案例，熟悉人工智能的开发过程；统计识别所需的时间、结果；提供在线实验手册、实验代码，及开发者模式，有助于用户自主开发。 （2）语音识别小智机器人监控系统采用第三方AI SDK，完成自然语言唤醒、语音合成、语义理解，实现聊天对话、百科问答等功能。同时，与云服务平台通信，与人工智能平台板载的网关进行绑定，即可实现语音远程采集环境参数，语音控制设备。 3、教学资源包含
（1）人工智能web教学平台python语言在线实验手册、实验代码
（2）基于Android AI SDK的实验手册、实验代码。
三、功能特点
1. 支持多种人工智能和物联网课程，如图像处理、计算机视觉、机器学习、深度学习、嵌入式接口技术与传感器、Android物联网应用开发、计算机网络通信技术等。
2. 支持C、Python、Android至少三种语言。感知层IOT传感器及执行器的采集控制采用C语言开发，基于Cortex-M3内核。人工智能在线教学平台（图像处理、机器视觉、深度学习）采用Python语言，基于OpenCV机器视觉库、TensorFlow深度学习框架、Caffe深度学习框架。语音识别小智机器人采用Android语音，调用第三方AI SDK，通过HTTP协议接入与云平台，并与智能网关管理的IOT传感器、执行器绑定，实现语音采集传感器、语音控制执行器。
3. 支持python外设编程、通信编程、机器学习编程，如信号检测与执行器控制、python的网络编程、机器学习课程教学、实验、实训。
4. 支持在线实验手册、实验代码、在线实验验证。将一次人工智能实验过程分解为实验手册浏览（熟悉实验目的、实验原理）、实验代码学习（实验代码关键语句讲解）、在线实验验证等3个过程。
5. 支持离线图片、实时视频两种处理方式。在线实验验证支持从电脑中任选图片，进行识别；也可调用摄像头，利用平台AI核心算法，对视频流进行识别。
6. 实验过程、识别耗时、识别结果以LOG信息、目标矩形框标注、或语音播放的形式进行展示。
7. 能够实现数字图像处理功能，如灰度化、二值化、边缘检测、小波变换、形态学等。 8. 能够实现多种识别，如颜色、形状等识别功能。 9. 能够实现人脸检测、行人检测、聚类分析等机器学习。如Adaboost人脸检测、行人检测、SVM人脸检测、K-Means鸢尾花聚类等； 10. 能够实现涂鸦猜游戏、文字识别、物体识别、垃圾分类等深度学习。基于caffe框架、tensorflow框架实现深度学习，如图所示。                                        物体识别
11. 支持物联网通信协议MQTT、HTTP实现人工智能与IOT感知设备的连接。
12. 支持第三方AI SDK实现智能语音识别技术，如智能对话，问天气、讲故事、百科问答等，如语音查询环境参数，语音控制照明灯、语音控制风扇等。 13. 能实现人脸识别活体检测，人脸识别门锁控制功能。 14. 能够嵌入式接口技术与传感器、计算机通信，可通过上位机平台查看传感器采样信息，如图所示。 四、课程实验

课程类别	课程要求
1.人工智能概论	课程内容	了解人工智能概念、发展历史、
2.Python基础编程	课程目标	掌握Python基本编程方法
	课程内容	基于人工智能开发套件完成Python开发环境搭建，基本语法的入门，通信编程开发等。
	课程实验	实验1：开发环境安装 实验2：数据类型 实验3：程序控制 实验4：函数类	实验5：模块和标准库 实验6：文件和流 实验7：数据库和网络编程 实验8：图形用户界面
3.数字图像处理 实验课程	课程目标	理解图像处理算法的原理 掌握数字图像处理的常用方法
	课程内容	基于人工智能开发套件完成图像处理视觉库的安装、图像处理方法调用。
	实验硬件	人工智能应用开发套件
	课程实验	实验1 Opencv视觉库的安装配置 实验2 图像灰度化 实验3 归一化 实验4 二值化 实验5 图像滤波：高斯、中值	实验6 边缘检测：Sobel/Canny/hog 实验7 形态学 实验8 灰度直方图 实验9 锐化 实验10 钝化 实验11 图像增强
	课程实训	实验1 颜色识别	了解颜色组成和表示方法； 使用Opencv库识别颜色，并播报。
		实验2 简单图形形状识别	了解霍夫变换的原理； 涉及图像灰度化、归一化、滤波、边缘检测等知识点； 使用Opencv库识别圆形、矩形，并播报。
4.机器学习 应用实验课	课程目标	1.了解机器学习的分类：无监督、有监督 2.了解数据集的原理、作用、存储格式 3.了解至少一种聚类算法如K-Means的原理：欧式距离、余弦距离曼哈顿距离计算方法； 4.了解至少一种机器学习算法如Adaboost、SVM、决策树等的原理：分类器的流程； 5.掌握聚类算法、分类器算法的调用方法 6.掌握分类器的检测分类效果 7.掌握根据分类效果，进行智能控制 8.通过增减数据集，掌握算法训练的全过程
	课程内容	能够使用机器学习的算法，实现聚类、分类、以及能够结合声、光、电设备实现关联控制
	课程实验	实验1 鸢尾花聚类播报 实验2 脸部数据集分析显示	实验3 人脸检测控制实验 实验4 行人检测控制实验 实验5 车牌识别
5.深度学习 应用实验课	课程目标	1.了解深度学习的定义，与机器学习的区别 2.了解数据集的原理、作用，以及格式 2.了解至少一种深度学习算法的理论：如CNN、RNN、BP神经网络 3.掌握至少一种深度学习框架的使用方法：如Caffe、TensorFlow 4.掌握使用深度学习方法实现识别的方法 5.掌握根据识别结果，进行智能控制，如语音播报识别到的数字，语音播报识别到的物体名称，控制声、光、电执行部件。 6.通过增加数据集，掌握算法训练的全过程。
	课程内容	能够使用深度学习的方法，实现数字、物体识别，使人工智能与物联网感控设备联动
	课程实验	实验1 手写数字识别 实验2 涂鸦猜游戏	实验3 物体识别 实验4 垃圾分类
6.自然语言应用开发实验课	课程目标	掌握使用人工智能平台SDK完成语音识别技能
	课程内容	1）通过输入的语音进行识别，能够支持整段音频进行识别以及流式语音识别。 2）整段文字识别，在用户录入整段音频后，能够将返回语音的文字内容。 3）流式识别可以实现边录音边识别，并能在录入过程中将识别的内容同步显示出来。
	课程实验	实验1 语音唤醒 实验2 语音合成	实验3 语义理解 实验4 文字识别
7.嵌入式接口技术与传感器系列	课程目标	掌握单片机传感器原理开发
	课程内容	1.温湿度传感器实验 2.光敏传感器实验 3.pm2.5传感器实验 4.结露传感器实验 5.超声波传感器实验 6.红外反射传感器实验 7.霍尔传感器实验 8.称重传感器实验		9.九轴传感器实验 10.热释红外传感器实验 11.振动传感器实验 12.声音传感器实验 13.紫外线传感器实验 14.环境光传感器实验 15.红外对射传感器实验 16.颜色识别传感器实验
8.嵌入式Android系统应用开发	课程目标	掌握Android物联网应用开发方法
	课程内容	1.网关接入云平台配置 2.ModbusRTU通信协议的解析 3.平台JSON数据包重组		4.MQTT协议分析与测试 5.HTTP协议分析与测试