智能硬件设计理论课复习总结

大连理工大学求实书院特色课程___智能硬件设计理论课复习总结

课程属性：

课程类型：求实书院全体，650+人，必修课(计入保研和奖学金）

开课院系：集成电路学院

学分与学时：课程学分：3学分 l 课程学时：16学时理论(01~04周) + 32学时实践(05-12周，后续通知)

课程考核：期末考试：占60%，笔试闭卷 平时成绩：占10%，平时作业、课堂测试等 实践成绩：占30%，实践课程(1至2人一组)，30分满分 额外成绩：指定竞 赛的指定赛道，最多10分实践加分，不超出实践总分

理论内容基础：

基础知识：信息系统的发展、现状和体系结构

系统知识：基础硬件系统开发、智能化系统软硬体系

创新知识：新方法、新模式、新功能

实践内容基础：

系统基础：OpenHarmony/LiteOS系统基础认知

感知基础：智能硬件体系中的感知技术

控制基础：智能硬件体系中的控制方法

应用能力：基于星闪HiSpark EP小车(自研)综合应用

信息系统与智能硬件

传统信息处理手段：

统计分析(Statistics)：

最基础的处理技术，常用的包括描述性统计(均值、方差、中位数等)、回 归分析(线性回归、逻辑回归等)、假设分析(单样本t检验等)

规则基础系统(Rule-BasedSystems)，专家系统：

基于人类构建的规则，模拟专家决策的过程

聚类分析(ClusteringAnalysis)：

将数据分成若干个组或类别，使同一类别内的数据具有较高的相似性， 常用的包括K-means、层次聚类(HierarchicalClustering)等

时间序列分析(TimeSeriesAnalysis)：

分析按时间顺序排列的数据，常用的技术包括自回归(AR)、移动平均 (MA)、ARIMA模型等。

处理数据才可获取信息

信息系统的结构：

硬件和软件是信息系统的两个核心部分，各自作用不同，共同配 合实现信息系统的功能，硬件决定性能，软件定义功能

硬件：

有实体存在的各类实体物理设备，硬件提供了获取信息、 保存信息、处理信息和执行决策的基础设施支撑，如：

输入设备：将外部数据输入到信息系统

处理设备：执行计算、逻辑运算和数据处理任务

存储设备：临时存储或长期存储数据

输出设备：信息系统处理后的结果呈现给用户

通信设备：与其他系统或设备互联，进行远程访问或数据交换

各类设备之间的界限可以是模糊的，功能可以是融合的

软件：

没有实体存在的无形的功能，主要指系统中的程序和操作 系统，控制和协调硬件的操作，并对数据进行处理，如：

操作系统：基础软件，负责硬件的管理和控制，提供用户与硬件的接口， 确保硬件和应用软件的正常运行

应用软件：根据特定任务需求设计和开发特定功能的软件

数据库管理系统：是用于创建、管理、存储和操作数据库的软件

开发工具和编程语言：用来创建、测试和维护其他软件的工具

安全软件：保护信息系统免受病毒、恶意软件、黑客攻击等安全威胁

中间件：帮助不同应用或系统间进行数据交换、通信和协作

智能硬件

**定义：**指集成计算、感知、通信和控制等 功能的硬件设备，通常具有一定的自我学习、适应、推理和决策 能力，通过与外部环境或用户的交互，执行预定或自主决策任务，智能硬件通常结合了硬件技术、传感器技术、人工智能和物联网 技术等，能够在一定程度上实现智能化的操作或自动化功能

六大硬件组成：

**输入/感知：**感知外部/内部状态，产生感知数据

通信： 智能硬件之间或与外部系统的联网和数据通信

**存储：**保存操作系统、应用程序、数据和配置等内容

**计算：**进行运算和决策，控制智能硬件系统工作

**输出/执行：**输出计算结果，控制外部设备等

软件组成：

**操作系统(OS)：**硬件抽象层、进程管理、内存管理、文件系统 等功能，执行多任务并提供更高效的资源管理

**固件(Firmware)：**直接与硬件进行交互，负责设备的初始化、硬 件控制和低级功能实现

**驱动(Drivers)：**对操作系统和上层应用屏蔽硬件之间的差异， 提供统一的控制和管理接口

**协议栈(Stack)：**与其他设备或云端通信所使用的协议栈，比包 括设备内部的，主要指网络通信和数据传输

**应用软件(APP)：**用户与智能硬件交互的主要软件部分。它通常 负责提供具体的功能，如数据处理等

智能硬件系统的功能特性

功能完备性：感知、存储、通信、计算、输出

​ 系统角度：智能硬件系统必须要实现全部的功能，缺一不可

结构灵活性：功能在系统中可拆分、可结合

​ (1)某个功能可以在不同的部件上实现

​ 计算：可以在CPU、协处理器、GPU、NPU、FPGA等部件上进行

​ 感知：可以通过芯片内部、外部独立传感器等部件实现

​ 输出：可以通过发声设备、显示设备、执行设备等部件实现输出

​ (2)某个部件可以实现多个功能

​ 某SoC芯片：内部集成了计算、存储功能，甚至可以执行通信功能

​ 触摸屏：集成了输入功能和输出功能

​ 前面介绍过的：震动游戏手柄、显卡等

任务动态性：功能在系统中可以动态调整执行部件

​ (1)单一规则设定：同种类型的感知数据，产生不同的输出结果

​ (2)多源规则设定：多个来源的感知数据，产生不同的输出结果

​ (3)外界控制设定：同种类型的感知数据，可以被不同的部件处理和输出

系统扩展性：设备可以加入其他系统，或被其他设备加入

​ (1)设备扩展性：向现有系统中增加新硬件设备，进行系统扩展

​ 功能：扩展系统的功能，如增加湿度感知功能、增加机械手实现抓取功能等

​ 性能：提升系统的性能，如增加新摄像头提升图像分辨率等

​ 范围：扩大系统的覆盖范围，如在新环境中增加温湿度感知设备等

​ (2)功能扩展性：向现有系统中增加新软件实现，进行系统扩展

​ 功能：新增加的硬件设备，必须通过软件实现相关的功能

​ 性能：通过软件控制方法或算法提升系统的性能

​ 输出：通过软件方法设置新的人机交互方式和输出模式、作业类型

短板制约性：软硬件必须协调工作，才能达到系统最佳性能

第一节课课后习题：

1. 信息时代的主要特征有哪些
2. 信息的主要特征有哪些
3. AI的关键技术有哪些
4. 信息系统主要由哪五大类硬件构成，举例说明具体的设备类型
5. 信息系统主要由哪六大类软件系统构成
6. 智能硬件主要由哪六大类硬件构成，各自作用是什么
7. 智能硬件主要由哪五大类软件构成，为何与常规信息系统不同
8. 思考：用一种你觉得合理的方式，将智能硬件的硬件部分和软 件部分结合表达在一幅图中

智能硬件的处理单元

智能硬件的软硬件关系图

常规信息处理部件

CPU(中央处理单元，CentralProcessingUnit)的主要指标：

台式机和服务器上的CPU普遍以性能为主，使用市电供电，不关心CPU功率

GPU(图形处理单元，GraphicsProcessingUnit)的主要指标：

图形工作站和服务器上的GPU以性能为主，使用市电供电，不关心GPU功率

CPU和GPU的共同特点

性能高：

​ 多核：CPU一般8核或更高， GPU一般上千核或更高

​ 复杂：丰富的指令集和结构

功耗高：

​ 单处理器功耗：几十W或更高

体积大：

​ 处理器面积：数百mm2或更高

外围电路复杂：

​ 大容量存储、大功率电源等

**优势：**为系统提供强大的运算处理能力

**在小型智能硬件上的劣势：**性能过剩 功耗过高 体积过大 系统复杂

其中的小型智能硬件指的是：无需处理复杂数据 小电源或电池供电 附着在其他物品上 结构简单可靠性高

CPU和GPU很好，只是不合适

小型智能硬件的计算需求：

智能硬件常用的计算部件：

两类智能硬件常用的计算部件：MCU和SoC

MCU(MicrocontrollerUnit)：一种小型的单片计算机，通常用于嵌入式系 统中，集成了处理器核心(CPU)、内存、外设接口以及基本的外设模块

​ MCU用于执行简单的控制和计算任务，适合用于低功耗、低成本和小规 模功能的应用

SoC(SystemonChip)：一种将整个系统的多个功能集成到单个芯片上的 技术。SoC不仅包含一个或多个CPU核心，还可以集成图形处理单元 (GPU)、通信模块 (Wi-Fi、蓝牙、LTE等)、存储单元、音频、视频处理单 元，甚至是AI加速器等。

					SoC适用于需要高性能和多功能的复杂系统，如智能手机、平板电脑、 智能电视、智能家居的核心设备等

外观上都是芯片：

计算部件性能对比：

红色方框内的区域一般也认为是Soc和MCU的一种区别观点

常用的MCU

常用的8位的MCU：

特点：8位位宽、KB级别存储，较少内部功能模块

常见的8位MCU：主频不超过20MHz，多周期12T

​ 8051架构：最经典的8位MCU，128BRAM、4KBROM

​ PIC系列：Microchip公司(已被收购)

​ AVR系列：ATMEL公司，仅存的广泛使用的八位MCU

传统的8051等8位MCU运行速度低、指令效率低，内部功能模块少，且功耗偏高 基本内部功能模块：定时器、串行通信、中断和ISP等，支持标压5V或低压3.3V运行

​

8位MCU一般应用在非智能型的设备控制领域，小家电领域(电磁炉、微波炉等)

常用的16位的MCU：

特点：除性能提升之外，更丰富的外设功能

常见的16位MCU：主频一般不超过100MHz

16位MCU运行速度提升，指令效率大幅提升，广泛使用3.3V工作电压，集成更多功能模块 16位MCU主要应用在一些电池供电设备、有控制算法需求的家电(洗衣机、空调等)

常用的32位的MCU

特点：性能强大、外设全面，SoC趋势

主流内核一：ARM Cortex-M内核

PIC32系列MCU、NXP LPC系列MCU：略

主流内核二：RISC-V内核

兆易创新(Gigadevice)与芯来科技(Nuclei System Technology) 面向物联网及其它超低功耗场景应用自主联合开发的一款商用RISC-V处理器

内核三：TensilicaXtensa内核

乐鑫公司(Espressif)的产品更多带有Wi-Fi、BT等无线通信功能，课程将其归类为SoC

常用的SoC:

星闪SoC WS63的结构

**总线：**数据总线 + 地址总线 + 控制总线

AMBA 总线形式

question： GPIO等外设如何被CPU访问和控制？

是否SoC的所有部件都需要高速总线：

高速低速转换的bridge：

SoC的各种硬件功能单元：

沟通软件硬件的桥梁

沟通软件硬件的桥梁是一段代码

范例：

#define PD4 (*((volatileunsignedint*)0x40011404))
#define PB5 (*((volatileunsignedint*)0x40010C08))
int main(){
	while(1){
        if(PD4==1){
 	}
        else{
	}
}
}

#volatile：变量易变化，编译器不要优化，每次都需要重新读取
#(unsignedint*)：32位长度无符号型的指针，相当于p
#define PD4 *p
#PD4为p指针指向的位置的内容，访问了特定内存地址的数据
#后续if语句就是我们要做的事

特定的内存地址通过硬件电路 与外设模块建立关联(不详述)

SoC与硬件有关联功能的特定的内存地址 特殊功能寄存器(SpecialFunctionRegister)