在物联网资源受限的MCU上部署深度压缩神经网络

作者:陈立军; 张屹; 陈孝如
更新时间:

物联网微处理器单元(MCU)在随机存取存储器(64~2048kB)的小容量是物联网(IoT)发展面临的最大挑战之一。现有的大多数神经网络压缩算法都是为了减小深度神经网络(DNN)模型的大小,使其能够适应有限的存储空间,并且不会显著减小中间特征图的大小。即使经过压缩,神经网络也可能无法在微处理器单元中运行。为了部署深度神经网络在资源有限的物联网微处理器单元上实现嵌入式设备的智能化,提出了一种轻量级的运行时工作内存压缩方法,动态调整中间输出特征映射值,使工作内存小于RAM,以确保其能够适应有限的内存。实验结果表明,该方法可以显著降低深度神经网络的工作记忆,以满足物联网微处理器RAM大小的限制,并在内存开销和运行延迟相对较低的情况下保持输出推断的准确性。