基于深度学习的视频行为识别研究

发布时间：2020-09-27 16:38

　　视频行为识别技术利用计算机对视频序列中人体的动作进行分析和识别,是计算机视觉领域的研究热点,在智能监控、智能家居、人体异常行为检测以及人机交互等领域都有着非常重要的研究意义和广阔的应用前景。目前提出的行为识别模型通常仅使用视频的外观信息和短期运动信息,缺乏学习长时间序列间依赖的能力,因此本文进一步研究并改进行为识别方法,使之能够更好地适用于实际生活中。针对视频中人体行为识别问题,本文使用两个独立的卷积神经网络分别提取视频序列的空域信息和时域信息,然后结合长短期记忆神经单元(LSTM)构成长效递归神经网络(LRCN)对视频中的人体行为进行识别。利用LSTM单元引入视频序列间的依赖关系,使LRCN网络能够处理长时间结构的视频序列。通过实验验证了LRCN行为识别模型具有良好的鲁棒性和泛化能力,并探讨了LRCN模型在电力系统中的应用。LRCN行为识别模型处理长时间视频序列时采用密集采样帧序列策略,易产生大量冗余信息增加网络计算成本,且对于跨越长时间的复杂动作不能很好的学习到远程时间结构。本文使用对整个视频进行稀疏采样的时间分割网络(TSN)作为基础模型代替LRCN网络进行远程时间建模,通过结合时间金字塔池化方法构成TSN-TPP网络进行人体行为识别,能够将多个时间尺度的帧级特征聚合成固定长度的视频级特征,增强了视频内的弱时间结构。实验结果表明本文方法能够有效提高行为识别准确率。最后,本文还将基于LRCN网络和TSN-TPP网络的行为识别模型移植到基于GPU加速的嵌入式平台Jetson TK1上,实现了在前端设备上也能够进行人体行为识别,减轻了服务器终端处理大量视频数据的压力。
【学位单位】：华北电力大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP391.41;TP18
【部分图文】：

光流,卷积

c)光流图像图 2-1 提取的光流图网络的识别模型volution neural network，CNN)是深过权值共享操作降低参数的数量避般包括卷积操作层（convolution layeayer)以及分类层。卷积层通过卷积线性的函数得到卷积层的输出，池样，降低了特征的空间维度，同时图像特征信息通过全连接层转换成识别。多个卷积核在输入的图像上进行卷

数据集,交互行为,类别,行为

华北电力大学硕士学位论文 CNN 提取到的特征向量作为 LSTM 单元的输入开始训练 LRCN及结果分析用行为数据集介绍使用的行为数据集是行为识别技术中经常使用的 UCF101 标准数互行为的 UT-Interaction 标准数据集，以及自制的行为视频数据101 标准数据集中一共有 13320 段预先分割好动作的短视频，包作行为，每段视频的分辨率都已经调整成320 240，其中每个短不一样，数据集中所有视频的平均时长约为 7 秒钟。实验中通常划分方式将 UCF101 数据集划分成训练集和测试集，其中训练集视频，测试集数据具有 4000 个短视频。UCF101 数据集中的视背景，更多的行为类别，增加了行为识别的难度。图 2-5 为 UC分行为类别。

数据集中,行为,视频,标准数据集

图 2-6 UT-Interaction 数据集中的 6 类行为从 UCF101 标准数据集中抽取了 13 类与校园和家庭相集，分别是写板书、打字、骑自行车、乒乓球、排球扣他、引体向上、拖地、厨房切割、头部按摩、刷牙。以及搜索到的网络视频资源和自己拍摄的实际刷牙视频构成频数据集，共 4 组，每组包含 4 段视频。图 2-7 中为自制。

【相似文献】