基于运动差分图像和双流卷积神经网络的动作识别研究

发布时间：2023-10-19 20:04

　　随着计算机技术和互联网的发展,视频正成为人们获取和交流信息的主要载体,其中视频监控越来越成为社会发展和人们生活不可或缺的一部分,如何使用计算机技术进行视频中的人类行为分析识别成为近年来的研究热点。本文在以光流信号为运动信息表征的传统双流卷积神经网络的基础上,提出以帧间差分图像序列作为时间流网络输入,运用Res Net-18网络结构建立双流网络模型实现视频中人体行为识别的方法。并对传统双流网络的数据提取方法进行了优化,保证了数据间的信息对应,同时,提出将Adam优化器与传统的高维特征分类可视化算法T-sne相结合对帧间差分的卷积特征进行分类可视化。本文主要研究如下:针对光流信号的提取需要大量计算资源和时间消耗从而影响传统双流卷积神经网络运行效率的情况,本文提出计算帧间差分图像序列来表征视频内的运动信息,并将其作为双流卷积神经网络中时间流网络的输入,同时,以灰度图像序列作为空间流网络输入减少样本数据量。本文建立小样本数据集并运用VGG结构建立双流网络对人体动作识别进行测试验证了差分图像作为网络输入的有效性。在此基础上,为了在大数据集上进行动作识别以及保证网络的高效性,双流卷积神经网络的时间...

【文章页数】：70 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 研究背景以及意义
    1.2 国内外研究现状
    1.3 本文研究的主要工作
    1.4 论文结构
第2章 卷积神经网络
    2.1 人工神经网络的结构
        2.1.1 神经元
        2.1.2 激活函数
        2.1.3 损失函数
    2.2 卷积神经网络的结构
        2.2.1 卷积层
        2.2.2 池化层
        2.2.3 全连接层
    2.3 卷积神经网络优化算法
        2.3.1 前向和反向传播
        2.3.2 随机梯度下降
    2.4 网络训练
        2.4.1 平台框架
        2.4.2 数据预处理
        2.4.3 网络模型设计
        2.4.4 过拟合解决方法
        2.4.5 迁移学习
    2.5 双流卷积神经网络模型
    2.6 本章小节
第3章 基于双流卷积神经网络的动作识别
    3.1 双流卷积神经网络的基本原理
    3.2 双流网络的输入研究
        3.2.1 光流信号
        3.2.2 TV-L1光流估计
        3.2.3 差分图像以及差分栈化块
    3.3 结合差分图像的双流卷积神经网络
        3.3.1 基于VGG结构的双流卷积神经网络
        3.3.2 基于残差网络(Res Net-18)的双流卷积神经网络
    3.4 双流数据读取方式的优化
    3.5 双流融合方式
    3.6 融合位置选择
    3.7 本章小结
第4章 视频动作识别的实现与实验分析
    4.1 实验数据与读取
        4.1.1 数据预处理
        4.1.2 双流数据读取实现
    4.2 差分特征与光流特征实验分析
        4.2.1 差分特征的预处理
        4.2.2 差分图对动作识别的影响
    4.3 基于双流卷积神经网络的动作识别
        4.3.1 双流网络模型训练步骤
        4.3.2 时间流卷积网络的训练
        4.3.3 空间流卷积网络的训练
        4.3.4 双模融合输出
    4.4 特征分类可视化表征与分析
        4.4.1 t-SNE算法优化
        4.4.2 差分特征的可视化表征
    4.5 本章小节
第5章 总结和展望
参考文献
指导教师对研究生学位论文的学术评语
答辩委员会决议书
致谢
攻读硕士期间的研究成果



本文编号：3855315