基于图像识别与文本分类的商品信息匹配系统研究与实现

发布时间：2021-03-22 00:09

　　近年来,随着电子商务平台规模的不断扩大,对商家上传的商品图像和文本描述信息进行审核,判断两者是否匹配,成为一项任务量巨大的工作。目前电子商务平台信息审核采用人工的方式进行,存在自动化程度低、审核实时性难以保证和资源耗费大等问题。另外,电子商务平台中的商品信息具有分类细致的特殊性,采用人工审核的方式难以区分出商品类别之间的细微差距,增加了审核工作的困难。因此,如何有效地对商品图像和文本描述进行细粒度的标注,判断图像文本是否匹配,自动化且实时地完成审核过程是一个具有广泛应用前景的研究问题。本文从实际的需求出发,提出了一个基于卷积神经网络与长短期记忆网络的商品图像和文本匹配方法。通过利用深度网络模型的特征提取能力,来对图像和文本进行标注,解决传统提取特征后训练分类器的方法无法实现细粒度分类的问题,自动化地完成商品信息的审核任务。本文的主要研究工作包括:一、提出了一套基于深度网络模型的图像和文本匹配框架。不同于传统的图像或文本标注方法将特征提取和分类器训练分为两个独立的步骤,该方法通过利用深度网络模型的特征提取能力,完成端到端的训练,实现细粒度分类的目标,最后通过类别比较地方式实现图像文本的匹... 

【文章来源】：上海交通大学上海市 211工程院校 985工程院校 教育部直属院校

【文章页数】：69 页

【学位级别】：硕士

【部分图文】：

商品上架和购买流程

基于图像识别与文本分类的商品信息匹配系统研究与实现第一，实现对商品图像和文本描述的细粒度标注。在电子商务平台中商品分类采用层级的方式展开，对于标注的结果满足精确到具体子类别的要求，有效地解决人工审核难以区分细致商品区别的困难，同时为自动化审核提供基础。第二，实现对商品图像和文本描述的自动化审核。通过对图像和文本的细粒度标注结果进行类别比较，实现计算机自动化审核以取代人工审核的方式，去除过多的需要人为介入的步骤，保证了电子商务平台运行的自动性。第三，实现对商品图像和文本描述的实时性审核。在人工审核的方式下上传信息后需要平台运营人员在工作时间才能处理，存在滞后性。在实现了自动化审核的基础上，通过将耗时的模型训练过程变为离线操作，在线匹配过程只是调用模型，从而实现实时处理。2.2 商品图像和文本匹配框架本文研究主要围绕商品图像和文本自动匹配展开，总体框架如图 2-2 所示。

基于图像识别与文本分类的商品信息匹配系统研究与实现为了达到细粒度分类的目的，本文采用的实验数据集来自斯坦福大学的公开车辆数据集，训练的模型旨在对于车辆商品图片的识别效果能够精确到具体的品牌和型号，也就是不仅知道这是一张车的图片，还要知道是哪一种车。本文选择在 Caffe 平台上实现对模型的训练，选择 Caffe 主要是因为它具有以下几个优点1.开源框架，具备了工业级的代码健壮性；2.运行速度快，能够有效处理海量的数据，专精于图像处理问题。训练过程前需要首先准备好标明了图片路径和对应类别标签的文件；用于表明模型网络结构的 prototxt 文件，定义了当前层的类别、名称以及相关的参数，如卷积核大小等；以及包含了全局参数的配置文件。它们的结构如图 3-1 所示。

【参考文献】：
期刊论文
[1]基于卷积神经网络的商品图像分类研究[J]. 匡青.  软件导刊. 2017(02)
[2]基于递归神经网络的文本分类研究[J]. 黄磊,杜昌顺.  北京化工大学学报(自然科学版). 2017(01)
[3]基于深度学习混合模型迁移学习的图像分类[J]. 石祥滨,房雪键,张德园,郭忠强.  系统仿真学报. 2016(01)

博士论文
[1]基于特征学习与关键词精化的图像句子标注研究[D]. 张红斌.武汉大学 2016

硕士论文
[1]基于贝叶斯网络的文本分类算法研究[D]. 王沙沙.中国地质大学 2016
[2]基于LSTM的语义关系分类研究[D]. 胡新辰.哈尔滨工业大学 2015
[3]一种基于SIFT的特征提取在人脸识别算法中的研究[D]. 于祥春.吉林大学 2015



本文编号：3093707