基于Spark的飞蛾扑火优化算法的应用研究

发布时间：2025-05-12 20:37

　　现如今互联网已经从国家层面到企业层面慢慢进入到每个人的生活中,互联网已经成为了21世纪的又一次新的革命,但互联网的也面临着海量数据的处理,信息安全等诸多问题。在大数据的时代里,运营商的迅速壮大,各大网络电商平台相互的竞争发展,数据的如何实时处理,信息安全如何保证。如何降低数据的维度来提高数据的处理速率等等也一直是我们研究的热门问题。在这样的背景下,传统的入侵检测技术无法达到预期效果,入侵检测技术开始向人工智能和分布式等新型方向发展。另外,传统的串行计算模式已经无法满足海量数据的处理,集群模式的分布式平台已经逐渐的取代串行计算模式,特别是Hadoop大数据的计算平台,Spark大数据计算框架具有得天独厚的优势。本文通过研究传统的智能优化算法-飞蛾扑火优化算法(MFO)的优缺点,对其进行优化改进,并实现在Spark分布式计算框架上并行运行。本文完成的主要工作内容如下:(1)对传统的MFO算法进行介绍并分析不足之处,然后对算法进行二进制的改进,并使用二进制的MFO算法进行特征选择。由于海量数据无法在单机模式下有效的处理,对传统的算法进行Spark并行化处理。分别在Spark集群和单机模式上,对...

【文章页数】：51 页

【学位级别】：硕士

【部分图文】：

图2.1算法流程图

湖北工业大学硕士学位论文7图2.1算法流程图MFO算法的步骤如下，相应的算法流程图如图2.1所示。Step1:初始化种群、设置最大迭代次数。Step2:用公式（2-5）初始化飞蛾种群M，根据M计算出适应度值OM，得到当前最优个体位置。Step3:M，OM的位置不变，对M,OM排序....

图2.2MapReduce计算流程图

湖北工业大学硕士学位论文10图2.2MapReduce计算流程图2.4.2Spark计算框架分析随着互联网的高速发展，面临着着海量,高维的数据压力,传统的串行的计算模式已经不能满足处理海量数据的需求,但是MapReduce在处理数据时,需要重复计算数据,重复的读写数据,必然会提高....

图3.1 分布式算法框架图

湖北工业大学硕士学位论文12第3章基于Spark的改进飞蛾扑火优化算法的研究MFO算法在进行特征选择分类时虽然能够获得较好的分类结果,但基本的MFO算法存在很多问题，例如算法易早熟，易陷入局部最优，分类精度不高等特点,为了进一步提高MFO的分类性能,本章将对基本的飞蛾扑火算法进行....

图3.2分布式飞蛾扑火优化算法的流程图

湖北工业大学硕士学位论文13骤如下所示：图3.2分布式飞蛾扑火优化算法的流程图AlgorithmSPBMFO输入:原始数据集D；输出:最优的个体和适应度值；Step1种群初始化Step1.1读取原始数据集D，存储在HDFS中；Step1.2初始化RDD数据集，该数据集代表飞蛾种群....

本文编号：4045194