AFC系统实时数据分布式处理的研究与实现

发布时间：2025-04-23 01:27

　　随着城市轨道交通规模不断扩大以及信息化水平的提升,售检票工作自动化程度越来越高,日益增加的交易量和用户量使得自动售检票(AFC)系统实时产生的数据量急剧增加,传统的基于关系型数据库的存储模式和处理方法已无法满足海量数据存储和实时数据处理的需求,迫切需要对运行和管理方式进行提升和优化。近年来,随着云计算和互联网技术的快速发展,如何将大数据技术灵活应用于行业受到了广泛关注。本文对现阶段主流的大数据实时流处理和分布式存储的原理、关键技术和相关应用进行了深入的研究和学习,为AFC系统实时的数据接入、处理和存储提供了一个良好的解决方案。本文在分析传统城市轨道交通运营系统的存储和计算瓶颈的基础上,深入研究、学习了现有开源的分布式存储和实时计算框架,针对AFC系统实时数据特点和实际应用需求,提出了利用大数据分布式技术处理AFC系统实时数据需要解决的问题。由于在实际的开发环境中不能影响原运营系统提供服务,本文设计了基于Canal的数据接入和解析方案,将原存储系统数据实时同步至大数据分布式环境,为后续实时处理提供流动数据。针对原运营系统吞吐量小、实时性差的问题,深入学习了 Kafka消息中间件和Spark...

【文章页数】：86 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 研究背景和意义
    1.2 国内外研究现状
    1.3 研究内容
    1.4 论文组织结构
第2章 相关技术介绍
    2.1 MySQL实时数据同步中间件
        2.1.1 MySQL复制机制
        2.1.2 实时数据同步中间件
    2.2 Kafka消息中间件
    2.3 Spark计算框架
        2.3.1 Spark简介
        2.3.2 Spark Streaming简介
    2.4 HBase数据库
    2.5 Redis数据库
第3章 AFC实时数据处理需求分析及软件框架设计
    3.1 需求分析
        3.1.1 原运营系统存在的问题
        3.1.2 AFC系统实时数据特点
        3.1.3 功能需求
    3.2 总体架构设计
    3.3 本章小结
第4章 基于Canal的数据接入
    4.1 数据接入模块分析
        4.1.1 Binlog接收子模块
        4.1.2 数据抽取和发送子模块
    4.2 数据接入模块的详细设计
    4.3 环境搭建与测试
        4.3.1 测试环境配置
        4.3.2 功能测试
        4.3.3 性能测试
    4.4 本章小结
第5章 基于Spark Streaming的数据处理
    5.1 数据处理流程分析
    5.2 数据处理的详细设计
        5.2.1 数据整合模块
        5.2.2 数据管理工具模块
    5.3 数据处理模块的实现
        5.3.1 交易量统计
        5.3.2 设备离线分析
        5.3.3 运行效果
    5.4 性能优化与测试
        5.4.1 算子性能分析
        5.4.2 并行度优化
        5.4.3 负载均衡
        5.4.4 性能测试
    5.5 本章小结
第6章 基于HBase的数据存储
    6.1 数据存储设计
        6.1.1 表结构设计
        6.1.2 Rowkey设计
        6.1.3 预分区设计
    6.2 性能优化
        6.2.1 Redis缓存策略
        6.2.2 参数配置调优
    6.3 本章小结
第7章 总结与展望
    7.1 总结
    7.2 未来工作展望
参考文献
致谢
攻读学位期间取得的研究成果



本文编号：4040999