民用建筑“四节一环保”数据建模与存储方法研究

发布时间：2025-05-10 23:48

　　 为适应民用建筑"四节一环保"范围广、类型多、渠道不一等特点,提出了四节一环保数据的概念模型与数据指标管理模型。结合"四节一环保"分析应用需求,构建了基于Hadoop与MySQL的分布式大数据存储服务,设计实现了4层结构的四节一环保数据仓库。以住建部民用建筑"四节一环保"数据仓库建设为例,开发了数据主题查询、数据渠道查询、数据指标查询、全文检索、数据指标体系管理、数据权限与安全控制等功能,验证了所设计的建模和存储方法的有效性。结果表明,所提方法既满足了宏观决策对大数据的需求,又很好满足"四节一环保"数据动态更新的需要,减少了数据搬运成本,提升了经济性。

【文章页数】：8 页

【部分图文】：

图1 民用建筑“四节一环保”数据逻辑模型结构

以上数据内容从数据原始格式方面来分析，可归纳为纸质材料、表格类统计数据、传感器数据、系统类数据、地理信息数据、非结构化数据等类别。从数据存储格式方面来看，可归纳为文件形式、关系型数据库形式、时间序列数据库形式、地理信息GeoDatabase形式等类别。数据频度覆盖实时、日度、月....

图2 民用建筑“四节一环保”数据树状建模方法

首先对各类数据按照不同类型指标分类情况，分为宏观基础类、规模类、用地类、用能类、用材类、用水类、环保类、综合类，并按照其内容进行划分，并分别建模。例如用材类数据被划分为民用建筑钢材使用量、民用建筑钢材使用量、陶瓷使用量、平板玻璃使用量等，接着，对各子类属性按获取渠道、采集方案、关....

图3 民用建筑“四节一环保”数据指标管理模型示意

考虑四节一环保数据指标的可拓展性，我们对数据指标的可拓展性也进行了扩展模型设计。在针对某一个数据指标，我们在每个指标(度量)中，定义了通过六个方面(维度)进行描述，包括数据指标名称、指标层级、实际采集指标、方案版本、采集方式、数据来源(渠道)、采集频度、地区、单位、时间等。同时对....

图4 民用建筑“四节一环保”大数据存储服务结构

在图中数据存储层(ODS):主要实现对各类结构化/非结构化源数据的存储，存储模式尽可能和源数据或系统的存储模式保持一致，不做任何转换。在数据存储层会通过快照实现对历史数据进行保留，方便后续应用。另外，如果分析应用过程中需要直接从源数据进行数据查询或者生成报表，也可以由数据存储层来....

本文编号：4044513