淘先锋技术网

首页 1 2 3 4 5 6 7

本文我们来探讨下实时数据仓库,从以下几个方面出发:

  1.    什么是实时数据仓库
  2.   实时数据仓库的产生背景
  3.   实时数据仓库的发展现状
  4.   实时数据仓库的数据特点是什么
  5.   实时数据仓库的架构
  6.   实时数据仓库的分层架构设计
  7.   实时数据仓库的数据建模方法
  8.   实时数据仓库的技术选型以及对比
  9.   实时数据仓库的前景

 1. 什么是实时数据仓库

                 互联网的迅猛发展使得数据不再昂贵,而如何从数据中更快速获取价值变得日益重要,因此,数据实时化成为了一个大趋势。越来越多的业务场景需要实时分析,以极低的延迟来分析实时数据并给出分析结果,从而提高业务效率,带来更高价值。流式处理作为实时处理的一种重要手段     实时数据仓库由离线数仓融合发展而来,对比离线数仓,实时数仓既有与其相同之处,也有其独特之处,一般来说,离线数仓只能支持T+1天时效延迟的数据处理,数据处理过程以ETL为主,最终产出以报表为主。而实时数仓 建立在离线数仓基础之上,同时增加了更多样化数据源的导入存储,更多样化数据处理方式和时效(支持T+0天时效),更多样化数据使用方式和更多样化数据终端服务。

 2. 实时数据仓库的产品背景

                 1.越来越多的实时数据需求(数据报表、仪表板、分析、挖掘、数据应用等)。

                 2. 随着业务的增长,客户对数据实时性的需求不断增加,实时报表,实时数据大盘,实时指标计算等业务都需要实时             数据。数据从生产到应用(数据报表、仪表板、分析、挖掘、数据应用 等)需要做到秒级延迟。

 3.实时数据仓库的发展现状

               目前实时数据仓库的建设还没有形成一套完善的方法论,基本上都是借鉴离线数据仓库的建设方式,并在此基础先加以改进,并根据公司自己的数据,业务特点,提出自己的实时数据仓库的建设方法。所以出现了各种各样的实时数据仓库的架构,但是基本的建设方式还是大同小异;尤其随着flink的广泛应用,这种批流统一的特性,更加崔进了实时数据仓库的发展。

 4. 实时数据仓库的数据特点是什么

                1.数据实时化,是指数据从产生(更新至业务数据库或日志)到最终消费(数据报表、仪表板、分析、挖掘、数据应用   等),支持毫秒级/秒级/分钟级延迟(严格来说,秒级/分钟级属于准实时,这里统一称为实时)。这里涉及到如何将数据实时的从数据源中抽取出来;如何实时流转;为了提高时效性,降低端到端延迟,还需要有能力支持在流转过程中进行计算处理;如何实时落库;如何实时提供后续消费使用。实时同步是指多源到多目标的端到端同步,流式处理指在流上进行逻辑转换处理。

                2.面向主题的数据组织方式,实时数据仓库同离线数据仓里一样,面向主题组织数据

 5.实时数据仓库的架构

               

 6.实时数据仓库的分层架构设计(Kappa架构)

                 

      实时数据仓库分层设计参考离线数据仓库的设计方式,不同点在于,实时数据仓库的数据,除去APP层的数据需要落到查询,分析类的存储中,比如:mysql,tidb,hbase,ElasticSearch,solr 等,其他的数据需要落地到消息队列中(Kafka,阿里云的datahub等)。

  •     源数据层

              主要是企业内部的业务数据,通过爬虫爬出来的行业数据,以及一些埋点数据。是整个公司的业务的数据的集合。

  •     ODS层

              接入Kafka的原始数据(json),经过实时程序处理,一般情况下,在这层的数据和源数据的数据保持一致,不对数据进行任何的改变,贴源设计

  •     DIM层

            维表层,主要存储一些维度数据,这层的数据需要落地到具体的存储中,一般会存在redis,或者关系型数据库中,实时数据仓库的维度数据包括两部分:业务维度数据和离线维度数据

            业务维度数据:主要通过业务数据库直接同步过来,可以考虑实时同步(根据具体的业务选择)

            离线数据维度:离线数据仓库的维度数据同步至实时数据仓库,对于一些从事实表中抽取出来的维度,实时数据仓库需要从离线数据仓库同步这些维度表至实时数据仓库,一种比较优秀的做法是,所有的维表数据都从离线数据仓库同步至实时数据仓库,这样能保证离线和实时的数据维度一致,当然肯定会损失部分数据的实时性

  •     DWD层

              实时明细层,这层的数据是经过清洗后的明细数据层,一般情况这层的数据,是一个大宽表,直接可以进行查询,或者         提供业务,当然,这层的数据是需要落地到存储系统中的作为备份,防止数据丢失。

  •     DWS层

             轻度汇总层数据,通过一定的时间窗口,对数据进行汇总,这层的数据主要是一些通用指标的汇总,一般情况下这层的          数据通过同步链路直接写入APP层提供服务

  •     DM层

            数据集市层,这层的数据主要是为部门或者某个业务线提供个性化的数据,这部分数据一般会根据业务需要,落地到部门自己的存储中

  •     APP层

          应用层,这层的数据一般都会落地到数据存储中(tidb,hbase),提供数据服务

 7.实时数据仓库的数据建模方法

  维度建模:一般维度建模的步骤如下:

 1. 选择业务过程

        业务过程是一系列操作活动,转换为事实表中的事实,例如每个月的每个账单快照

 2. 声明粒度

        粒度是指事实表中的一行代表什么,同一个事实表不能混用粒度,最好从最小的粒度开始设计维度,因其可能承受用户无法预计的查询需求

 3.确认维度

       维度是根据粒度将表分开成多个维度表,即从不同的维度(角度)去看

      维度是数据仓库的灵魂,是BI的入口和驱动

4.确认事实

      事实是指一种在某个粒度下的度量,例如在销售维度中,销量和总额是良好的事实,而商店经理的工资则不允许出现在该维度中。

优点:

     方便使用

    适合大数据下的数据处理场景(与大数据的处理方式有关,适合处理大文件,不适合处理小文件,避免多表关联)

    适合进行OLAP操作

  主要是采用维度建模中的星型模型

 8.  实时数据仓库的技术选型以及对比

     实时数据处理技术目前支持的技术有spark Streaming,storm ,flink 等,对比如下图:

              

                 目前来看,storm基本已经很少被使用,spark streaming 是目前用的比较多的实时数据处理框架,flink具有天然的

实时属性(以流模拟批),发展势头很猛,未来会有很大可能替代spark streaming

9.  实时数据仓库的前景

          平台化是实时数据仓库发展的一个必经阶段,平台化可以降低实时数据的开发门槛,提高开发效率。降低业务维护成本高,以及资源的合理利用,使得实时数据任务不但具有实时性,更具有普遍性,如下图: