首页 » 通讯 » 一文读懂数据平台、大年夜数据平台、数据中台_数据_平台

一文读懂数据平台、大年夜数据平台、数据中台_数据_平台

少女玫瑰心 2024-08-27 10:36:12 0

扫一扫用手机浏览

文章目录 [+]

来源 | 智领云科技(ID:LinkTimeCloud)

造观点,在 IT 行业可不是一件陌生的事儿,中文博大精湛,新名词、新观点每每大略准确,既可以被大众接管,又可以被专家把玩,真正做到雅俗共赏、各有意见意义。
近年来,数据中台之火爆,什么数据平台、数据中台、数据湖、数据集市等等,不同的叫法把大家绕的云里雾里,观点稠浊不清,其实让人摸不着头脑……

一文读懂数据平台、大年夜数据平台、数据中台_数据_平台 通讯

正如我们清楚的知道企业要进行数字化驱动架构之前,必须要建立统一的数据标准和规范,用统一的、大家都理解的措辞描述一件事情是多么主要。
同样的道理,在理解“大数据”“数据中台”干系知识之前,我们有必要先将常碰着的包括数据仓库、数据集市、数仓湖、大数据平台、数据中台等观点一次性说清,以便在今后的学习与培植中能够清楚的差异开来。

在回答上述问题之前,我们先来看看数据中台该当怎么理解?阿里认为数据中台其三项核心能力分别为:OneModel 卖力统一数据构建及管理,OneID 卖力将核心商业要素资产化,OneService 卖力向上供应统一的数据做事。

智领云认为,数据中台的核心能力是数据能力的抽象、共享与复用,两者对数据中台的定义看似差异巨大,但仔细剖析,阿里所定义的数据中台的核心能力正是智领云所定义的数据中台的结果。
换言之,“抽象”是为了达成“OneModel”、“共享”则是为了“OneID”、“复用”才能让“OneService”更故意义。

数字化运营不同阶段,运营手段各尽所能

随着大数据技能的不断更新与迭代,数据管理工具得到了飞速的发展,从数据库、数据仓库、数据集市与数据湖,再到大数据平台与如今的数据中台,实在将它们比喻成一场“数据的旅程”就不难明得在数字化运营的不同阶段,各运营手段并不一定是谁替代了谁,准确的讲,它们都有自己的功能、特点所在,技能之间的互补,每个手段都各尽所能的为自己的用例做事。
下面我们就来简明扼要的归纳一下数字化运营不同阶段中各运营手段的功能与亮点。

1、数据库:传统的关系型数据库的紧张运用,紧张是基本的、日常的事务处理,例如银行交易。

2、数据仓库:数据仓库系统的紧张运用是 OLAP,支持繁芜的数据剖析,侧重决策支持,并且供应直不雅观易懂的查询结果,可做到业务的历史快照,总结性数据以及高纬度剖析。

3、数据集市:可以理解为是一种\公众小型数据仓库\"大众,只包含单个主题,且关注范围也非全局,数据从企业范围的数据库、数据仓库中抽取出来,迎合专业用户群体的分外需求,其面向部门级业务或某一个特定的主题,良好地办理了灵巧性和性能之间的抵牾。

4、数据湖:存储企业各种各样原始数据的大型仓库,个中的数据可供存取、处理、剖析及传输,紧张办理的是“瞥见数据”的问题,作为全局数据汇总及处理的一个核心功能,数据湖在数据中台培植中必不可少,除了为数据仓库供应原始数据之外,数据湖也可以直接为上层的数据运用供应做事。

5、大数据平台:个性化、多样化数据,以处理海量数据存储、打算及流数据实时打算等场景为主的一套根本举动步伐,利用大数据平台,企业可以比竞争对手更快地作出数据驱动的决策,更快地推出适应客户需求的产品。

6、数据中台:我们知道所有关于数据工具的培植,其目的都是为了从数据中提取代价来支持更有效的数据运营,那么不能辅导实际行动,创造实际代价的数据以及从数据中产生的知识是无用的,那花大价钱来做这个别系也没有必要。

说到底,数据工具的培植还是要以 ROI(Return On Investment)来支持,数据中台观点的涌现,很大程度上是原来的大数据系统培植的 ROI 不如人意,企业投入了大量的物力、财力和人力培植了大数据平台,却创造并没有给企业带来运用的代价,大数据平台更多的沦为“形象工程“,乃至产生了新的数据孤岛,更不用说实现数据能力的全局抽象、复用和共享了,而数据中台可以说是为此类大数据平台了个“补丁”,其全局的数据仓库、大数据折衷共享等能力,真正办理了重复开拓、数据标准分歧一、数据孤岛等问题,从而提高了数据代价实现效率和 ROI。

常见稠浊观点梳理:传统大数据平台、硅谷大数据平台、数据中台

实在,数字化运营不同阶段的运营手段相对来说是比较好理解的,但是我们常常能听到一些字面意思附近的观点,尤其是当我们理解到原来在美国硅谷“中台”实在早已有之,只不过这种方法论在被引入到海内之后,被冠以“中台”之名时稠浊的观点常常让我们不知所措。

那么,在硅谷所谓的“中台”叫什么?国外的大数据平台与海内的大数据平台又有什么差异?接下来就让我们统一干系观点并梳理其关系,一次性说清让大家一览无余。

1、大数据平台 1.0

大数据平台 1.0 = 传统大数据平台 。

大数据平台 1.0 期间,实在便是我们常日所看到的海内“传统大数据平台”的观点,此时的大数据平台因此处理海量数据存储、打算及流数据实时打算等场景为主的一套根本举动步伐,以 Hadoop、Spark、Hive 等作为大数据根本能力层,在大数据组件上搭建包括数据剖析,机器学习程序等 ETL 流水线,以及包括数据管理系统、数据仓库系统、数据可视化系统等核心功能。

但是在大数据平台 1.0 期间,硬件投资与软件开拓投入量巨大,极大增加了研发的难度、调试支配的周期、运维的繁芜度,且常常由于架构的毛病,数据运用开拓运维的困难,多租户资源隔离的繁芜度等缘故原由造成数据孤岛、运用孤岛的问题。

传统大数据平台

2、大数据平台 2.0

大数据平台 2.0 = 新一代大数据平台=大数据平台1.0+数据中台的功能+数据运营的功能。

大数据平台 2.0 期间充分诠释了硅谷“中台”早已有之的说法,但为什么硅谷没有“数据中台”观点?缘故原由是硅谷公司从起步开始,管理层就将打造数据驱动须要的根本架构作为必须的作业之一,公司内部都有一个 Data Platform(数据平台)部门卖力培植公司的数据平台,其大数据平台培植绝大多数是需求驱动,且后续发展都是由这个大数据平台能产生多少代价来决定的。

也便是说,在硅谷大家实在也并没有刻意的去打造什么中台,但是“避免重复造轮子”“快速迭代”“数据驱动”“业务驱动”是硅谷工程师文化的一些核心观点,也是硅谷高效创新的一个核心,大部分公司在起始架构设计时,就将“数据中台”所包括的数据抽象、复用与共享的能力,以及一些数据运营的功能设计在内了,其培植目的是一样的,以是没有必要在观点上过度纠结。

3、数据中台

数据中台培植的目标可大略归纳为通过供应工具、流程和方法论,实现数据能力的抽象、复用和共享,赋能业务部门,提高实现数据代价的效率。
阿里提出数据中台的观点,只是为了强调和海内现有的大数据平台加以差异,强调度决数据孤岛、重复开拓的问题,突出数据共享和复用的观点。

数据中台

深入探究:数据中台与 Ta 的关系

想必现在你已经从傻傻分不清的状态中走出来,接下来,我们再深入详细地理解下数据中台与之相对应的关系,看看你是不是已经游刃有余的节制了干系观点呢?

1. 数据中台与传统数据仓库、数据集市、数据湖的关系

数据仓库与数据集市的涌现,便是为理解决信息化阶段 OLTP(联机事务处理过程)在剖析场景下的局限性,它们将 OLTP 中的数据采集过来,做成面向历史、主题、剖析的一些数据集,从而可以轻松地做出 OLTP 难以做出的剖析。

但是,随着互联网时期的到来,数据仓库的数据来源只在业务系统功能中,供应一些汇聚的业务信息,无法供应个性化的信息以及一些非传统业务数据源的信息。
其余,一些非传统业务数据源的信息一样平常存储在做事器日志中,那么大量且无效的数据如果都存储到数据仓库中,其效率之低和限定是无法想象的。

此时,数据湖和大数据平台的涌现改变了上述局势,在这个阶段的数据仓库和数据集市,则基于大数据技能取得了进化,也便是说数据仓库不能办理的问题,我们用大数据数仓(基于大数据技能实现的数据仓库)来办理,大数据数仓办理不了的,我们用大数据平台来办理,大数据平台办理不了的问题,就须要数据中台来办理。

该当说数据中台是建立在数据仓库和数据平台之上的,让业务部门可以更好,更有效率的利用数据的运营管理层,并强调从工具和机制上支持对数据能力的抽象、共享和复用。

2. 数据中台与大数据平台 1.0、2.0 的关系

很多人会迷惑大数据平台 1.0 与数据中台的差别在哪里呢?实在,两者的培植目的都是发掘数据代价,高效实现数字化运营,差异则在于数据中台是具备业务属性的,输入的是原始数据,输出的是业务部门可以直策应用的数据能力。
如果必须要将数据中台和大数据平台 1.0 区分开来,可以说数据中台是建立在大数据平台 1.0 的根本层之上,强调供应相应的工具和机制来实现数据能力的全局抽象、共享和复用。

在海内,为什么很多企业面临着数据孤岛与运用孤岛的困局?而在硅谷,大多数企业并没有数据孤岛、运用孤岛的烦恼?由于硅谷每个公司在培植大数据平台的时候,大数据平台的运营效率和利用效率,都是必须要考虑的关键问题。
在起始架构设计与后续迭代的时候,如何最大化投入产出比,并让业务部门真正发挥数据的浸染都是关键所在。
在这个过程中,也有很多的考试测验和迭代,但是终极的结果是,绝大部分的大数据平台自然的就会供应所谓的“数据中台”的功能,成为公司内部的一个核心代价驱动引擎。

大数据平台 1.0 与 2.0 关系图

而大数据平台 2.0 作为新一代大数据平台,则是在大数据平台 1.0 根本上,增加了数据中台的功能,以及数据运营的功能。
对付“各个部门数据重复开拓,摧残浪费蹂躏存储与打算资源”、“数据标准分歧一,数据利用本钱高”、“业务数据孤岛问题严重,数据利用效率低”,这些须要在大数据平台 1.0 阶段办理的问题,并没有在海内企业的大数据平台阶段得到考虑和解决。
因此,须要一个新的平台来为这个大数据平台“打补丁”,而这个新平台,便是所谓的“数据中台”。

云原生的数据中台架构

值得强调的是,海内企业级大数据平台办理方案供应商智领云数据中台则是云原生的数据中台,如上图所示,全体架构的最底层是硬件资源层,在硬件资源层之上,左侧是运用根本能力平台,右侧是数据根本能力平台,全体架构设计中一个很主要的方法论便是全局的运用和数据管理。

总结:本文从数字化运营不同阶段对数据仓库、数据湖、大数据平台、数据中台等内涵作了详细解释,便于读者更好的理解和节制数据领域干系观点,并帮助大家更好地理解大数据带给我们的能力与浸染。
须要强调的是,除了理解数据中台的观点外,其方法论更为主要,数据中台培植为我们企业数据做事和共享奠定了主要的根本,是企业从“数据”迈向“代价”的强大助推器。

标签:

相关文章