本文目录
- 北京银行建设的数据湖能实现那些功能
- 从数据仓库到数据湖，大数据孤岛的问题是怎样解决的
- 什么是数据湖可以应用在哪些方面
- 数据管理，数据治理，数据中心，数据中台，数据湖都是什么意思，有什么关系呢
- 数据湖、数据仓库、数据中台，有什么区别
- 揭秘数据湖——长文详解Hudi从内核到实战（一）
- 阿里云服务器放在千岛湖湖底为什么
北京银行建设的数据湖能实现那些功能
北京银行依托企业级数据湖建设，将行内原有散落的各类数据资源进行整合汇总，实现数据资产的内联外通和协调使用。多元化的技术手段支持全行各类业务场景使用，改变原有提供数据较晚及数据服务较为单一的模式。银行持有客户数据的数量和品种稳步增加，银行早已掌握其他企业难以比拟的数据资源。因此，如何将银行掌握的数据转变成提升客户体验、促进银行内部降本增效的重要砝码就显得至关重要。北京银行通过建设企业级数据湖，拟运用大数据分析方式促进客户体验全面提升。
从数据仓库到数据湖，大数据孤岛的问题是怎样解决的
数据越来越多是趋势，传输以及存储都在以GB，TB 的指数形式增长！
5G 应该会更加加速移动端数据向数据中心的涌动！
数据工具也越来越庞杂，当然也给我们提供了便利！
举个例子：
可以有这样一个超级数据库去粘合其它的几个不同的数据库，企业数据已经存在并且分布在不同的数据库，所谓孤岛。
这个超级数据库优势在吞吐能力，这样就减轻了就数据孤岛的压力，用这个超级数据库服务用户。
teradata server 体验过，还不错哟！
什么是数据湖可以应用在哪些方面
数据湖是类似以前数据仓库的一个新概念 他是把数据聚集在一起 像一个超级大的湖泊一样
以往的数据仓库会还是使用关系型数据库的思路 像目前用的多的是redshift 就基本和Postgres数据库类似 当然功能更强大
数据湖是非结构化的分布式存储 比如presto 就是你可以把数据按照文件形式存储在文件系统上 然后使用Hadoop的生态结构就可以做查询 相比数据仓库的做法 这种非结构化的存储比较自由 给业务的数据分析提供了一些技术上的便利性
在应用方面 数据湖的角色和数据仓库一样是拉平业务数据库的数据 支持后续的数据建模的
数据管理，数据治理，数据中心，数据中台，数据湖都是什么意思，有什么关系呢
数据治理和数据管理
简单来说治理就是管理的管理。
管理你得遵循一定得标准规范体系，一定得流程，一定得组织角色分工，而这些内容就必须先通过数据治理定义清楚。管理只是根据数据治理规范体系去执行管理和监督得职责。
既管理执行得依据是治理规范体系。
如下图：
数据中台和数据湖
这个要解释清楚不太容易，因此我尽量做简化。
数据湖一般是公有云服务商提出得一个概念，即企业得结构化，非结构化数据都可以全部采集和存储到我这里来。数据湖就是一个大得存储站，这个存储是分布式可无限扩展得，存储过来得数据也不会去清洗和加工，尽量保持原样。
在存过来后，数据湖再提供一些标准得开放接口给你使用数据，这些接口包括了查询SQL类接口，计算引擎接口，流处理接口等。提供接口得目的也很简单，你能够方便得使用你存储过来得数据。
数据湖得存储一般是分布式对象存储或分布式文件存储，即使你是结构化数据库采集过来得数据，仍然会转成统一的存储方法，方便扩展。
数据中台简单来说企业共享数据能力下沉并对外开放。
数据中台包括了底层数据技术平台（可以是我们熟悉的大数据平台能力），中间的数据资产层，上层的数据对外能力开放。
核心的资产层本身也分层，从最底层的贴源数据，到分域应用数据，再到上层的数据仓库和数据标签库。而数据湖更多对应到数据中台概念里面的数据贴源层。
企业实际在建数据中台的时候实际很少用数据湖这个概念。
两者的对比映射如下：
数据中心
对于数据中心这个词，原来在BI系统应用里面也经常出现。
但是现在数据中心一般特指IT基础设施，大的公有云数据机房等，在BI系统或数据中台里面都很少用这个词。即数据中心这个词偏IT硬件基础设施层面了。
比如下图，一般指硬件和网络基础设施架构了。
数据湖、数据仓库、数据中台，有什么区别
数据湖、数据仓库和数据中台，他们并没有直接的关系，只是他们为业务产生价值的形式有不同的侧重。
数据湖作为一个集中的存储库，可以在其中存储任意规模的所有结构化和非结构化数据。在数据湖中，可以存储数据不需要对其进行结构化，就可以运行不同类型的分析。
数据仓库，也称为企业数据仓库，是一种数据存储系统，它将来自不同来源的结构化数据聚合起来，用于业务智能领域的比较和分析，数据仓库是包含多种数据的存储库，并且是高度建模的。
数据中台是一个承接技术，引领业务，构建规范定义的、全域可连接萃取的、智慧的数据处理平台，建设目标是为了高效满足前台数据分析和应用的需求。数据中台距离业务更近，能更快速的相应业务和应用开发的需求，可追溯，更精准。
数据湖、数据仓库更多地是面向不同对象的不同形态的数据资产。而数据中台更多强调的是服务于前台，实现逻辑、标签、算法、模型的复用沉淀。
数据中台像一个“数据工厂”，涵盖了数据湖、数据仓库等存储组件，随着数据中台的发展，未来很有可能数据湖和数据仓库的概念会被弱化。
小结
数据空间持续增长，为了更好地发挥数据价值，未来数据技术趋于融合，同时也在不断创新。
揭秘数据湖——长文详解Hudi从内核到实战（一）
Hudi入门与构建
Hudi介绍
Hudi将带来流式处理大数据，提供新数据集，同时比传统批处理效率高一个数据量级。
Hudi快速构建
把apache-maven-3.6.1-bin.tar.gz上传到linux的/opt/software目录下。
解压apache-maven-3.6.1-bin.tar.gz到/opt/module/目录下面。
修改apache-maven-3.6.1的名称为maven。
添加环境变量到/etc/profile中。
测试安装结果。
修改setting.xml，指定为阿里云。
通过Spark-shell快速开始
spark-shell启动,需要指定spark-avro模块，因为默认环境里没有，spark-avro模块版本好需要和spark版本对应，这里都是2.4.5。
设置表名，基本路径和数据生成器。
新增数据，生成一些数据，将其加载到DataFrame中，然后将DataFrame写入Hudi表。
Mode(overwrite)将覆盖重新创建表（如果已存在）。可以检查/tmp/hudi_trps_cow路径下是否有数据生成。
由于测试数据分区是 区域/国家/城市，所以load(basePath “/*/*/*/*”)。
类似于插入新数据，使用数据生成器生成新数据对 历史 数据进行更新。将数据加载到DataFrame中并将DataFrame写入Hudi表中。
Hudi还提供了获取自给定提交时间戳以来以更改记录流的功能。这可以通过使用Hudi的增量查询并提供开始流进行更改的开始时间来实现。
这将提供在beginTime提交后的数据，并且fare》20的数据。
根据特定时间查询，可以将endTime指向特定时间，beginTime指向000（表示最早提交时间）。
只有append模式，才支持删除功能。
大数据技术生态体系
大数据的切片机制有哪些
大数据之Kafka集群部署
大数据JUC面试题
大数据学习之部署Hadoop
阿里云服务器放在千岛湖湖底为什么
阿里云服务器放在千岛湖湖底的原因为：因为服务器在运行时会产生大量的热量，为了维护高温对于服务器产生的损害。
阿里云设在千岛湖的数据中心正式启用。位于淳安县清溪新城珍珠半岛广场，占地面积约30000平方米，可容纳万台服务器，是目前省内单体建设规模最大的数据中心。
中心的建立将满足阿里在云计算和大数据方面的应用需求，尤其将承载今年“双11”当天的数据计算任务。阿里云在全国，包括北京、青岛、杭州、上海、广州、深圳都有数据中心。该数据中心以低碳、节能、环保、生态为主题。
扩展资料：
阿里云服务器介绍如下：
千岛湖地区年平均气温17℃，其常年恒定的深层湖水水温，足以让数据中心90%的时间都不用依赖湖水之外的制冷能源，制冷能耗节省超过8成。
具体操作为，经过过滤去除杂质的深层湖水，通过全封闭的管道流经数据中心各楼层，帮助服务器降温。再流经2.5公里的青溪新城中轴溪，作为城市景观呈现，最终回到千岛湖。此外，数据中心还广泛地采用光伏太阳能。
参考资料来源：人民网-阿里云3年2000亿加码新基建
参考资料来源：凤凰网-208核、6TB内存！阿里云发布全球最强云服务器：挑
