大数据分析及可视化(数据中台—大数据计算)

大数据分析及可视化(数据中台—大数据计算)大数据计算平台应能够实现业务计算功能,从而应实现流处理服务、批处理&调度服务等功能。(1)流处理服务:流处理服务应能够充分满足处理设备和资产的实时…

大数据分析及可视化(数据中台—大数据计算)

大数据计算

平台应能够实现业务计算功能,从而应实现流处理服务、批处理&调度服务等功能。




大数据分析及可视化(数据中台—大数据计算)




(1)流处理服务:

流处理服务应能够充分满足处理设备和资产的实时数据,以及经离线消息通道集成的数据的需求。应能够基于大规模分布式集群的实时处理能力,并应能够集成可视化的流数据处理任务设计、调试、部署及监控工具。数据中台应可以沉淀一系列通用及领域相关的流计算算子,覆盖多领域核心场景需求。数据开发工程师应能够快速组合出不同的数据处理方案,降低数据开发障碍、缩短数据研发周期。

数据处理服务还应能够实现规则和配置加载、提供相关支持工具等功能。

(2)批处理&调度服务:

批处理又称批计算,是指对平台中离线批量数据的并行计算,过程中会调用数据清洗、聚合、专用算法等平台计算算子,实现数据标准、数据挖掘、应用服务等数据批量处理的功能。

大数据平台应能够提供批处理框架,应包概括但不限于MapReduce和Spark,从而能够分别响应不同的批处理场景。

批计算服务应能够配合调度服务,实现用户的可用性需求。其中,作业是批计算的调度服务的主体,是调度服务中被执行任务的统称。平台提供的调度服务应能够覆盖作业的全生命周期管理,包括但不限于作业的定义、运行监督、结果查询等。

可视化分析

数据中台应能够提供一个数据分析工具,通过可视化、易用性和创新性的方式让企业能够实现敏捷的业务智能分析。可视化数据分析工具应具备但不限于以下内容:

(1)数据准备

用户应能够通过界面的拖动的形式执行数据源的合并、取样、查重、语义矛盾等多种标准数据准备算法,同时应能够支持自定义规整算子的添加以及数据修改。

(2)自助式可视化数据分析工具

应能够连接到一个或多个数据源,同时应支持单数据源的多表连接和多数据源的数据融合,可以轻松的对多源数据进行整合分析而无需任何编码基础。

(3)多种数据源整合

应能够支持企业应用系统及数据仓库、数据集市的多数据源无缝整合,从而实现多个数据维度的交叉分析。业务分析工具还应能够满足多类数据源的接口,且不断补充与增加更多数据源接口,可以覆盖文件、关系型数据库、大数据等业内主流数据类型与数据源,支持的数据源种类应包括但不限于:

◆关系型数据:Oracle、PostgreSQL、MySQL、MongoDB等

◆对象数据:OLap、Box等

◆文件数据:Miscosoft文件、csv、PDF等

◆大数据平台:Hadoop、Impala、Spark等

◆SQL文件:EXASOL、GoogleCloudSQL等

◆编程文件:json、python、R等

◆数据抓取工具:ApacheDrill、Tableau数据提取、ProgressOpenEdge等

(4)可靠的分析性能

分析组件的性能应能够满足数据量和分析效率的要求,同时应能够提供强大的性能调优工具,数据分析工具可以支持存储在平台中PB级数据可靠分析。

可视化业务分析工具关键技术特性应包括但不限于:用户易用性、助式开发、数据的实时定时自动刷新、支持快速实现系统集成、支持订阅式邮件分发等。

组态化数据探索环境

数据中台还应提供多种数据探索服务,以满足用户定制化业务的需求。

平台应能够为数据专家提供兼顾专业性和易用性的自定义模型服务,这种服务应能够在图形化操作界面上使用鼠标进行拖拽即可完成数据挖掘全过程,为业务专家使用提供便捷容易理解的参数设置以及大量的数据挖掘模型。应能够提供通用算子及专业算子,包括I/O类模块、DB操作类模块、数据预处理类模块、统计学模型、机器学习库。

开放式开发者环境

平台应能够提供开放式的开发环境,以实现对自定义模型的补充和扩展,用户能够以开发者认证环境进入,通过半自动工程化模板,帮助开发者聚焦核心代码开发,进一步参与平台建设的渠道,使得互联网行业所提倡的共享、共建、共赢的理念在行业延伸。

平台管理

平台管理功能应主要包括但不限于资源管理、业务监控、平台监控、平台用户管理、权限管理、配置管理、日志管理等。

资源管理:用户在创建时会被赋予默认的资源量以满足基本操作,如需扩展或调整集群的能力,应能够在线进行资源的申请,扩容,管理等操作。

业务监控:应包括监控平台上的业务应用运行情况、平台上的数据云图、数据质量等。

平台监控:应能够对集群进行管理,如添加、删除节点等操作;应能够监控集群的健康情况,对设置的各种指标和系统运行情况进行全面监控;应能够对大数据的多组件进行整合;还应能够对集群出现的问题进行诊断,对出现的问题给出建议解决方案。

用户管理:平台管理的用户分为两大类,一类是平台运维人员,一类是平台之上的应用。平台应能够指定用户的有效期、是否禁用;如果是应用用户应能够限定应用的MAC地址。平台还应提供用户的查询、增加、修改、删除等操作。

权限管理:平台权限管理应能够支持对管理工具的权限管理和对平台数据(包括元数据和业务数据)的权限管理。

配置管理:应能够实现大数据平台的各种组件(Flume、Kafka、Hive、Hbase、HDFS、Spark、yarn、ZooKeeper等)及应用(流计算规则引擎规则配置、预警模型参数配置、调度模块配置、应用告警规则配置、平台监控指标配置、绩效分析指标配置等)的配置项的增加、修改、删除以及查看。

日志管理:系统应能够提供日志记录功能;应能够采集组件接口的日志记录、日志查询等;当应用已部署至某环境时,还应能够通过点击各服务的查看日志按钮查看服务日志详情。

告警管理:系统应能够提供告警功能;

事件管理:即告警服务模块。应能够接收设备上送的事件类信息,能够提供事件的存储,查询,订阅,推送等服务,同时也应支持对接入到平台的实时数据定义产生事件的规则,以满足实时告警,故障分析等业务需求。

安全管理:系统应能够提供安全管理功能,包括但不限于:用户认证、设备认证、应用鉴权、授权管理等内容




大数据分析及可视化(数据中台—大数据计算)


版权声明:本文内容由网友提供,该文观点仅代表作者本人。本站(http://www.zengtui.com/)仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 3933150@qq.com 举报,一经查实,本站将立刻删除。

版权声明:本文内容由作者小仓提供,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至907991599@qq.com 举报,一经查实,本站将立刻删除。如若转载,请注明出处:http://www.cangchou.com/219257.html

(0)
小仓的头像小仓

相关推荐

  • 美味英语怎么说 美味~palatable

      一提到美味的英文,你脑海中的第一反应一定是delicious,快来学习学习另一个美味的英文表达吧!palatable/’palatabl/adj.美味的,合口味的,合心意的,认可的,认同的adv.合意地,可口地名词palatability…

    网络快讯 2023年11月15日
    0
  • 潮州必吃美食 潮州美食有哪些

    潮州美食:车轮饼、传统尖米丸、草粿、潮州砂锅粥、潮州灌粿条面、潮州溪口卤鹅、潮州肠粉、潮州牛肉丸、潮州牛杂粿条、潮州蚝烙、。潮州咸水果、潮州春饼、糯米猪肠、油索、凤凰浮豆干、潮州什锦冰、潮州肖米、潮州鱼饭、潮州糖葱薄饼、潮州栀粽、潮州肉松、潮州斋饼、潮州馄饨、潮州鱼丸、潮州马蹄糕、竹仔鱼、腐乳饼、鸭…

    网络快讯 2023年12月12日
    0
  • 坚果为什么能抗抑郁 每天吃坚果能预防抑郁吗

    坚果里面富含很多营养物质,日常生活中适当吃一些坚果对身体有好处,有研究显示每天吃坚果,抑郁风险会降低,那么,坚果为什么能抗抑郁?下面小编就带来介绍。每天吃坚果能预防抑郁吗近日,西班牙斯蒂利亚-拉曼恰大学的科学家发表在《临床营养学》杂志的一项新研究指出,坚果可为心理健康带来意想不到的好处,每天…

    网络快讯 2023年12月16日
    0
  • 红葱和白葱区别有什么?看完别再瞎买了,快告诉身边人

    1、红皮洋葱红皮洋葱的形状略扁,表皮和肉质都带有紫红色,红皮洋葱的水分少,层次比较薄,但是它的辣味比较浓,更适合平时的炒菜、烹饪,是很好的调味食品2、白皮洋葱白皮洋葱的肉质是非常柔嫩的,长时间烹饪以后,口味略发甜,比较适合鲜香食物的烘烤温馨提示…

    2023年10月29日
    0
  • 今天语音搜索了吗?如何在Photoshop中快速设置蒙版为黑色

    打开图片 要在Photoshop中将蒙版设置为黑色,首先需要打开一张图片。选择你想要编辑的图片,在PS软件中将其打开。 创建蒙版 在打开的图片上创建一个蒙版,可以通过在图层面板下方…

    网络快讯 2024年3月25日
    0
  • 剑气劫怎么筑基 剑气劫筑基方法有哪些

    剑气劫是一个以仙侠末世界为背景的轮回冒险多热修仙游戏,玩家可以扮演不同的灵士,探索神秘的地图,收集灵力,渡劫,成为强者。那么再这样一个修仙游戏中剑气劫怎么筑基?筑基是剑气劫中的一个…

    2024年3月22日
    0
  • 电脑一直很流畅一夜之间变卡,原因多半是它

    1、电脑需要反复开机好几次才能正常启动进系统。2、电脑即使进系统了,电脑一开始操作还行,但电脑时间用的越长就变得越卡。3、电脑开机后时而找不到启动的媒介(硬盘)。4、电脑拿到当时组装电脑的装机店检测时,店家说电脑只要能开机就没问题,店家说调下硬盘引导就可以了,可是电脑从电脑店拿回来后故障…

    网络快讯 2023年11月14日
    0
  • 九点用英语怎么说,多种方法表达,九点用英语怎么说,多种方法写

      九点用英语怎么说,多种方法表达,九点用英语怎么说,多种方法写是九点用英语Nineo’clockNineNinenow今世伴明月2021-09-0120:54:02相关推荐2024报考提前批志愿会对一批志愿有影响吗红缘醉在志愿填报期间可以填报的。  关于九点用英语怎么说,多种…

    网络快讯 2023年11月26日
    0
  • 夏日一人食,大块牛肉好满足!山西牛肉刀削面

    【食材】山西牛肉刀削面1盒清水1000ml锅中水煮沸,下入面条。煮5分钟左右后捞出备用。将料包直接放入锅中加热。然后倒入煮好的刀削面搅拌均匀,撒上干料包。一碗香喷喷的牛肉刀削面就可以享用了。版权声明:本文内容由网友提供,该文观点仅…

    网络快讯 2023年11月15日
    0
  • 含钙高的食物排行榜 含钙高的食物吃多了有害处吗

    很多当妈的人都希望自己的孩子将来长得高大帅气,在孩子发育的时候就会给他们吃很多含钙的食物,鸡蛋牛奶是我们最常见的。但牛奶的含钙量并不是最高的,下面给大家带来含钙高的食物排行榜含钙高的食物吃多了有害处吗的相关内容,一起来看看吧。含钙高的食物排行榜一、芝麻芝麻含钙量第一,不管是…

    2023年12月1日
    0

发表回复

登录后才能评论