亿信华辰

连续3年稳坐商务智能应用榜首

与此同时,亿信华辰在数据治理领域荣登五强

首页关于行业资讯商业智能

如何应对超大规模集群资源管理挑战,这个神器了解一下

时间:2019-12-20来源:亿信华辰浏览数:82

很多大数据开发工程师或系统管理员,特别是初级入门Hadoop的工程师,经常会遇到如何高效管理大数据基础平台的问题。跟踪管理所有Hadoop集群中数以百计的节点、数据库、资源和服务实例可太难了……

为破解这一问题,亿信华辰实时大数据平台PetaBase-i 提供可视化管理工具PetaBase Web Console(简称PB Web Console),用于供应、管理、监控和保护PetaBase集群,降低传统数据库管理人员向大数据系统转移带来的学习和管理成本。

什么是PB Web Console

PB Web Console是一个基于开源项目基础上开发的可视化管理平台,其作为实时大数据平台PetaBase-i 的一部分,允许企业规划,安装和安全配置PetaBase-i,无论群集的规模如何,都可以更轻松地提供持续的群集维护和管理。

PB Web Console通过可视化界面提供一致、安全的平台,使PetaBase-i 管理变得更简单。PB Web Console提供了直观的Web UI以及强大的REST API,这对于自动化群集操作特别有用。PB Web Console具有以下优点:

  • 简化安装、配置和管理。轻松高效地创建,管理和监控集群规模,使用智能配置和群集建议来消除配置中的可疑参数。
  • 集中式安全设置。降低在整个平台上管理和配置集群安全性的复杂性。提供自动化高级集群安全功能(如Kerberos和Apache Ranger)的设置和配置。
  • 对群集健康的可视化监控。确保PetaBase群集健康可用,并采用全面的监控方法。配置预定义警报,捕获和可视化关键操作指标。
  • 高度可扩展性和可定制性。支持将Hadoop生态的第三方组件无缝安装到企业环境中。PB Web Console为管理自定义服务提供了高度的可扩展性。
如何应对超大规模集群资源管理挑战,这个神器了解一下

有了PB Web Console,能做什么

今天,向你先介绍几个比较突出的功能。

1、集群主机管理与监控:你可以向PB Web Console管理的集群中添加主机、删除主机以及查看主机状态等。

如何应对超大规模集群资源管理挑战,这个神器了解一下

你也可以单独对某个主机节点上的组件进行管理,比如启动、停止、重启、维护。还可以实时监控该主机的资源负载和告警处理。

如何应对超大规模集群资源管理挑战,这个神器了解一下

2、集群服务的控制与监控:PB Web Console还提供了对集群服务监控的能力,你可以看到右边页面关于服务的整体信息摘要,包括服务的状态概要信息,同时也能看到一些简单的指标,比如内存垃圾回收次数,连接负载等。不仅如此,还可以通过“服务操作”功能,实现对服务的各种操作,如启动,停止,重启,迁移和删除等等。

如何应对超大规模集群资源管理挑战,这个神器了解一下

3、集群服务配置:PB Web Console也提供对服务进行配置维护功能,避免了低效和繁琐的手工修改配置。

如何应对超大规模集群资源管理挑战,这个神器了解一下

PB Web Console除了提供集群的安装,管理和监控功能之外,还附带了一些十分有用的辅助应用工具,用于提升PetaBase平台使用的易用性。

4、HDFS文件管理:默认情况下,HDFS只能通过Shell命令进程日常的维护操作,这种操作方式并不直观。PB Web Console提供了可视化的方式查看和管理HDFS上的目录和文件,如新建目录、上传文件等。

如何应对超大规模集群资源管理挑战,这个神器了解一下

5、SQL开发与程序调试IDE:PB Web Console提供了一个可快速开发和调试Hadoop应用程序和访问Hadoop数据的一个基于浏览器的图形化用户接口。你可以通过它执行hive sql并进行数据结果展示,它也支持基于Impala的应用进行交互式查询,还支持spark程序开发、HBase数据浏览和操纵。总而言之,你可以在这个IDE中编写mr,查看修改hdfs的文件,管理hive的元数据,运行Sqoop,编写Oozie工作流等大量工作。

如何应对超大规模集群资源管理挑战,这个神器了解一下

PB Web Console的价值

亿信华辰实时大数据平台PetaBase-i 的定位就是面向企业用户,为方便企业数据中心的管理简单和直观,正是有了PB Web Console这个可视化管理工具,能为你带来如下好处:

  • 人员成本:减少了大数据平台的维护人员;
  • 时间成本:一键智能安装,比开源Apache版本大幅减少了安装部署时间, 可视化运维,有效缩短维护时间;
  • 提高资源使用,解决了大数据技术栈中各组件间的兼容性,提供性能报告和诊断工具,有利于集群性能监控和调优,提供对集群配置统一处理修改。

此外,PB Web Console宕机也不会影响到其他组件的任务运行,所有的集群配置等元信息都存放于内置的高可用sql数据库中。

综上所述,PB Web Console是一款专为PetaBase-i 服务的安装部署与管理利器,这款利器具有集群自动化安装、中心化管理、集群监控、报警等功能,使得安装集群从几天的时间缩短在几小时以内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。

快乐分享
© 2020 ESENSOFT 北京亿信华辰软件有限责任公司| 版权所有:京ICP备07017321号 京公网安备11010802016281号|免责声明

联系
电话

您好,商务咨询请联系

咨询热线:400-0011-866转0

手机咨询:137-0121-6790

社区
交流

产品技术问题交流

bbs.esensoft.com

9分钟快速处理问题