[转帖]Hadoop 监控_Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 3017 | 回复: 0   主题: [转帖]Hadoop 监控        下一篇 
周逸涵
注册用户
等级:少校
经验:871
发帖:83
精华:0
注册:2013-7-8
状态:离线
发送短消息息给周逸涵 加好友    发送短消息息给周逸涵 发消息
发表于: IP:您无权察看 2013-7-10 10:00:23 | [全部帖] [楼主帖] 楼主

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。Hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度。Hadoop 还是可伸缩的,能够处理 PB 级数据。此外,Hadoop 依赖于社区服务器,因此它的成本比较低,任何人都可以使用。

Hadoop是项目的总称,起源于作者儿子的一只玩具大象的名字。主要是由HDFS、MapReduce和Hbase组成。

HDFS是Google File System(GFS)的开源实现。

MapReduce是Google MapReduce的开源实现。

HBase是Google BigTable的开源实现

开源的Hyperic HQ软件可以对Hadoop DataNode server,Name Node server,Job Tracker等 实现监控。


Hadoop DataNode 服务器

日志追踪支持: Yes

配置追踪支持: Yes

定制属性支持:

NameDescription
VmVersionVm Version
VmVendorVm Vendor
VmNameVm Name

支持的控制操作: None

支持的度量参数:

NameAliasUnitsCategoryDefault OnDefault Interval
Process Virtual Memory SizeProcessVirtualMemorySizeBUTILIZATIONfalse5 min
Process Resident Memory SizeProcessResidentMemorySizeBUTILIZATIONtrue5 min
Process Page FaultsProcessPageFaultsnoneUTILIZATIONfalse10 min
Process Page Faults per MinuteProcessPageFaults1mnoneUTILIZATIONfalse10 min
Process Cpu System TimeProcessCpuSystemTimemsUTILIZATIONfalse10 min
Process Cpu System Time per MinuteProcessCpuSystemTime1mmsUTILIZATIONfalse10 min
Process Cpu User TimeProcessCpuUserTimemsUTILIZATIONfalse10 min
Process Cpu User Time per MinuteProcessCpuUserTime1mmsUTILIZATIONfalse10 min
Process Cpu Total TimeProcessCpuTotalTimemsUTILIZATIONfalse10 min
Process Cpu Total Time per MinuteProcessCpuTotalTime1mmsUTILIZATIONfalse10 min
Process Cpu UsageProcessCpuUsagepercentageUTILIZATIONtrue5 min
Process Start TimeProcessStartTimeepoch-millisAVAILABILITYfalse5 min
Process Open File DescriptorsProcessOpenFileDescriptorsnoneUTILIZATIONfalse5 min
Process ThreadsProcessThreadsnoneUTILIZATIONfalse5 min
AvailabilityAvailabilitypercentageAVAILABILITYtrue5 min
Heap Memory FreeHeapMemoryFreeBUTILIZATIONtrue5 min
Thread CountThreadCountnoneUTILIZATIONtrue5 min
Total HotSpot Compilation TimeTotalHotSpotCompilationTimemsPERFORMANCEtrue5 min


配置帮助:

一般日志和配置追踪属性

启用配置追踪 - 检查启用配置追踪

配置文件 - 逗号分隔的配置文件跟踪列表。相对文件是指相对于$ {安装路径}

启用日志追踪 - 检查启用日志追踪

跟踪事件日志级别 - 仅跟踪时间级别等于或大于这个级别.顺序是: [Error, Warn, Info, Debug]

映射:

FATAL,ERROR -> Error
WARN -> Warn
INFO -> Info
DEBUG -> Debug


登录模式匹配 - 包括匹配给定的正则表达式的消息。给定的模式可以是日志消息或正则表达式的子串。请参见:java.util.regex.Pattern。

登录模式排除 - 排除匹配给定的正则表达式的消息。

日志文件 - 逗号分隔的日志文件跟踪列表。相对文件是指相对于$ {安装路径}。




赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论