[推荐] 你了解Hadoop吗?_Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
7
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 11515 | 回复: 6   主题: [推荐] 你了解Hadoop吗?        上一篇   下一篇 
可爱的龙八
注册用户
等级:中尉
经验:466
发帖:10
精华:2
注册:2015-10-9
状态:离线
发送短消息息给可爱的龙八 加好友    发送短消息息给可爱的龙八 发消息
发表于: IP:您无权察看 2015-11-30 12:06:52 | [全部帖] [楼主帖] 楼主

    大量资料的处理一直是计算机科学与实务应用中非常重要的课题,云端运算的风起云涌也使得分散式运算这项技术成了新显学,整合MapReduce算法并已被各大企业所广泛采用的Hadoop套件,更是开发云端运算技术的佼佼者

          Hadoop的原始作者是Doug Cutting先生,其过去就开发了Apache Lucene文字搜索引擎,这是用Java设计的高效能文件索引引擎API,其可索引文件中的每一字,让搜寻的效率比传统逐字比较还要高的多,而在开发这个元件的过程,也进而开发了Apache Nutch这个基于开放原始码所开发的网页搜索引擎元件。其利用了Lucene函式库开发,并加入了许多与网页协定相关的特性,如网页爬虫、网页连结架构数据库、HTML和其他文件格式的剖析器等,在Nutch 0.8版之后,Hadoop为独立项目演变为独立的Hadoop开发套件。

    Hadoop这个代号并不代表任何英文字汇或者缩写代码,其是一个无中生有被创造的名称,作者曾经针对这个名称做过相关解释,Hadoop名称来自于作者小孩的一个绒毛填充黄色大象玩具,而官方的吉祥物也采用了该图案,主要原因在于开发这项套件的过程中作者需要为开套件提供一个代号方便沟通,而这个名字具备了几个特性,如相当容易拼字和发音,毫无意义、且没有在任何地方使用过,因此雀屏中选。

Hadoop吉祥物.jpg

    在Hadoop其后所发展的几个相关套件和模块也都参考了这样的方式,名称都不会与主要功能实际相关,而会采用与大象或其他动物的概念来命名作为其开发代号,某些较小的模块功能则会给予较有意义的名称,如jobtracker会用来追踪MapReduct的作业。 其实Hadoop命名的概念也非常类似当年Google命名的由来,Google是英文单词「Googol」按照通常的英语拼法改写而来的。Googol是一个大数的名称,也就是10100次方,表示1后面加上100个零。乍看之下好像没有特殊之处,但实际上该数字比宇宙所有的基本粒子数量总和还要大。Googol这个字是由美国数学家Edward Kasner九岁的侄子Milton Sirotta发明的,后来在数学家Edward KasnerJames Newman的著作《Mathematics and the Imagination中被引用,Google公司使用这个字显示了公司想征服网络无穷无尽资料的梦想,最后没有选用Googol可能是因为版权的问题,而且当注册Google.com网域的时候已经被注册。 

    Hadoop的定位是用来处理与保存大量资料的云端运算平台,目前属于Apache顶层项目,在Hadoop中包含了最著名的分散式档案系统(HDFS)MapReduce框架、储存系统(HBase)等元件,如图3所示,以及根据Hadoop延伸发展的其他子项目: 

Core:一组用于分散式档案系统和一般性I/O之用的元件和界面。 

Avro:提供高效能、跨语言以及可保存资料的RPC资料序列化系统。 

Pig:超大资料集的资料流语言以及执行环境,可在HDFSMapReduce丛集环境中执行。 

ZooKeeper:分散式且高可用性的协调服务,可为建置分散式系统提供分散式锁定等原始锁定功能。 

Hive:分散式资料仓储,透过Hiave可管理存放于HDFS的资料,并提供根据SQL发展的查询语言来查询资料。 

Chukwa:分散式资料收集和分析系统,其会执行收集器以便在HDFS中储存资料,且会使用MapReduce来产生报表。 

   Hadoop.jpg

        Hadoop主要核心完全使用Java开发,而使用者端则提供C++/Java/Shell/Command等程序开发界面,目前可执行于LinuxMac OS/XWindowsSolaris作业系统,以及一般商用等级的服务器。 

    在Hadoop中最核心的算法参考了由Google针对大量资料处理所累积的经验,并于2004年所发表的MapReduce算法,隔年Doug Cutting随即公布Apache Nutch开始采用全新的MapReduce实作。而在2006Hadoop程序码从Apache Nutch移至全新的Lucene子项目,2008Hadoop成为 Apache顶层项目。 














该贴被蜀山战纪编辑于2015-12-4 10:13:46



赞(1)    操作        顶端 
qq_hel
注册用户
等级:上士
经验:254
发帖:1
精华:0
注册:2015-12-10
状态:离线
发送短消息息给qq_hel 加好友    发送短消息息给qq_hel 发消息
发表于: IP:您无权察看 2015-12-15 23:28:49 | [全部帖] [楼主帖] 2  楼

想学习大数据,现在很热门



赞(0)    操作        顶端 
dobility
注册用户
等级:列兵
经验:96
发帖:0
精华:0
注册:2016-1-14
状态:离线
发送短消息息给dobility 加好友    发送短消息息给dobility 发消息
发表于: IP:您无权察看 2016-1-14 19:14:13 | [全部帖] [楼主帖] 3  楼



赞(0)    操作        顶端 
lanlanpiaoliu
注册用户
等级:上尉
经验:505
发帖:4
精华:0
注册:2015-10-21
状态:离线
发送短消息息给lanlanpiaoliu 加好友    发送短消息息给lanlanpiaoliu 发消息
发表于: IP:您无权察看 2016-1-18 18:32:43 | [全部帖] [楼主帖] 4  楼

谢谢楼主的讲述



赞(0)    操作        顶端 
花花公子
注册用户
等级:下士
经验:175
发帖:2
精华:0
注册:2016-2-17
状态:离线
发送短消息息给花花公子 加好友    发送短消息息给花花公子 发消息
发表于: IP:您无权察看 2016-2-17 16:49:09 | [全部帖] [楼主帖] 5  楼

学习了啊



赞(0)    操作        顶端 
火树银花
注册用户
等级:中士
经验:245
发帖:2
精华:0
注册:2016-1-8
状态:离线
发送短消息息给火树银花 加好友    发送短消息息给火树银花 发消息
发表于: IP:您无权察看 2016-2-17 17:00:45 | [全部帖] [楼主帖] 6  楼

谢谢分享



赞(0)    操作        顶端 
太阳公公
注册用户
等级:下士
经验:177
发帖:0
精华:0
注册:2016-2-14
状态:离线
发送短消息息给太阳公公 加好友    发送短消息息给太阳公公 发消息
发表于: IP:您无权察看 2016-3-22 21:47:34 | [全部帖] [楼主帖] 7  楼

非常感谢楼主的讲述!



赞(0)    操作        顶端 
总帖数
7
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论