[Big Data] 9 个必杀绝技杀进 Big Data 市场_Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 2571 | 回复: 0   主题: [Big Data] 9 个必杀绝技杀进 Big Data 市场        上一篇   下一篇 
lalaful
版主
等级:少校
经验:1383
发帖:31
精华:0
注册:2015-9-17
状态:离线
发送短消息息给lalaful 加好友    发送短消息息给lalaful 发消息
发表于: IP:您无权察看 2015-12-7 15:58:23 | [全部帖] [楼主帖] 楼主

    大数据(Big Data)的热潮越烧越烈,许多处理资料分析与管理的技术因应而出,迎来了巨量资料的时代。要能在这大数据市场中杀出一条血路,以下这 个必杀绝技你一定要学起来。

 

1) Apache Hadoop 黄色小象帮手   

    基于 Hadoop 处理巨量资料的种种优势,象是解决了档案存放、系统扩张、资料处理及备份等问题,因此 Hadoop 被广泛应用于大数据储存和大数据分析,成为大数据的主流技术。在近几年内,集群运算(clusters)在商用性与非商用性的领域也越来越普遍且应用的相当广泛,2014 年无庸置疑成为了 Hadoop 的丰收年,对于 Hadoop 生态系例如 Flume, Oozie, Hive, Pig, HBase, YARN 等技能的市场需求也逐渐提高。

Hadoop.png

2) 大数据黑马:Apache Spark

    如果 Hadoop 是大数据市场里的老大哥,那 Spark 则是具有超凡潜力的一匹黑马!Spark 是一个用途广泛的集群运算引擎,简单来说就是一个能让原本使用 Hadoop 来处理及分析资料的系统快 10 到 100 倍的好工具。

    由于 Hadoop 分析资料时需要将中间产生的数据存在硬盘中,因此会有读写资料的延迟问题;有别于 Hadoop 的 MapReduce 架构,Spark 使用了「存储器内运算技术(In-Memory Computing)」,能在资料尚未写入硬盘时,就在存储器内进行分析运算,号称比原先的 Hadoop 快 100 倍。

去年在资料排序基准竞赛(Sort Benchmark Competition)中,Spark 用 23 分钟完成 100 TB 的资料排序,刷新了原本由 Hadoop 保持的 72 分钟世界记录1

spark.png

3) 不只是 SQLNoSQL

最近几年网络上的资料量开始快速大量成长、资料量与日剧增,为了解决数据库在进行大量资料存取时,所衍生出效能、扩充、维护等问题,近年来业界纷纷舍弃了以结构化查询语言(SQL)为基础的关联式数据库管理系统(RDBMS),改以 NoSQL 数据库来提升效能与扩充弹性。

    NoSQL 最早是指「No SQL」,号称不使用 SQL 作为查询语言的数据库系统。但近来则普遍将 NoSQL 视为「Not Only SQL」,也就是「不只是 SQL」的意思,希望结合 SQL 优点并混用关联式数据库和 NoSQL 数据库来达成最佳的储存效果。

在巨量资料所带动的潮流下,各种不同形态的NoSQL数据库如雨后春笋般窜起,其中 MongoDB 是众多 NoSQL 数据库软件中较为人熟知的一种。

 

4) 机器学习与资料探勘超夯!

在巨量资料中如何摸索出资料所要表达的意涵、提炼出「数据精华」是非常重要的课题,于是「机器学习(Machine Learning)」与「资料探勘(Data Mining)」成为了大数据时代中的重点领域。

    机器学习可以从过去收集的资料与经验中,萃取出感兴趣的部份,构造出模型(Model)和规律(Pattern)当作我们参考的基准,对未来进行预测。应用机器学习的方法处理大量数据库的数据则称为「资料探勘」(Data Mining),顾名思义,就好比在地球上从一堆粗糙的石头中进行地物探勘、寻找有价值的矿脉,资料探勘就是从巨量资料中提取出未知的、有价值的潜在信息。

机器学习跟资料探勘到底有多夯?LinkedIn 之前发表的 2014 年「最热门工作技能」排行榜2,资料探勘(Data mining)荣登排行榜第一名这样夯。

机器学习.png

The-25-Hottest-Skills-of-2014-on-LinkedIn.png

5) 统计及量化分析

大数据时代,统计与资料分析是根本中的根本,数学跟统计学则是基础中的基础。数据专家(Data Scientist)或量化分析师 (Quantitative Analyst)的专业包含了统计学、计算机科学和数学,过去这些人才都抢着要进华尔街工作,但多亏了 Big Data 带来的风潮,现在各行各业都在寻找拥有量化分析、统计学背景的工程师、数据专家。

如果数学是你的拿手强项,基本上你已经赢在起跑点了,接下来再学习市面上的一些资料分析软件及程序语言,象是 RSASMatlabSPSSStata 等,具备了以上技能,相信要进大数据一行不成问题。

 

6) 结构化查询语言 SQL

结构化查询语言(Structured Query Language),简称 SQL,是专门用于关连式数据库的一种查询语言,可以用来定义数据库结构、建立表格、指定栏位型态与长度,也能新增、异动或查询资料。简单来说,SQL 是一种用来从数据库读取与储存资料的计算机语言。

SQL 历经了四十多年的考验仍然在蓬勃发展,虽然 NoSQL (上述第三点)的出现带来了一些影响,但 SQL 仍然主导着市场,并在大数据领域赢得了很多投资与广泛部属。象是 Cloudera 推出了实时查询开源工具 Impala –– 一款用来跑在 Hadoop 架构上的互动 SQL 查询引擎,在这些工具发展下 SQL 在大数据领域中更是历久不衰。

 

7) 看图说故事:资料视觉化

大数据的重要性与日俱增,不少企业如电子商务、零售业及半导体制造业等,开始广泛运用巨量资料为公司拟定企业策略,不过并不是人人都是数据专家、资料科学家,如果要让主管跟客户们清楚了解资料背后的意义,那倒不如让他们「一目了然」。

资料视觉化(Data Visualization)是关于数据之视觉表现形式的研究,资料视觉化的技术可以帮助不同背景的工程人员沟通、理解,以达良好的设计与分析结果。市面上已经有许多工具、软件为人们提供这方面的需求,象是TableauQlikView 等工具就拥有绝佳的视觉化呈现效果,可以不限资料量、资料形式或主题,透过图像化和便捷的操作界面制作出客制化报表,无需撰写程序就能得到分析结果。

 

8) 基本程序开发能力

市场分析机构 Wanted Analytics 公布的数据3中,具有数据分析背景的计算机程序开发人员职位正在逐年增加中,2014 年最后四个月就增加了 2000 个相关的新职缺,比起 2013 年同期多出了 337%

因此,基本程序开发能力也是在这大数据市场中生存的必要条件之一,在资料科学界里,JavaCPythonScala 都是十分受欢迎的程序语言。

8.png 

9) 创造力和问题解决能力

    巨量资料的型态及发展会不断的演化,无论你的程序开发能力有多好、精通多少项资料分析工具,要在大数据时代中活得好、长得壮,创造力(Creativity)和解决问题能力(Problem Solving)的重要性不可忽视,更是以上提到的工具跟技术都无法取代的必杀技!

9.jpg




赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论