Hadoop相关日常操作_Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 3199 | 回复: 0   主题: Hadoop相关日常操作        上一篇   下一篇 
全世界给我请安
注册用户
等级:新兵
经验:72
发帖:1
精华:0
注册:2015-5-21
状态:离线
发送短消息息给全世界给我请安 加好友    发送短消息息给全世界给我请安 发消息
发表于: IP:您无权察看 2016-3-10 16:36:28 | [全部帖] [楼主帖] 楼主

1.Hive相关

脚本导数据,并设置运行队列

bin/beeline -u 'url' --outputformat=tsv -e "set mapreduce.job.queuename=queue_1" -
e "select * from search_log where date <= 20150525 and date >= 20150523" > test.txt


2.Spark相关

spark任务提交

$SPARK_HOME/bin/spark-submit --class com.test.SimilarQuery --master yarn-cluster --num-executors 40 --driver-memory 4g --executor-
memory 2g --executor-cores 1 similar-query-0.0.1-SNAPSHOT-jar-with-dependencies.jar 20150819 /user/similar-query


3.Hadoop

执行MapReduce Job,并设置运行队列

hadoop jar game-query-down-0.0.1-SNAPSHOT.jar QueryDownJob -Dmapreduce.job.queuename=sns_default arg1 arg2






赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论