[转帖]Hadoop解析序列文件并可视化输出_Hadoop,ERP及大数据讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  Hadoop,ERP及大数据讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 3210 | 回复: 0   主题: [转帖]Hadoop解析序列文件并可视化输出        下一篇 
shuangqiang.xing
注册用户
等级:上尉
经验:737
发帖:64
精华:0
注册:2013-10-30
状态:离线
发送短消息息给shuangqiang.xing 加好友    发送短消息息给shuangqiang.xing 发消息
发表于: IP:您无权察看 2013-10-31 14:45:54 | [全部帖] [楼主帖] 楼主

Hadoop版本:1.0.4,jdk:1.7.0_25 64bit。

     在进行mahout算法分析的时候有时会遇到算法最后的输出文件是序列文件的情况下,这样就不能直接通过HDFS文件系统看到最终的结果了(乱码,因为是序列文件)。以前编写过一个可以直接把序列文件<key,value>读入到一个map变量中的java文件,叫做ReadArbiKV ,可以在下面的地址下载。

     具体下载目录在 /2013年资料/10月/25日/Hadoop解析序列文件并可视化输出.。下载方法见 http://www.linuxidc.com/Linux/2013-07/87684.htm

     ReadArbiKV是读取任务序列文件到一个map变量里面,可以启动调试模式进行变量查看; ReadAndWritePatterns是读取序列文件,并解析其key和value,然后可视化输出,所谓可视化输出是指不是乱码的输出。但是上面的有个问题,就是当数据很大的时候,如果读不到一个map变量里面怎么办?

 所以就可以使用下面的思路:一边读一边写。怎么个意思?直接读取序列文件的<key,value>,然后对key和value分别进行解析,最后直接进行输出。即每读取一行记录,解析一行,然后再输出一行。这样就不会有上面的问题了。


      主程序    是ReadAndWritePatterns,其中需要实现IKVRegex接口,这个接口是解析key和value的标准。给出的代码中的AKVRegex、ImplAKVRegex是这个接口的两个实现,可以参考,其中AKVRegex是什么都不做的,只是把原始的类.toString()而已,ImplAKVRegex是有一些操作的,原来是针对fpg算法的最后输出的解析的,但是好像有点不是很对。

下面给出一个调用demo:

package mahout.fansy.fpg;
import java.io.IOException;
import junit.framework.TestCase;
import mahout.fansy.utils.fpg.AKVRegex;
import mahout.fansy.utils.fpg.ImplAKVRegex;
import mahout.fansy.utils.fpg.ReadAndWritePatterns ;
public class TestReadAndWritePatterns extends TestCase {
      public void testReadAndWrite() throws IOException{
            String input="hdfs://Ubuntu:9000/user/mahout/fp/output/frequentpatterns/part-r-00000";
            String output="hdfs://ubuntu:9000/user/mahout/fp/output_/01.txt";
            String jobtracker="ubuntu:9001";
            // AKVRegex regex=;
            ReadAndWritePatterns.readAndWritePatterns(input, output, jobtracker, new AKVRegex());
      }
}




赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论