使用MapReduce对日志数据进行简单的清理和总结
使用MapReduce和spark对日志数据进行简单的清理和总结 首先使用MapReduce对日志进行分割,将time,ip,url提取出来,在用reduce进行一个… Read More »
使用MapReduce和spark对日志数据进行简单的清理和总结 首先使用MapReduce对日志进行分割,将time,ip,url提取出来,在用reduce进行一个… Read More »
使用Java调用HDFS的API进行文件基本操作 本样例主要是代码,其中包括了Java进行上传,下载,删除,创建文件夹,遍历文件夹等操作,代码环… Read More »
关于大数据的随记 很久没有随意的写一些东西了,最近很忙,但不知道在忙什么,清除自己要学什么但学的却很无力,很乏味。初步把自己的方… Read More »
使用MapReduce统计天气数据中的最高气温 例子是从Hadoop权威指南上改写的,需要先将代码生成jar包,然后将测试样例和jar包上传到HDFS中,… Read More »
基于Hadoop搭建HDFS伪分布式环境的安装步骤 本次实验中,老师使用的是hadoop用户,我是直接使用root用户,所以没有sudo,环境变量也是/et… Read More »