Tag Archives: 大数据

使用MapReduce对日志数据进行简单的清理和总结

使用MapReduce和spark对日志数据进行简单的清理和总结首先使用MapReduce对日志进行分割，将time，ip，url提取出来，在用reduce进行一个… Read More »

使用Java调用HDFS的API进行文件基本操作本样例主要是代码，其中包括了Java进行上传，下载，删除，创建文件夹，遍历文件夹等操作，代码环… Read More »

关于大数据的随记很久没有随意的写一些东西了，最近很忙，但不知道在忙什么，清除自己要学什么但学的却很无力，很乏味。初步把自己的方… Read More »

使用MapReduce统计天气数据中的最高气温例子是从Hadoop权威指南上改写的，需要先将代码生成jar包，然后将测试样例和jar包上传到HDFS中，… Read More »

基于Hadoop搭建HDFS伪分布式环境的安装步骤本次实验中，老师使用的是hadoop用户，我是直接使用root用户，所以没有sudo，环境变量也是/et… Read More »