20
09/17
Hadoop入门案例（一） wordcount
1. 需求说明 大数据中，经常可能会碰到一些需要单词的出现个数，例如top n 等等。下面介绍一个hadoop的入门案例，对一个或多个文本中的单词进行统计 1.1 需求输入 输入一个或者多个文本 测试的文本内容如下 aa bb cc aa aa aa dd dd ee ee ee ee ff aa bb zks ee kks ee zz zks 1 2 3 4 1.2 需求输出 将文本中的内容按照单词进行计数，并且将各个单词的统计记录到制定的路径下 2. 代码如下 <span class="hljs-keyword">package</span> com.myhadoop.mapreduce.test; <span cla...
20
09/17
分布式搭建hadoop2.8和spark2.1环境
一、前期准备工作： 1.安装包的准备： VMware(10.0版本以上) : 官方网站：https://www.vmware.com/cn.html 官方下载地址：http://www.vmware.com/products/player/playerpro-evaluation.html 10.0版本注册码： v1Z0G9-67285-FZG78-ZL3Q2-234JG 4C4EK-89KDL-5ZFP9-1LA5P-2A0J0 HY086-4T01N-CZ3U0-CV0QM-13DNU 11.0版本注册码： 1F04Z-6D111-7Z029-AV0Q4-3AEH8 12.0版本注册码： 5A02H-AU243-TZJ49-GTC7K-3C61N ubuntu14.0系统:(64位)选择ubuntu纯属个人喜好，Liunx发行版有很多都支持Hadoop，而1...