在windows环境下安装hadoop
最近折腾文件系统,用到了hadoop,虽然项目是部署在Linux下的。但自己平时开发用的是windows系统(本人用的是win10 64bit)。为了方便开发和调试,所以打算在windows环境下安装hadoop。 往上找了几篇文章,都说得不是很详细。安装过程中遇到了一些问题,索性自己折腾了一番,终于搞好了。 准备条件: 首先需要下载 hadoop的tar.gz包,目前最新版本是2.7.3 下载地址:http://hadoop.apache.org/releases.html 然后确保操作系统是64bit,已安装.netframework,要4.0以上版本,一般现在的windows系统都有自带的。 第...
androidstudio使用SlidingMenu库(导入Module方式)–超级详细
相信大家在使用软件时会发现,很多APP都有侧滑的功能。在主界面左滑动或者右滑动的时候出现不同宽度且有阴影、渐变效果的设置界面,能方便进行各种操作。在网上也有很多的解决方案,使用SlidingMenu库可以完美的解决这一需求。 SlidingMenu的Github地址:https://github.com/jfeinstein10/SlidingMenu SlidingMenu不是一个完整的项目,而是一个library。在下载的这个库中,还有一个example代码供大家学习使用,但example代码要导入ActionBarSherlock库作为依赖。 1、首先要将SlidingMenu导入到项目中(File-New-...
[解决]如何将Eclipse项目转移到Android Studio
鉴于网上无论国内国外对Eclipse项目转移到Android studio的过程大多都说的模棱两可,模糊不清,于是写下这文章让大家少走弯路。(正文是在下面粗体字) 前段时间,打算使用Github上的开源库时发现Github现在遍地都是默认码农们用Android Studio了,下面的使用说明都是像这样: dependencies { compile'pl.droidsonroids.gif:android-gif-drawable:1.1.+' } “一句话就可以” ,我真是哔了狗了。 使用Eclipse的我简直不知所措,只能把代码硬生生搬到Eclipse了。最恶心的来了,万一需要引用到V4,V7这些包的话,那你...
JavaScript 开发者都应该知道的十个概念
自学 现在学习 JavaScript 和 Web 开发的人很多,他们都希望能凭此获得一份工作。然而,自学常常会使学习者对 JavaScript 语言本身的理解存在知识盲点。 实际上,令人感到惊讶的是,他们只需要掌握很少的语言知识就能制作复杂的网页,然而这样通常不能很好掌握 JavaScript 的基础知识。 使用基本的技能来实现功能和避免复杂的需求是相当容易的,通过依赖 Stack Overflow,而不理解复制来的代码以创建一个网站也是十分容易。 面试 但问题是,许多技术公司在面试中提问时,目的是检验你对 JavaScript 是否真正理解。...
Hadoop入门案例(一) wordcount
1. 需求说明 大数据中,经常可能会碰到一些需要单词的出现个数,例如top n 等等。下面介绍一个hadoop的入门案例,对一个或多个文本中的单词进行统计 1.1 需求输入 输入一个或者多个文本 测试的文本内容如下 aa bb cc aa aa aa dd dd ee ee ee ee ff aa bb zks ee kks ee zz zks 1 2 3 4 1.2 需求输出 将文本中的内容按照单词进行计数,并且将各个单词的统计记录到制定的路径下 2. 代码如下 <span class="hljs-keyword">package</span> com.myhadoop.mapreduce.test; <span cla...
分布式搭建hadoop2.8和spark2.1环境
一、前期准备工作: 1.安装包的准备: VMware(10.0版本以上) : 官方网站:https://www.vmware.com/cn.html 官方下载地址:http://www.vmware.com/products/player/playerpro-evaluation.html 10.0版本注册码: v1Z0G9-67285-FZG78-ZL3Q2-234JG 4C4EK-89KDL-5ZFP9-1LA5P-2A0J0 HY086-4T01N-CZ3U0-CV0QM-13DNU 11.0版本注册码: 1F04Z-6D111-7Z029-AV0Q4-3AEH8 12.0版本注册码: 5A02H-AU243-TZJ49-GTC7K-3C61N ubuntu14.0系统:(64位)选择ubuntu纯属个人喜好,Liunx发行版有很多都支持Hadoop,而1...
tar命令用法详解
[root@linux ~]# tar [-cxtzjvfpPN] 文件与目录 .... 参数: -c :建立一个压缩文件的参数指令(create 的意思); -x :解开一个压缩文件的参数指令! -t :查看 tarfile 里面的文件! 特别注意,在参数的下达中, c/x/t 仅能存在一个!不可同时存在! 因为不可能同时压缩与解压缩。 -z :是否同时具有 gzip 的属性?亦即是否需要用 gzip 压缩? -j :是否同时具有 bzip2 的属性?亦即是否需要用 bzip2 压缩? -v :压缩的过程中显示文件!这个常用,但不建议用在背景执行过程! -f :使用档名,请留意,在 f 之后...
Hadoop学习教程(三) —- Hadoop安装
这节就开始讲述Hadoop的安装吧。在这之前先配置下SSH免密码登录,为什么需要配置这个呢?大家都知道Hadoop集群中可能有几十台机器甚至是上千台机器,而每次启动Hadoop都需要输入密码才能够登录到每台机器的DataNode上的,所以为了避免后期繁琐的操作,一般都会配置SSH免密码登录。 注:笔者使用的远程连接工具是XShell,很好用的一款远程连接工具,推荐大家使用,还可以安装一下xftp文件传输工具,方便于将自己电脑上的软件拷贝到虚拟机中,xftp和Xshell是可以配套使用的。 配置SSH免密码登录,首先需要有SSH的支持...
Hadoop学习教程(二) —- CentOS下安装JDK
上篇我们讲述了如何使用VMware安装CentOS系统,接下来就看如何安装我们最为熟悉的jdk吧!安装前先看看系统上有没有安装过jdk,输入java -version,如果查询出了其他版本的jdk版本,就先删除了,笔者这里使用jdk1.6。说开始就开始,下面开始说明安装步骤吧。 1.我们去Oracle获取jdk1.6安装文件,地址分享: http://download.csdn.net/download/hexiaolong0516/9985712 2.启动虚拟机,进入CentOS系统,首先进入/usr/local目录,新建java目录,进入java目录,将下载好的安装包拷贝进此目录,不知道怎么拷贝,Vmw...