今天准备学习一下,但是对于64位的Ubuntu来说

2019-10-31 作者:联系我们   |   浏览(198)

1.更新apt源

首先要求修正我们的apt源,因为生机勃勃旦是国外源的话,接下去安装会一点也不快。使用命令

sudo vi /etc/apt/sources.list

开发这些apt源列表,假使内部看见是

:%s/us./cn./g

就能够把全体的us.改为cn.了。然后输入:wq就能够保存退出。

sudo apt-get update

履新一下源。

Ubuntu下Hadoop情形的安顿 http://www.linuxidc.com/Linux/2012-11/74539.htm

sudo make install

为此大家Infiniti是团结在Ubuntu中编写翻译Hadoop。先介绍一下自个儿的条件是Ubuntu 16.1 X64 Server版,当前流行的Hadoop是2.7.3。大家能够先下载源代码,在里面有BUILDING.txt,引导我们怎么着在Ubuntu中编写翻译Hadoop:

5.OK上马编写翻译,cd进入HADOOP源代码目录 hadoop-2.6.0-src,推行:

JDK 7u71

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

sudo apt-get install maven
mvn --version

直白用的Ubuntu 三11个人系统(计划后一次用Fedora,Ubuntu更加的不符合学习了),几前段时间企图上学一下Hadoop,结果下载Apache官方网址络透露的新型的包裹好的2.5.1版,配置完了根本运维不起来,查看错误日志开采是native库的本子和体系不平等,使用file命令能够窥见封装版的native库文件全部都是六17人的:

Installing required packages for clean install of Ubuntu 14.04 LTS Desktop:

sudo apt-get install protobuf-compiler
protoc --version

引言

在头里的小说中介绍了怎么样间接在Ubuntu中安装Hadoop。可是对于六拾四位的Ubuntu来讲,官方给出的Hadoop包是三十八人的,运维时会获得警报:

mvn clean package -Pdist,native -DskipTests -Dtar

tar -zxvf  jdk-7u71-linux-i586.tar.gz
sudo cp -r jdk1.7.0_71 /usr/lib/jvm/

* Oracle JDK 1.7 (preferred)
  $ sudo apt-get purge openjdk*
  $ sudo apt-get install software-properties-common
  $ sudo add-apt-repository ppa:webupd8team/java
  $ sudo apt-get update
  $ sudo apt-get install oracle-java7-installer
* Maven
  $ sudo apt-get -y install maven
* Native libraries
  $ sudo apt-get -y install build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev
* ProtocolBuffer 2.5.0 (required)
  $ sudo apt-get -y install libprotobuf-dev protobuf-compiler

4.安装protoc

#1、JAVA路线要在本来的PATH以前,不然java命令暗许会软连接到自带的OpenJDK上。最佳“java -version”确认一下。

小编用的Linux16.1 X64 Server版本,也是差不离,接下去是编写翻译Hadoop的进度:

单机版搭建Hadoop碰到图像和文字化教育程详细解释 http://www.linuxidc.com/Linux/2012-02/53927.htm

环境

Optional packages:

3.安装openssh

CentOS安装和布置Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

2.装置必备软件

2.1安装SSH

sudo apt-get install ssh

安装收尾后大家就能够用putty或许SecureCRT连接到Ubuntu了。

2.2安装JDK

sudo apt-get install default-jdk

设置后得以运作java –version看安装的版本

2.3安装Maven

sudo apt-get install maven

那是编写翻译Hadoop的工具,安装实现后,能够运作mvn -–version看安装的版本

2.4装置信赖库

sudo apt-get install g++ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev

2.5安装ProtocolBuffer 2.5.0

瞩目,笔者要编写翻译的是Hadoop2.7.3,必需设置的ProtocolBuffer是2.5以此本子,假如不是的话,接下去会编写翻译战败:

protoc version is 'libprotoc 3.0.0, expected version is '2.5.0'

设若我们运营文书档案中的:

sudo apt-get -y install libprotobuf-dev protobuf-compiler

protoc –version 会告诉大家设置的是3.0本子,这是乱七八糟的。大家供给的是2.5版。咋办呢?唯有去GitHub找到2.5版,然后重新编写翻译安装。进度如下:

wget https://github.com/google/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz
tar -xzf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0/
./autogen.sh
./configure
make
make install

现在我们重新运行protoc –version 会看到版本是2.5了。

2.6更新Maven镜像

由于Maven默认连接的是国外的服务器,会很慢,所以我们需要更新Maven源为国内的服务器。推荐还有阿里云的Maven源:http://maven.aliyun.com/ 。

具体做法是:

cd ~/.m2 (如果没有这个文件夹,那么就在~目录mkdir .m2创建这个文件夹)

vi settings.xml

然后输入以下的内容:

<settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd">
<mirrors>
<mirror>
<id>nexus-aliyun</id>
<mirrorOf>*</mirrorOf>
<name>Nexus aliyun</name>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>
</mirrors>
</settings>

3.编译Hadoop

先是大家下载最新的Hadoop源代码,访谈官方网站,能够看看最新的是2.7.3,所以大家点击2.7.3的source,会给大家二个很快的下载地址。

wget

下载达成后解压:

tar -zxvf hadoop-2.7.3-src.tar.gz

cd hadoop-2.7.3-src

最后,就是用Maven编译Hadoop:

mvn package -Pdist,native -DskipTests –Dtar

那是一个比较深远的经过,大概要等10~20来分钟。倘若一切符合规律,那么运维实现后,我们会看见成功编译的打招呼:

图片 1

作者是在虚构机中,花了23分钟,我们的Hadoop X64版本就编写翻译出来了。

编写翻译好的Hadoop是在:

hadoop-dist/target/ 目录下,hadoop-2.7.3.tar.gz文件正是

大家得以把那个包下载到本地,也许传输到其它服务器,接下去正是用那一个包安装Hadoop,具体安装配备进程参见作者那篇小说。

上面关于Hadoop的篇章您也可能喜欢,无妨看看:

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程  http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS安装和布署Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

CentOS 6.3下Hadoop伪遍及式平台搭建  http://www.linuxidc.com/Linux/2016-11/136789.htm

Ubuntu 14.04 LTS下安装Hadoop 1.2.1(伪分布情势) http://www.linuxidc.com/Linux/2016-09/135406.htm

Ubuntu上搭建Hadoop景况(单机形式+伪分布方式) http://www.linuxidc.com/Linux/2013-01/77681.htm

实战CentOS系统铺排Hadoop集群服务 http://www.linuxidc.com/Linux/2016-11/137246.htm

单机版搭建Hadoop情状图像和文字化教育程安详严整 http://www.linuxidc.com/Linux/2012-02/53927.htm

Hadoop 2.6.0 HA高可用集群配置精解  http://www.linuxidc.com/Linux/2016-08/134180.htm

斯Parker 1.5、Hadoop 2.7 集群景况搭建  http://www.linuxidc.com/Linux/2016-09/135067.htm

越多Hadoop相关新闻见Hadoop 专项论题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文长久更新链接地址:http://www.linuxidc.com/Linux/2016-12/138568.htm

图片 2

Ubuntu上搭建Hadoop境遇(单机格局+伪遍布方式) http://www.linuxidc.com/Linux/2013-01/77681.htm

笔者把工具都设置在/usr/share目录下,Ubuntu系统暗许会搜寻该目录下的库文件,无需任何安插就行了。不过只要工具被安装在了/usr/local目录下,Ubuntu是不会活动物检疫索该目录的库文件的,那时候亟待配置开采库意况变量:

* Snappy compression
  $ sudo apt-get install snappy libsnappy-dev
* Bzip2
  $ sudo apt-get install bzip2 libbz2-dev
* Jansson (C Library for JSON)
  $ sudo apt-get install libjansson-dev
* Linux FUSE
  $ sudo apt-get install fuse libfuse-dev

sudo apt-get install g++ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev

sudo cp -r apache-ant-1.9.4 /usr/share/

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-javadoc-plugin:2.8.1:jar (module-javadocs)
on project hadoop-maven-plugins: MavenReportException: Error while creating archive:

Ubuntu下Hadoop景况的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

用file命令查看开掘合法包里的libhadoop.so.1.0.0文件竟然是陆12个人的。

注:以上中国人民解放军海军事工业程大学业具版本最佳保持风度翩翩致,使用任何版本只怕导致编写翻译退步,当然能够随意尝试,能编写翻译成功就行,上述工具正确安装配置后平日能确认保证编写翻译成功。

1.安装maven

CentOS 6.5源码编写翻译安装Hadoop2.5.1 http://www.linuxidc.com/Linux/2015-12/126187.htm

Ubuntu 12.10 +Hadoop 1.2.1本子集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

[建议接纳六16个人系统,最好是其余Linux发行版] 

图片 3

先把编写翻译情况布置起来。依次安装并安排JDK 7u71, Ant 1.9.4, Maven 3.2.3, Findbugs 3.0.0 和 Protobuf 2.5就行了:

编写翻译好的公文就在:hadoop-2.6.0-src/hadoop-dist/target

export MAVEN_OPTS="-Xms256m -Xmx512m"
export PATH=$PATH:$M2_HOME/bin

图片 4

[Ubuntu官方源的Ant是1.9.3版,也能用,不想手动配置情况就“apt-get install ant”也行] Maven 3.2.3

下载官方编写翻译好的包安装老是报错:Unable to load native-hadoop library for your platform

编写翻译景况

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配备教程  http://www.linuxidc.com/Linux/2015-02/113487.htm

Maven 3.2.3:

本文由美高梅赌堵59599发布于联系我们,转载请注明出处:今天准备学习一下,但是对于64位的Ubuntu来说

关键词: