ubuntu搭建jupyter notebook以及jupyter与spark的链接

2020-05-25

搭建jupyter notebook

安装python3

更新软件包

1	sudo apt-get update

在这里插入图片描述
安装 python3，默认 python3 将安装最新版本，一般Ubuntu都自带python在 /usr/local目录下

1	sudo apt-get install python3

在这里插入图片描述
安装python第三方安装工具：

1	sudo apt-get install python3-pip

在这里插入图片描述
查看python3版本信息

1	python3 -V

在这里插入图片描述

安装jupyter notebook

下载jupyter notebook

1	pip3 install jupyter -i https://pypi.tuna.tsinghua.edu.cn/simple

在这里插入图片描述
运行 jupyter notebook

1	jupyter notebook

在这里插入图片描述
使用find命令找出 jupyter

1	find -name jupyter

在这里插入图片描述
将上述路径添加到环境变件中

1	sudo gedit ~/.bashrc

在这里插入图片描述

1	export PATH=~/.local/bin:${PATH}

使环境变量生效

1	source ~/.bashrc

在这里插入图片描述
运行 jupyter notebook

1	jupyter notebook

在这里插入图片描述
Jupyter Notebook是基于网页的用于交互计算的应用程序。可以直接在网页上新建文件进行编写

jupyter与spark的链接

修改配置文件

运行pyspark

1 2	cd /usr/local/spark/bin ./pyspark

直接运行pyspark可能会出现以下错误：
因为没有配置Spark python的环境变量

1 2	pyspark:行 45: python: 未找到命令 env: "python": 没有那个文件或目录

在这里插入图片描述
解决办法：
添加python相关环境变量

1	gedit ~/.bashrc

1 2	export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.7-src.zip:$PYTHONPATH export PYSPARK_PYTHON=python3

在这里插入图片描述

注意：py4j-0.10.7-src.zip要到/usr/local/spark/python/lib目录查看是否是这个名称。不同版本的py4j的名称会有差别。

保存后，让环境变量生效

1	source ~/.bashrc

再次运行pyspark

./pyspark

在这里插入图片描述退出pyspark

exit()

在这里插入图片描述

链接jupyter与spark

安装 findspark

1	pip3 install findspark

在这里插入图片描述
测试 jupyter 是否成功连接 spark

import findspark
findspark.init("/usr/local/spark") # 指明SPARK_HOME
import pyspark
from pyspark import SparkContext, SparkConf
print("hello spark")

成功链接，则会输出 “hello spark”
在这里插入图片描述
至此，ubuntu搭建jupyter notebook以及jupyter与spark的链接就结束了，如果博客中有问题，欢迎各位大神们指点迷津

展开全文 >>

Scala语言搭建编程环境

2020-05-25

sbt的下载与配置

sbt的下载

sbt官网下载链接: https://www.scala-sbt.org/download.html.
https://www.scala-sbt.org/download.html
选择sbt的版本，下载的文件会被默认保存在”/home/hadoop/下载”目录中。
在这里插入图片描述

下载完成后，下载目录下便会有相应的压缩文件

sbt的配置

将压缩包解压到/usr/local目录下，会自动生成名为sbt的文件夹

1	sudo tar -zxf ~/下载/sbt-1.3.0.tgz -C /usr/local

在这里插入图片描述
为该文件夹授予权限

1	sudo chown -R hadoop /usr/local/sbt

在这里插入图片描述
将bin目录下的sbt-launch.jar文件和bin目录下的sbt文件复制到当前目录下（当然也可以自己手动复制啦）

1 2	cp ./bin/sbt-launch.jar ./ cp ./bin/sbt ./

在这里插入图片描述
在sbt脚本文件中，添加以下内容

1
2
3

#!/bin/bash
SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
java $SBT_OPTS -jar `dirname $0`/sbt-launch.jar "$@"

在这里插入图片描述为sbt脚本文件增加可以执行权限

1	chmod u+x ./sbt

在这里插入图片描述
运行如下命令，检验sbt是否可用
确保计算机处于联网状态，首次运行该命令，会长时间处于“Getting org.scala-sbt sbt 1.2.8…” 的下载状态，要耐心等待。如果长时间没有进度（大概半小时左右），可能是网络问题导致安装失败，需要重新安装。

1	./sbt sbt-version

在这里插入图片描述
至此，Scala语言搭建编程环境就结束了，如果博客中有问题，欢迎各位大神们指点迷津

展开全文 >>

Spark计算环境的搭建

2020-05-24

Spark的安装与配置

Spark的下载

Spark官网下载地址: http://spark.apache.org/downloads.html.

因为前期已经配置了Hadopp，所以在Choose a package type后面需要选择Pre-build with user-provided Hadoop，然后单击Download Spark后面的without-hadoop压缩包即可，下载的文件会被默认保存在”/home/hadoop/下载”目录中。
在这里插入图片描述
选择推荐的镜像即可下载

1	sudo tar -zxf ~/下载/spark-2.4.5-bin-without-hadoop.tgz -C /usr/local/

在这里插入图片描述
为了方便目录的查看等，将解压后的文件重命名为spark

1 2	cd /usr/local sudo mv ./spark-2.4.5-bin-without-hadoop/ ./spark

在这里插入图片描述
为文件授予权限，避免遇到文件无法创建等问题，注意更改为当前用户名

1	sudo chown -R hadoop:hadoop ./spark # hadoop是当前登录Linux系统的用户名

在这里插入图片描述

Spark的配置

修改Spark的配置文件spark-env.sh
安装文件解压后，需要修改Spark的配置文件spark-env.sh，首先可以先复制一份Spark安装文件自带的配置文件模板，命令如下：

1 2	cd /usr/local/spark cp ./conf/spark-env.sh.template ./conf/spark-env.sh

在这里插入图片描述
使用gedit编辑器打开spark-env.sh文件进行编辑，在该文件的第一行添加一下配置信息：

1	export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

在这里插入图片描述
验证Spark安装是否成功报错：/usr/local/spark/bin/spark-class: 行 71: /usr/lib/jdk/jdk1.8.0_221/bin/java: 没有那个文件或目录（详情可见小编的上一篇博客: here.）
解决方式：
jdk找不到路径问题，/usr/local/spark/conf/spark-env.sh文件中添加如下的 Java环境信息（可加到文本末尾，注意jdk版本号），直接配置修改文件spark-env中export （导入）jdk的路径即可。
在这里插入图片描述

1	export JAVA_HOME=/usr/java/jdk1.8.0_221

在这里插入图片描述
有了上述的配置信息后，Spark就可以把数据存储到Hadoop分布式文件系统HDFS中，也可以从HDFS中读取数据。如果没有配置上面的信息，Spark就只能读写本地数据，无法读写HDFS中的数据。

配置完成后，就可以直接使用Spark，不需要像Hadoop那样运行启动命令，通过运行Spark自带的实例，可以验证Spark是否安装成功，命令如下：

1 2	cd /usr/local/spark ./bin/run-example SparkPi

在这里插入图片描述

执行时会输出很多屏幕信息，不容易找到最终的输出结果，为了从大量的输出信息中快速找到我们想要的执行结果，可以通过grep命令进行过滤。

1	bin/run-example SparkPi 2>&1 \| grep "Pi is roughly"

在这里插入图片描述
启动Spark shell

1 2	cd /usr/local/spark ./bin/spark-shell

在这里插入图片描述

在Spark shell中进行测试

1 2	scala> 7*7+8 res0: Int = 57

在这里插入图片描述
关闭shell

1	scala>:quit

在这里插入图片描述
至此，Spark计算环境的搭建就结束了，如果博客中有问题，欢迎各位大神们指点迷津

展开全文 >>

使用命令./bin/run-example SparkPi,验证Spark安装是否成功错-/usr/local/spark/bin/spark-class-行 71- /usr/lib/jdk/jdk1.8.0_221/bin/java-没有那个文件或目录

2020-05-24

报错情况如下
在这里插入图片描述
测试java是否安装成功

1	java -version

在这里插入图片描述
检查java配置文件是否正确

1	sudo gedit ~/.bashrc

在这里插入图片描述
检查该文件中对应的java路径是否正确

#set java env
export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_221
export JRE_HOME=${JAVA_HOME}/jre    
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib    
export PATH=${JAVA_HOME}/bin:$PATH

若不正确，则修改配置文件，并执行如下的命令使配置文件生效。（正确则忽略此步）

1	source ~/.bashrc

在这里插入图片描述

配置软连接
软连接相当于windows系统中的快捷键，部分软件可能会从/usr/bin目录下查找Java，因此添加该软连接防止其他软件查找不到的情况。

1	sudo update-alternatives --install /usr/bin/java java /usr/java/jdk1.8.0_221/bin/java 300

1	sudo update-alternatives --install /usr/bin/javac javac /usr/java/jdk1.8.0_221/bin/javac 300

在这里插入图片描述
再次尝试运行Spark自带的实例，若成功，则到此就结束，反之进行下一步。

配置修改文件spark-env中export （导入）jdk的路径
jdk找不到路径问题，/usr/local/spark/conf/spark-env.sh文件中添加如下的 Java环境信息（可加到文本末尾，注意jdk版本号），直接配置修改文件spark-env中export （导入）jdk的路径即可。
在这里插入图片描述

1	export JAVA_HOME=/usr/java/jdk1.8.0_221

在这里插入图片描述
再次进行验证

1	./bin/run-example SparkPi

在这里插入图片描述
到此，该问题就解决啦，Spark可以正常使用了

展开全文 >>

HBase Shell数据库操作

2020-05-21

数据库表创建

在这里插入图片描述
创建学生表（Student）

1 2	./bin/hbase shell create 'Student','S_ID','S_Name','S_Sex','S_Age'

在这里插入图片描述
创建课程表（Course）

1	create 'Course','C_ID','C_Name','C_Credit'

在这里插入图片描述
创建选课表（Selected_Course）

1	create 'Selected_Course','SC_ID','C_ID','SC_Score'

在这里插入图片描述
查看已创建的表

list

在这里插入图片描述

HBase Shell 数据访问操作

学生表（Student）添加3条记录
注意：每一行的数据，需要每一列添加，否则会报错
在这里插入图片描述
显示学生表（Student）记录

1	scan 'Student'

在这里插入图片描述
课程表（Course）添加3条记录

显示课程表（Course）记录

1	scan 'Course'

在这里插入图片描述

选课表（Selected_Course）添加4条记录
在这里插入图片描述
显示选课表（Selected_Course）记录

1	scan 'Selected_Course'

在这里插入图片描述

HBASE 数据访问程序设计

HBase Shell命令显示学生表（Student）记录

1	scan 'Student'

在这里插入图片描述
HBase Shell命令从课程表中查询（get）任意一条数据

1	get 'Course','c0001'

在这里插入图片描述
使用HBase Shell命令将选课表（Selected_Course）删除

1
2
3

disable 'Selected_Course'
drop 'Selected_Course'
list

在这里插入图片描述
HBase Shell数据库操作到此就结束了。如果博客中有问题，欢迎各位大神们指点迷津鸭。

展开全文 >>

HDFS分布式文件系统的Java数据访问方法

2020-05-16

准备工作

Ubuntu下安装IDEA

1.下载地址: https://www.jetbrains.com/idea/download/#section=linux.
小编选择的版本是ideaIU-2019.3.3.tar.gz

2.查看下载
首先切换到下载目录
要注意该处的hadoop，为当前用户名
汉化版代码如下：

1	cd /home/hadoop/下载

未汉化版：

1	cd /home/hadoop/Downloads

在这里插入图片描述
3.将压缩包解压到/opt目录下
注意压缩包的版本号

1	sudo tar -zxvf ideaIU-2019.3.3.tar.gz -C /opt

4.进入安装位置并启动IDEA
在这里插入图片描述
打开相应IDEA的bin目录，idea.sh是IDEA的启动文件，我们可以通过终端运行idea.sh文件启动 IDEA

5.测试安装是否成功
(1)新建工程
在这里插入图片描述
在弹出新建工程的界面选择Java，接着选择SDK，一般默认即可，点击“Next”按钮，

在弹出的选择创建项目的模板页面，不做任何操作，直接点击“Next”按钮。

输入项目名称，点击Finish，就完成了创建新项目的工作，小编所建的项目名称为：project1。
在这里插入图片描述

(2)新建java class
在这里插入图片描述
(3)测试运行

若成功输出相应的结果，则证明安装成功。
到此Ubuntu下安装IDEA就完成了

相应包的导入

1.在idea新建一个Java Project，并import需要的Hadoop JAR包
在这里插入图片描述
在弹出新建工程的界面选择Java，接着选择SDK，一般默认即可，点击“Next”按钮，

在弹出的选择创建项目的模板页面，不做任何操作，直接点击“Next”按钮。

输入项目名称，点击Finish，就完成了创建新项目的工作，小编所建的项目名称为：Java Project。
在这里插入图片描述
2.添加jar包，和Eclipse一样，要给项目添加相关依赖包，否则会出错。点击Idea的File菜单，然后点击“Project Structure”菜单

依次点击Modules和Dependencies，然后选择“+”号

3.选择hadoop的包，我用得是hadoop3.2.1。把下面的依赖包都加入到工程中，否则会出现某个类找不到的错误。

(1) /usr/local/hadoop/share/hadoop/common目录下的hadoop-common-3.2.1.jar和hadoop-nfs-3.2.1.jar。
(2) /usr/local/hadoop/share/hadoop/common/lib目录下的所有jar包。
(3) /usr/local/hadoop/share/hadoop/hdfs目录下的hadoop-hdfs-3.2.1.jar和hadoop-hdfs-nfs-3.2.1.jar。
(4) /usr/local/hadoop/share/hadoop/hdfs/lib目录下的所有jar包。
(5) /usr/local/hadoop/share/hadoop/hdfs目录下的 hadoop-hdfs-client-3.2.1.jar包

若不添加(5)对应的hadoop-hdfs-client-3.2.1.jar包，可能会报如下错误：
在这里插入图片描述
4.将导入的包apply

启动Hadoop

1 2	cd /usr/local/hadoop ./sbin/start-dfs.sh

在这里插入图片描述
查看进程

jps

在这里插入图片描述

从本地拷贝文件到HDFS

1.新建java class
在这里插入图片描述
2.在当前用户的桌面创建一个1.txt,作为传输文件进行测试。

import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.fs.Path;

public class FileCopyFromLocal{
	public static void main(String[] args) {
		String source = "/home/hadoop/桌面/1.txt";
		String dest = "hdfs://localhost:9000/user/hadoop/input/1.txt";
		try {
			InputStream in = new BufferedInputStream(new FileInputStream(source));
			Configuration conf = new Configuration();
			FileSystem fs = FileSystem.get(URI.create(dest),conf);
			OutputStream out = fs.create(new Path(dest));
			IOUtils.copyBytes(in,out,4096,true);
			System.out.println("success");
		} catch (Exception e) {
			e.printStackTrace();
		}
	}
}

警告信息可忽略

成功拷贝则运行输出success
在这里插入图片描述

判断HDFS目录中对应文件是否存在

1.新建java class
在这里插入图片描述
2.查看1.txt,作为传输文件是否存在

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HDFSFileIfExist{
	public static void main(String[] args) {
		try{
			String fileName = "hdfs://localhost:9000/user/hadoop/input/1.txt";
			Configuration conf = new  Configuration();
			conf.set("fs.defaultFS","hdfs://localhost:9000");
			conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
			FileSystem fs = FileSystem.get(conf);
			if(fs.exists(new Path(fileName))){
				System.out.println("exists");
			}
			else {
				System.out.println("not exists");
			}
		}
		catch (Exception e) {
			e.printStackTrace();
		}
	}
}

存在则运行输出exists!
在这里插入图片描述

列出HDFS目录中相应文件信息

1.新建java class
在这里插入图片描述
2.查看/user/hadoop/input目录内容

import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class ListHDFSFiles {
	public static void main(String[] args) {
		String uri = "hdfs://localhost:9000/user/hadoop/input";
		Configuration conf = new Configuration();
		try {
			FileSystem fs = FileSystem.get(new URI(uri), conf);
			Path path = new Path(uri);
			FileStatus[] status = fs.listStatus(path);
			for (FileStatus s : status) {
				System.out.println(s.getPath().getName());
			}
		} 
		catch (Exception e) {
			e.printStackTrace();
		} 	
		}
}

显示如下：
在这里插入图片描述

读取HDFS目录中相应文件内容

1.新建java class
在这里插入图片描述
2.查看input目录下1.txt内容

import java.io.*;
import java.net.*;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;

public class ReadHDFSFileContents{
	public static void main(String[] args) {
		Configuration conf = new Configuration();
		conf.set("fs.defaultFs","hdfs://localhost:9000");
		conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
		try {
			URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
			InputStream in = new URL("hdfs://localhost:9000/user/hadoop/input/1.txt").openStream();
			IOUtils.copyBytes(in,System.out,4096,true);
		} catch (Exception e) {
			e.printStackTrace();
		}
	}
}

输出文件内容
在这里插入图片描述

读取HDFS相应文件的BLOCK信息

1.新建java class
在这里插入图片描述
2.查看input目录下1.txt所对应的block信息

import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.BlockLocation;

public class LocationFile{
	public static void main(String[] args) {
		String uri = "hdfs://localhost:9000/user/hadoop/input/1.txt";
		Configuration conf = new  Configuration();
		try{
			FileSystem fs = FileSystem.get(new URI(uri),conf);
			Path path = new Path(uri);
			FileStatus fileStatus = fs.getFileStatus(path);
			BlockLocation blockLocation[] = fs.getFileBlockLocations(fileStatus,0,fileStatus.getLen());
			for(int i=0;i<blockLocation.length;i++)
			{
				String[] hosts = blockLocation[i].getHosts();
				System.out.println("block_"+i+"_location:"+hosts[0]);
			}
		}
		catch (Exception e) {
			e.printStackTrace();
		}
	}
}

输出block信息则成功
在这里插入图片描述

删除HDFS目录中相应文件

1.新建java class
在这里插入图片描述
2.删除input目录下1.txt文件

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class DeleteHDFSFile{
	public static void main(String[] args) {
		Configuration conf = new Configuration();
		conf.set("fs.defaultFS","hdfs://localhost:9000");
		try {
			FileSystem fs = FileSystem.get(conf);
			boolean deleteOnExit = fs.deleteOnExit(new Path("/user/hadoop/input/1.txt"));
			System.out.println(deleteOnExit);
		} catch (Exception e) {
			e.printStackTrace();
		}
	}
}

删除成功则返回ture
在这里插入图片描述
关闭hadoop

1 2	./sbin/stop-dfs.sh jps //查看进程

在这里插入图片描述

至此HDFS分布式文件系统的JAVA数据访问方法，就结束了。各位可爱们在实验过程中一定要注意细节哦，如果博客中有问题，欢迎各位大神们指点迷津。

展开全文 >>

MapReduce分布式计算

2020-05-14

MapReduce分布式计算前期准备

1.启动Hadoop

1
2
3

cd /usr/local/hadoop
./sbin/start-dfs.sh
jps

在这里插入图片描述
2.在桌面新建word.txt文件，并使用gedit编辑器在其中添加英文单词

1
2
3

cd ./桌面
touch word.txt
gedit word.txt

在这里插入图片描述

3.在hdfs目录下创建input1和input2文件夹

./bin/hdfs dfs -ls
./bin/hdfs dfs -mkdir -p /user/hadoop/input1
./bin/hdfs dfs -mkdir -p /user/hadoop/input2
./bin/hdfs dfs -ls

在这里插入图片描述
4.将桌面上的word.txt文件拷贝到input1目录下

1	./bin/hdfs dfs -put /home/hadoop/桌面/word.txt input1

在这里插入图片描述
5.将/usr/local/hadoop/etc/hadoop目录下的所有.xml文件拷贝到input2目录下

1	./bin/hdfs dfs -put ./etc/hadoop/*.xml input2

在这里插入图片描述
6.检查拷贝是否成功

1 2	./bin/hdfs dfs -ls input1 ./bin/hdfs dfs -ls input2

在这里插入图片描述

MapReduce的圆周率计算方法

1.查看mapreduce目录所在位置

1	cd /usr/local/hadoop/share/hadoop/mapreduce

在这里插入图片描述
2.切换目录，通过使用hadoop-mapreduce-examples-3.2.1.jar
包计算pi的值

1 2	cd /usr/local/hadoop ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar pi 5 500 //pi + map数量 + reduce数量

在这里插入图片描述 3.查看相应的计算结果

MapReduce的Wordcount计算方法

1.查看input1目录下word.txt文件内容

1	./bin/hdfs dfs -cat input1/word.txt

在这里插入图片描述
2.通过使用hadoop-mapreduce-examples-3.2.1.jar
包统计单词个数，并保存于output1目录下

1	./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount input1 output1

在这里插入图片描述
3.查看MapReduce的Wordcount计算结果

1
2
3

./bin/hdfs dfs -ls
./bin/hdfs dfs -ls output1
./bin/hdfs dfs -cat output1/part-r-00000

在这里插入图片描述

MapReduce的正则表达式匹配计算方法

1.使用上传在input2目录中的XML文件，并使用MapReduce相应计算程序，完成正则表达式计算，统计该.xml文本中满足’dfs[a-z.]+ ’匹配规则的字符

1	./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input2 output2 'dfs[a-z.]+ '

在这里插入图片描述
2.查看output2目录是否创建成功

1	./bin/hdfs dfs -ls

在这里插入图片描述
3.查看output2目录

1	./bin/hdfs dfs -ls output2

在这里插入图片描述
4.查看MapReduce的grep正则表达式匹配计算结果

1	./bin/hdfs dfs -cat output2/part-r-00000

在这里插入图片描述
关闭hdfs

1	./sbin/stop-dfs.sh

在这里插入图片描述
本次MapReduce分布式计算实例：pi程序、wordcount程序、grep程序演示到此就结束了，各位可爱们在实验过程中一定要注意细节哦，如果博客中有问题，欢迎各位大神们指点迷津

展开全文 >>

Ubuntu下搭建HBase的单机模式以及伪分布式模式

2020-05-08

HBase环境的安装

HBase压缩文件解压

将下载文件夹中的HBase压缩文件解压(可选,Windows与ubuntu的文件共享可参考上一篇文章：Ubuntu下搭建Hadoop的单机模式以及伪分布式模式)

1	sudo tar -xzvf ~/下载/hbase-2.2.0-bin.tar.gz

在这里插入图片描述
为了方便使用将hbase解压后的文件更名。

文件授予权限

为文件授予权限，避免遇到文件无法创建等问题，注意更改为当前用户名

1	sudo chown -R hadoop ./hbase

在这里插入图片描述

HBase单机模式配置

修改hbase-env.sh配置文件

修改conf文件夹中hbase-env.sh配置文件

1	gedit hbase-env.sh

在这里插入图片描述
因为hbase是基于Zookeeper进行协调管理，则删除下图中的‘#’

删除此处‘#’，并查看java目录下的jdk版本

修改hbase-site.xml配置文件

修改conf文件夹中hbase-site.xml配置文件

1	gedit hbase-site.xml

在这里插入图片描述

验证HBase版本号

切换到bin目录下，验证hbase版本号

1	./hbase version

在这里插入图片描述

启动HBase数据库系统

bin目录下，启动HBase数据库系统

1	./start-hbase.sh

在这里插入图片描述

jps查看进程

jps查看进程，检查hbase是否启动，若包括HMaster则启动成功

jps

在这里插入图片描述

启动HBase命令行模式

启动HBase数据库命令行模式

1	./hbase shell

启动成功标志如下
在这里插入图片描述

查看HBase命令行模式下的进程

此时，打开另一个终端查看进程，main代表启动hbase终端，即可进行创建表等基本操作
在这里插入图片描述

关闭HBase命令行模式

关闭HBase数据库命令行模式

quit

在这里插入图片描述

关闭hbase数据库

1	./stop-hbase.sh

在这里插入图片描述

HBase伪分布式配置

配置hbase-env.sh文件

修改conf目录下的hbase-env.sh文件
使用gedit编辑器打开/usr/local/hbase/conf/hbase-env.sh，命令如下：

1	gedit /usr/local/hbase/conf/hbase-env.sh

在这里插入图片描述
修改配置文件如下三处后保存

配置hbase-site.xml文件

修改conf文件夹中hbase-site.xml配置文件

1	gedit /usr/local/hbase/conf/hbase-site.xml

在这里插入图片描述

<configuration>
   <property>
        <name>hbase.rootdir</name> 
        <value>hdfs://localhost:9000/hbase</value> 
   </property>
   <property>
       <name>hbase.cluster.distributed</name>
       <value>true</value> 
   </property> 
</configuration>

在这里插入图片描述

启动运行HBase

首先登陆ssh，由于搭建hadoop时已经设置了无密码登陆，因此这里不需要密码，然后切换到/usr/local/hadoop目录下，启动Hadoop，让HDFS进入运行状态，从而可以为HBase存储数据，具体命令如下：

1
2
3

ssh localhost
cd /usr/local/hadoop
./sbin/start-dfs.sh

输入命令jps，如果能看到NameNode，DataNode，SecondNode这三个进程，则表示已经成功启动Hadoop
在这里插入图片描述
然后启动HBase，命令如下

1 2	cd /usr/local/hbase/bin ./start-hbase.sh

在这里插入图片描述

启动HBase Shell模式

进入HBase Shell模式，命令如下：

1	./hbase shell

在这里插入图片描述

关闭HBase Shell模式

quit

在这里插入图片描述

关闭HBase

在/usr/local/hbase/bin目录下，可以使用如下命令停止HBase运行：

1	./stop-hbase.sh

在这里插入图片描述

1 2	cd /usr/local/hadoop ./sbin/stop-dfs.sh

如果在操作HBase的过程中发生错误，可以查看{HBASE_HOME}目录(即/usr/local/hbase)下的logs子目录中的日志文件，来寻找可能的错误原因。

最后需要注意的是，启动关闭Hadoop和HBase的顺序一定是：启动Hadoop->启动HBase->关闭HBase->关闭Hadoop。

Ubuntu下搭建HBase的单机模式以及伪分布式模式到此就结束了。小编经过疯狂的踩坑，熟悉了linux操作系统的部分命令。各位可爱们在搭建过程中一定要注意细节哦，如果博客中有问题，欢迎各位大神们指点迷津。

展开全文 >>

Ubuntu下搭建Hadoop的单机模式以及伪分布式模式

2020-04-24

环境准备

创建Hadoop用户(可选)

1.如果安装 Ubuntu 的时候不是用的 “hadoop” 用户，那么需要增加一个名为hadoop 的用户，首先按打开终端窗口（快捷键ctrl+alt+t），输入如下命令创建新用户 :创建hadoop用户。

1	sudo useradd –m hadoop –s /bin/bash

2.上面这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell 接着使用如下命令设置密码，可简单设置为 hadoop，按提示输入两次密码:

1	sudo passwd hadoop

3.可为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题:

1	sudo adduser hadoop sudo

SSH登录权限设置

1.SSH简介
SSH 为 Secure Shell 的缩写，是建立在应用层和传输层基础上的安全协议。 SSH 是目前较可靠、专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。SSH最初是 UNIX系统上的一个程序，后来又迅速扩展到其他操作平台。 SSH是由客户端和服务端的软件组成，服务端是一个守护进程(daemon)，它在后台运行并响应来自客户端的连接请求，客户端包含ssh程序以及像scp(远程拷贝)、slogin(远程登陆)、sftp(安全文件传输)等其他的应用程序。
2. 配置SSH的原因
Hadoop名称节点(NameNode)需要启动集群中所有机器的Hadoop守护进程，这个过程需要通过SSH登录来实现。Hadoop并没有提供SSH输入密码登录的形式，因此，为了能够顺利登录每台机器，需要将所有机器配置为名称节点可以无密码登录它们。
3. 切换登录用户以hadoop登录（可选）
4. 更新（可选）

1	sudo apt-get update

在这里插入图片描述

5.（1）配置SSH的无密码登录
安装openssh-server( 通常Linux系统会默认安装openssh的客户端软件openssh-client)，所以需要自己安装一下服务端。

1	sudo apt-get install openssh-server

在这里插入图片描述

（2）输入 cd .ssh目录下，如果没有.ssh文件输入 ssh localhost生成

1	cd ~/.ssh/

在这里插入图片描述

（3）生成秘钥

1	ssh-keygen -t rsa

在这里插入图片描述

（4）将Master中生成的密钥加入授权（authorized_keys）

1	cat id_rsa.pub # 查看生成的公钥

在这里插入图片描述

1 2	cat id_rsa.pub >> authorized_keys # 加入授权 chmod 600 authorized_keys # 修改文件权限，如果不修改文件权限那么其它用户就能查看该授权

（5）完成后，直接键入“ssh localhost”，能无密码登录即可
在这里插入图片描述
（6）键入“exit”退出，到此SSH无密码登录配置就成功了

安装Java环境

1.Windows与Ubuntu数据共享（可将Windows下的文件进行共享，可选）
（1）Windows系统操作
在这里插入图片描述

（2）Ubuntu系统操作（基于VirtualBox）

点击设备->安装增强功能

输入密码后直接回车

再次点击设备->共享文件夹->共享文件夹

桌面会增加两个盘，点击sf_盘输入密码，即可将改文件夹中的内容复制到ubuntu下（小编复制到了下载文件夹中）
在这里插入图片描述

移动完成后，即可删除两个盘
在这里插入图片描述

2.在Ubuntu将jdk移动到我们新建的java目录下（没建的新建一个就是），到此传输文件成功，可以开始配置Java环境了。

1	sudo mkdir java

在这里插入图片描述
注意根据自己的jdk版本号以及当前用户名执行

1	sudo mv /home/hadoop/下载/jdk-8u221-linux-x64.tar.gz usr/java

在这里插入图片描述

在java目录中，使用sudo tar命令解压jdk文件，解压成功后，java目录中会有对应的目录文件存在

1	sudo tar -zxvf jdk-8u221-linux-x64.tar.gz

在这里插入图片描述

3.配置java环境
（1）使用命令“sudo gedit ~/.bashrc”打开配置文件，在末尾添加以下几行文字，注意自己的jdk版本号。
在这里插入图片描述

 #set java env
export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_221
export JRE_HOME=${JAVA_HOME}/jre    
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib    
export PATH=${JAVA_HOME}/bin:$PATH

（2）使用命令“source ~/.bashrc”使环境变量生效（关闭配置文件并在当前目录即/usr/java目录下执行）。

1	source ~/.bashrc

（3）配置软连接，软连接相当于windows系统中的快捷键，部分软件可能会从/usr/bin目录下查找Java，因此添加该软连接防止其他软件查找不到的情况。

1	sudo update-alternatives --install /usr/bin/java java /usr/java/jdk1.8.0_221/bin/java 300

1	sudo update-alternatives --install /usr/bin/javac javac /usr/java/jdk1.8.0_221/bin/javac 300

在这里插入图片描述
（4）测试java是否安装成功

1	java -version

在这里插入图片描述

单机模式以及伪分布式模式的搭建

Hadoop单机安装配置

1.将我们下载的Hadoop解压到 /usr/local/ 中（与解压jdk类似）

1	sudo tar zxvf /home/hadoop/下载/hadoop-3.2.1.tar.gz -C /usr/local

2.利用cd /usr/local/ 命令切换操作空间，将文件夹名改为hadoop

1	sudo mv ./hadoop-3.2.1/ ./hadoop

在这里插入图片描述

3.修改文件权限

1	sudo chown -R hadoop:hadoop ./hadoop

1	sudo chown -R 当前用户名 /usr/local/hadoop

4.修改配置文件
Hadoop 解压后，在hadoop目录下的etc/hadoop/hadoop-env.sh文件中添加如下的 Java环境信息（可加到文本末尾，注意jdk版本号）

1	export JAVA_HOME=/usr/java/jdk1.8.0_221

在这里插入图片描述

5.然后，保存hadoop-env.sh文件，即完成单机模式的Hadoop基本安装。测试Hadoop是否安装成功，如出现如下图所示的版本信息，即可。

1	./bin/hadoop/ version

在这里插入图片描述

6.默认情况下，单机模式的Hadoop以Java进程的方式运行，可依次运行如下命令进行进一步测试。

1 2	sudo mkdir input sudo cp etc/hadoop/*.xml input

7.执行下列命令，运行MapReduce程序，完成测试计算。

1	bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output 'dfs[a-z.]+'

在这里插入图片描述
8. 执行下列命令，查看计算结果。

1	cat output/*

在这里插入图片描述
hadoop目录下，会有input和output两个新建的文件，output中有上述程序的运算结果，到此hadoop单机安装配置成功。

Hadoop伪分布式安装配置

1.Hadoop伪分布式安装配置
（1）Hadoop可以在单节点上以伪分布式的方式运行，Hadoop进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件
（2）Hadoop的配置文件位于/usr/local/hadoop/etc/hadoop/中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml
（3）Hadoop的配置文件是xml格式，每个配置以声明property的name 和 value 的方式来实现
hadoop目录认识
2.hadoop下的目录
（1）修改配置文件之前，先看一下hadoop下的目录：
bin：hadoop最基本的管理脚本和使用脚本所在目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用hadoop
（2）etc：配置文件存放的目录，包括core-site.xml,hdfs-site.xml,mapred-site.xml等从hadoop1.x继承而来的配置文件和yarn-site.xml等hadoop2.x新增的配置文件
（3）include：对外提供的编程库头文件（具体动态库和静态库在lib目录中，这些头文件军事用c++定义的，通常用于c++程序访问hdfs或者编写mapreduce程序）
（4）Lib：该目录包含了hadoop对外提供的才变成动态库和静态库，与include目录中的头文件结合使用
（5）libexec：各个服务对应的shell配置文件所在目录，可用于配置日志输出目录、启动参数等信息
（6）sbin：hadoop管理脚本所在目录，主要包含hdfs和yarn中各类服务的启动、关闭脚本
（7）share：hadoop各个模块编译后的jar包所在目录。
3. 修改配置文件 core-site.xml

 <configuration> 
   <property>
        <name>hadoop.tmp.dir</name> 
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property> 
   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://localhost:9000</value> 
    </property>
</configuration>

在这里插入图片描述

（1）hadoop.tmp.dir表示存放临时数据的目录，即包括NameNode的数据，也包括DataNode的数据。该路径任意指定，只要实际存在该文件夹即可
（2）name为fs.defaultFS的值，表示hdfs路径的逻辑名称

4.修改配置文件 hdfs-site.xml

<configuration> 
   <property>
       <name>dfs.replication</name>
       <value>1</value> 
   </property> 
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>file:/usr/local/hadoop/tmp/dfs/name</value> 
    </property>
   <property>
       <name>dfs.datanode.data.dir</name>         
       <value>file:/usr/local/hadoop/tmp/dfs/data</value>
   </property>
</configuration>

在这里插入图片描述

（1）dfs.replication表示副本的数量，伪分布式要设置为1
（2）dfs.namenode.name.dir表示本地磁盘目录，是存储fsimage文件的地方
（3）dfs.datanode.data.dir表示本地磁盘目录，HDFS数据存放block的地方

5.至此，配置完毕，但是还不能启动，要对hdfs先进行格式化。类似以前的软盘，使用前要先格式化,执行如下命令，看到日志信息，即格式化成功。

1	sudo ./bin/hdfs namenode -format

在这里插入图片描述

6.在我们name目录(这个目录是我们自己配置的时候指定的)下也会出现映像文件（fsimage），用于将数据持久化。
在这里插入图片描述
7.启动hadoop

1	sbin/start-dfs.sh

8.安装jps

1	sudo apt install openjdk-11-jdk-headless

9.安装好之后jps检查角色如果有多个角色，就启动成功。

jps

10.浏览器访问localhost:9870
在这里插入图片描述

11.关闭hadoop（使用完毕后一定要关闭，否则相当容易崩）

1	./sbin/stop-dfs.sh

Ubuntu下搭建Hadoop的单机模式以及伪分布式模式到此就结束了。小编经过疯狂的踩坑，熟悉了linux操作系统的部分命令。各位可爱们在搭建过程中一定要注意细节哦，配置文件这些可以不用自己手敲，通过复制代码，保存在文本文件中，再利用Windows和Ubuntu数据共享，很快就可以节省时间啦。最后，如果博客中有问题，希望各位大神们指点迷津。

展开全文 >>