HDFS开源分布式存储系统集群安装及配置（分布式存储 hadoop）硬核推荐，

#头条新闻音乐创作邀请赛#

以ubantu20.04 （两台伺服器192.168.1.10，192.168.1.20，192.168.1.30）实用性加装和实用性HDFS软件产业并选定统计数据储存方向，为例。

加装和实用性HDFS软件产业的详尽业务流程如下表所示：

1）具体来说，保证两台伺服器上早已加装了Ubuntu 20.04作业系统。

2）在每台伺服器上加装Java Development Kit (JDK)。

能采用下列指示加装OpenJ笔记本电脑全屏重装系统DK 8：

sudo apt updatesudo apt install openjdk-8-jdk

3）在每台伺服器上增设Teredo。

能采用下列指示来增设Teredo（以首台伺服器为例）：

sudo nano /etc/hostname

在关上的文档中，将Teredo更改成所需的中文名称（比如：hadoop1），接着留存并停用文档。

4）在每台伺服器上增设IP门牌号和Teredo的态射亲密关系。

能采用下列指示关上hosts文档（笔记本电脑全屏重装系统以首台伺服器为例）：

sudo nano /etc/hosts

在文档中加进下列行：

192.168.1.10 hadoop1 192.168.1.20 hadoop2 192.168.1.30 hadoop3

留存并停用文档。

5）在每台伺服器上加装和实用性SSH，以期伺服器之间能展开无公钥登入。能采用下列指示加装OpenSSH Server（以首台伺服器为例）：

sudo apt i笔记本电脑全屏重装系统nstall openssh-server

接下来，生成SSH密钥对并将公钥分发到其他伺服器。

能采用下列指示生成SSH密钥对：

ssh-keygen -t rsa

接着，将公钥复制到其他伺服器上：

ssh-copy-id user@hadoop2 ssh-copy-id user@hadoop3

其中，user是伺服器的用户名。

6）在每台伺服器上加装和实用性Hadoop。

能采用下列指示下载Hado笔记本电脑全屏重装系统op 3.3.0：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

接着，解压缩下载的文档：

tar -xzvf hadoop-3.3.0.tar.gz

7）实用性Hadoop环境变量。

能采用下列指示关上Hadoop实用性文档：

sudo nano hadoop-3.3.0/etc/hadoop/笔记本电脑全屏重装系统hadoop-env.sh

在文档中，找到下列行并增设JAVA_HOME变量：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

留存并停用文档。

8）实用性Hadoop软件产业。

能采用下列指示关上Hadoop主实用性文档：

sudo nano hadoop-3.3.0/etc/hadoop/core-site.xml

在文档中，加进下列实用性：

<configura笔记本电脑全屏重装系统tion> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop1:9000</value> </property> </configuration>

留存并停用文档。

9）实用性HDFS软件产业。

能采用下列指示关上Hadoop HDFS实用性文档：

sudo nano hadoop-3.3.0/etc/ha笔记本电脑全屏重装系统doop/hdfs-site.xml

在文档中，加进下列实用性：

<configuration> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration>

留存并停用文档。

10）实用性Hadoop节点管理器。

能采用下列指示关上Hadoop YARN实用性文笔记本电脑全屏重装系统件：

sudo nano hadoop-3.3.0/etc/hadoop/yarn-site.xml

在文档中，加进下列实用性：

<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <pro笔记本电脑全屏重装系统perty> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>

留存并停用文档。

11）实用性Hadoop任务调度器。

能使笔记本电脑全屏重装系统用下列指示关上Hadoop MapReduce实用性文档：

sudo nano hadoop-3.3.0/etc/hadoop/mapred-site.xml

在文档中，加进下列实用性：

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property笔记本电脑全屏重装系统> <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value> </property> <property> <name>mapreduce.map.env</name> <value>HADOOP_MAPRE笔记本电脑全屏重装系统D_HOME=$HADOOP_HOME</value> </property> <property> <name>mapreduce.reduce.env</name> <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value> </property> </configuration>

留存并停用文档。

12）实用性Had笔记本电脑全屏重装系统oop Web界面的用户名和公钥。

能采用下列指示关上Hadoop用户实用性文档：

sudo nano hadoop-3.3.0/etc/hadoop/hadoop-users.xml

在文档中，加进或修改下列实用性：

<configuration> <property> <name>hadoop.proxyuser.username.groups</name> <value>*</笔记本电脑全屏重装系统value> </property> <property> <name>hadoop.proxyuser.username.hosts</name> <value>*</value> </property> <property> <name>username</name> <value>password</value> </p笔记本电脑全屏重装系统roperty> </configuration>

将username替换为所需的用户名，将password替换为所需的公钥。留存并停用文档。

13）实用性统计数据储存方向。

能采用下列指示关上Hadoop HDFS实用性文档：

sudo nano hadoop-3.3.0/etc/hadoop/hdfs-site.xml

在文档中，加进下列实用性：

<configuration> <property笔记本电脑全屏重装系统> <name>dfs.namenode.name.dir</name> <value>/path/to/name/directory</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/path/to/data/directory</value> 笔记本电脑全屏重装系统 </property> </configuration>

替换为NameNode的统计数据储存方向，将/path/to/data/directory替换为DataNode的统计数据储存方向。留存并停用文档。

14）在每台伺服器上分别启动Hadoop软件产业的各个组件。

能采用下列指示启动NameNode和ResourceManager（以首台伺服器为例）：

hadoop-3.3.0/sbin/hadoo笔记本电脑全屏重装系统p-daemon.sh start namenode hadoop-3.3.0/sbin/yarn-daemon.sh start resourcemanager

接着，采用下列指示在其他伺服器上启动DataNode和NodeManager：

hadoop-3.3.0/sbin/hadoop-daemon.sh start datanode hadoop-3.3.0/sbin/yarn笔记本电脑全屏重装系统-daemon.sh start nodemanager

最后，在每台伺服器上启动Hadoop历史伺服器：

hadoop-3.3.0/sbin/mr-jobhistory-daemon.sh start historyserver

至此，你早已完成了HDFS软件产业的加装和实用性。请根据你的实际需求和环境展开适当的修改和调整。