Hadoop集群搭建，hadoop集群搭建完整教程

免密登陆服务器

—— 无密码登录的先决条件是必须打开另一台虚拟机并且必须关闭防火墙。如果完成此步骤后，您无法在无密码的情况下成功登录，您可以检查是否是以下两种原因之一导致：

在/etc/hosts文件中配置IP对应的主机。

IP地址主机

IP地址节点1

生成私钥

ssh-keygen -t rsa -P \”\” //生成密钥的命令

//按回车后会看到以下内容，所以回车后不要再输入任何内容。

生成公钥/私钥RSA 密钥对。

请输入保存密钥的文件(/root/.ssh/id_rsa):

我创建了一个目录“/root/.ssh”。

您的ID 存储在/root/.ssh/id_rsa 中。

公钥存储在/root/.ssh/id_rsa.pub 中。

密钥指纹为：

SHA256:AtZHQcFd10Qth+HXMib4saDzZhtYJBkS5VEyH04RiNM root@d23abd7ce7a9

密钥的随机艺术图像是： //密钥

[RSA 2048]—-+

|oB@**+.o*+|

|.o+EX.o oo=|

|o…=* o=oo|

| + o=+ |。

|.S.o|

|。=|

|哦|

|.|

—[SHA256]—-+

//再次输入以下命令

cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

删除PermitRootLogin yes 和PubkeyAuthentication yes 的注释。即去掉前面的#。

sh-4.2# vim /etc/ssh/sshd_config

sh-4.2# systemctl 启用sshd.service

sh-4.2# systemctl 启动sshd.service

然后输入以下命令就完成了

cd$HOME/.ssh/

chmod 600 身份验证密钥

SSH 本地主机

scp -r ~/.ssh root@node1:~///这里的node1是克隆虚拟机的主机名。替换您自己的主机名。

无需密码登录认证

ssh节点1

成功！

配置Hadoop

—— 此代码可能在我的机器上运行，但您可能无法在其他机器上遵循此代码。如果失败，可以找到其他代码并尝试设置。

将Hadoop安装包上传到服务器

解压安装包

[root@master tools]# tar -xvf hadoop-3.2.3.tar.gz //你自己的Hadoop文件名

[root@master tools]# mv hadoop-3.2.3 /usr/local/hadoop3 //将解压后的Hadoop文件移动到/usr/local/hadoop3目录

修改master节点上的Hadoop配置文件，修改配置文件/etc/profile，在文章最后添加如下配置。

import HADOOP_HOME=/usr/local/hadoop3 //path是你上一步传入的目录

导出路径=

磷

时间

路径：

PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin

导出HADOOP_COMMON_HOME=$HADOOP_HOME

导出HADOOP_PREFIX=$HADOOP_HOME

导出HADOOP_HDFS_HOME=$HADOOP_HOME

导出HADOOP_MAPRED_HOME=$HADOOP_HOME

导出HADOOP_YARN_HOME=$HADOOP_HOME

导出HADOOP_INSTALL=$HADOOP_HOME

导出HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

导出HADOOP_CONF_DIR=$HADOOP_HOME

导出HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec

导出JAV_LIBRARY_PATH=

磷

中号

乙

我

乙

是

我

HADOOP\\_HOME/lib/native:

HADOOP_HOME/lib/native:JAVA_LIBRARY_PATH

导出HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop

导出HDFS_DATANODE_USER=root

导出HDFS_DATANODE_SECURE_USER=root

导出HDFS_SECONDARYNAMENODE_USER=root

导出HDFS_NAMENODE_USER=root

导出YARN_RESOURCEMANAGER_USER=root

导出YARN_NODEMANAGER_USER=root

使用source 命令启用设置。

源/etc/profile

检查环境变量是否设置

回显$HADOOP_HOME

显示为/etc/profile 文件中HADOOP_HOME 的位置。

修改hadoop-env.sh等文件

[root@d422409c8ce5 hadoop]# vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

[root@d422409c8ce5 hadoop]# vim $HADOOP_HOME/etc/hadoop/yarn-env.sh

[root@d422409c8ce5 hadoop]# vim $HADOOP_HOME/etc/hadoop/mapred-env.sh

在文末添加jdk安装路径。

添加node1信息（您克隆的虚拟机的名称）。

vi $HADOOP_HOME/etc/hadoop/workers

添加内容：节点1

将以下文件的配置更改为以下内容：

vim $HADOOP_HOME/etc/hadoop/core-site.xml

fs.defaultFS

hdfs://master:9000

hadoop.tmp.dir

/home/hadoop/tmp

io.file.buffer.size

131702

hadoop.http.staticuser.user

根

vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml

dfs.namenode.name.dir

file:/home/hadoop/tmp/dfs/名称

dfs.datanode.data.dir

文件：/home/hadoop/tmp/dfs/data

dfs.复制

dfs.namenode.http-地址

师傅：50070

NameNode地址和端口

dfs.namenode.secondary.http-地址

师傅：50090

辅助名称节点地址和端口

dfs.webhdfs.启用

真相

dfs.流缓冲区大小

131072

dfs.namenode.checkpoint.dir

file:/home/hadoop/tmp/dfs/namesecondary

vim $HADOOP_HOME/etc/hadoop/mapred-site.xml

mapreduce.framework.name

线

MapReduce.作业历史记录.地址

师傅：10020

mapreduce.jobtracker.地址

师傅：9001

MapReduce.作业历史记录.Web 应用程序.地址

师傅：19888

mapreduce.application.classpath

/usr/local/hadoop3/etc/hadoop,

/usr/local/hadoop3/share/hadoop/common/*,

/usr/local/hadoop3/share/hadoop/common/lib/*,

/usr/local/hadoop3/share/hadoop/hdfs/*,

/usr/local/hadoop3/share/hadoop/hdfs/lib/*,

/usr/local/hadoop3/share/hadoop/mapreduce/*,

/usr/local/hadoop3/share/hadoop/mapreduce/lib/*,

/usr/local/hadoop3/share/hadoop/yarn/*,

/usr/local/hadoop3/share/hadoop/yarn/lib/*

vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

纱线.资源管理器.主机名

掌握

thread.nodemanager.aux-services

映射Reduce_Shuffle

thread.nodemanager.auxservices.mapreduce.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

线程.资源管理器.地址

师傅：8032

thread.resourcemanager.scheduler.address

师傅：8030

thread.resourcemanager.resource-tracker.address

师傅：8031

线程.resourcemanager.admin.地址

${yarn.resourcemanager.主机名}:8033

thread.resourcemanager.webapp.address

师傅：8088

我们专门整理了上百道【运维技术栈面试题】，成为您运维面试路上的好助手。这样，你就可以毫无惊慌地参加面试并获得高薪offer。

这些面试题涵盖了从Shell、MySQL到K8s等云原生技术栈，适合运维行业新人以及运维行业新人的面试需求。升职或换工作以增加薪水。

本次访谈集内容为

174 运维工程师面试题128 k8s 面试题108 shell 脚本面试题200 Linux 面试题51 Docker 面试题35 Jenkis 面试题78 MongoDB 面试题17 ansible 面试题60 dubbo 面试题53 Kafka 面试题18 mysql 面试题40 nginx面试题题77 redis面试题Zookeeper题28

总共1000多道面试题，内容全面且有价值。

174道运维工程师面试题

1.什么是运维？

2、运维人员在工作场所经常需要与操作人员进行交互。运营人员做什么工作？

3. 您目前有300台服务器，您如何管理它们？

4. 简要说明RAID0和Raid1raid5这两种工作模式的工作原理和特点。

5、LVS、Nginx、HAproxy有什么区别？

6. Squid、Varinsh、Nginx 有什么区别，你在工作中如何选择？

7.Tomcat和Resin有什么区别？

8.什么是中间件？

9、Tomcat中的8005、8009、8080这三个端口是什么意思？

10.什么是CDN？

11.什么是网站灰度发布？

12、请简单说明一下DNS域名解析的过程。

13.什么是RabbitMQ？

14.Keepalived如何工作？

15.描述LVS工作流程的三种模式。

16、mysql的innodb如何识别锁定问题以及mysql如何减少主从复制延迟？

问题**

Jenkis面试题35道，MongoDB面试题78道，ansible面试题17道，dubbo面试题60道，kafka面试题53道，mysql面试题18道，nginx面试题40道，redis面试题77道，Zookeeper面试题28道。