部署 Hadoop 的历史服务功能

# 部署 Hadoop 的历史服务功能
*平台部署知识*
通过配置文件 开启 Hadoop 平台 历史服务（jobHistory） 日志记录

## 目录

[TOC]

## 介绍

hadoop支持历史服务器功能，默认关闭，开启后，通过web可查看完成运行的MapReduce做的的信息记录，如Map和Reduce使用情况，任务的提交时间、运行开始时间、完成时间等信息，接下来我们将演示如何开启历史服务器功能

## 开启 jobHistory

首先我们需要先进行一个声明，本次配置文件是基于[《大数据平台中Hadoop的部署》](https://www.lingyuzhao.top/?/linkController=/articleController&link=-12548773 "《大数据平台中Hadoop的部署》") 文章中的配置文件进行继续修改的，这是为了减少文章的篇幅。
另外，请确保您的 Hadoop 的 HDFS 和 Yarn 已配置完毕！

### 配置 mapred-site.xml
在 mapred-site.xml 文件中配置 `mapreduce.jobhistory.address` 以及 `mapreduce.jobhistory.webapp.address` 就可以直接启用历史服务器功能，下面是配置文件的详细信息。
这里的配置是假设主机名为 liming141，主机IP为 192.168.0.141 进行配置的。
```xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!-- 在这里就是新增的配置，启用历史服务  -->
    <!--历史服务器地址 内部通信端口 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>liming141:10020</value>
    </property>
    <!-- 历史服务器web端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>liming141:19888</value>
    </property>
</configuration>
```
> 请注意，配置操作完毕之后，如果您是分布式，则需要将配置文件同步给每一个主机！

### 启动 Hadoop 进行测试
您只需要进入到 Hadoop 的目录中 并执行下面的命令
```
./sbin/stop-all.sh # 关闭 HDFS 和 Yarn
./sbin/start-all.sh # 启动 HDFS 和 Yarn
./bin/mapred --daemon start historyserver # 启动历史服务器
```
下面就是我们启动之后的结果，以及访问到 JobHistory 的Web界面。
![Article/Image/1709357756897.jpg](https://diskmirror.lingyuzhao.top//1/Binary/Article/Image/1709357756897.jpg)
到这里，我们的 JobHistory 配置就算是成功啦！

------
***操作记录***
作者：[root](https://www.lingyuzhao.top//index.html?search=1 "root")
操作时间：2024-03-02 09:12:17 星期六
事件描述备注：保存/发布
 中国 天津 
[](如果不需要此记录可以手动删除，每次保存都会自动的追加记录)