由于工作學(xué)習(xí)需要很多用戶需要在Win10系統(tǒng)下安裝Hadoop，今天小編就詳細分享下Win10中安裝Hadoop的教程圖文詳細資料。


安裝環(huán)境：

JDK 1.8
Windows10
Hadoop3.1.2

需要注意的是jdk版本不要過高，否則可能會帶來問題

一、安裝Hadoop步驟

1. 官網(wǎng)下載Hadoop3.1.2 ：下載地址
2. 解壓到自定義的文件夾，我這里選擇我的路徑

F:\Environment\hadoop-3.1.2\hadoop

 

1. 配置環(huán)境變量

JAVA_HOME : F:\Environment\java\jdk1.8.0_181
HADOOP_HOME ： F:\Environment\hadoop-3.1.2\hadoop

path添加 ：
    %JAVA_HOME%\bin
    %JAVA_HOME%\jre\bin
    %HADOOP_HOME%\bin

1. 檢測是否安裝成功

java -version
hadoop - version

出現(xiàn)以上信息說明安裝成功 ！

二、修改配置文件

1、需要修改的文件在解壓后的目錄下，F(xiàn):\Environment\hadoop-3.1.2\hadoop\etc\hadoop

hadoop-env.cmd

用Notepad++ 打開hadoop-env.cmd文件
找到**set JAVA_HOME=%JAVA_HOME%**一行，將其值修改為jdk所在目錄
如果目錄帶有空格，可以通過下面兩種方式處理：
這里以安裝目錄為C:\Program Files\Java\jdk1.8.0_181為例
因為Program Files中存在空格，若是直接使用會出現(xiàn)錯誤，可以下面兩種方式之一進行處理：
只需要用PROGRA~1 代替Program Files，即改為C:\PROGRA~1\Java\jdk1.8.0_18
或是使用雙引號改為 “C:\Program Files”\Java\jdk1.8.0_181

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
     <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
    </property>
 </configuration>

yarn-site.xml

<configuration>
         <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        
        <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hahoop.mapred.ShuffleHandler</value>
        </property>
 </configuration>

hdfs-site.xml

需要再hadoop解壓的根目錄下創(chuàng)建一個data文件夾，并在data下創(chuàng)建namenode和datanode兩個子文件夾；

然后添加配置文件 ：

<configuration>
    <!-- 這個參數(shù)設(shè)置為1，因為是單機版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property> 
     <name>dfs.permissions</name> 
     <value>false</value> 
  </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/F:/Environment/hadoop-3.1.2/hadoop/data/namenode</value>
   </property>
   <property>
        <name>fs.checkpoint.dir</name>
        <value>/F:/Environment/hadoop-3.1.2/hadoop/data/snn</value>
    </property>
    <property>
        <name>fs.checkpoint.edits.dir</name>
        <value>/F:/Environment/hadoop-3.1.2/hadoop/data/snn</value>
    </property>
       <property>
       <name>dfs.datanode.data.dir</name>
       <value>/F:/Environment/hadoop-3.1.2/hadoop/data/datanode</value>
   </property>
</configuration>

配置文件修改完畢 ！

三、替換bin文件

下載的Hadoop不支持Windows系統(tǒng)，需要替換bin目錄下的文件方便在Windows上運行。這也是掉坑來的地方了?。。?！
在網(wǎng)上下載到的hadooponwindows-master.zip 以及winutils中應(yīng)該是只適合hadoop 3.0.0及其以下，嘗試過hadooponwindows-master.zip以及winutils中最高的版本3.0.0，啟動hadoop都會出現(xiàn)下面的錯誤：Error starting NodeManager、UnsatisfiedError

折騰了好久（低版本的hadoop還沒下載完畢），終于找到3.1.0版本winutils,下載后直接替換掉hadoop目錄下bin文件即可：

復(fù)制yarn的jar包

可以看到resourcemanager.ResourceManager: Error starting ResourceManager啟動失敗的日志
報了類TimelineCollectorManager找不到的錯誤。

解決方法:
F:\Environment\hadoop-3.1.2\hadoop\share\hadoop\yarn\timelineservice
將這個文件夾下的hadoop-yarn-server-timelineservice-3.1.2.jar 包
復(fù)制到這個路徑下 F:\Environment\hadoop-3.1.2\hadoop\share\hadoop\yarn 即可解決。
 

四、格式化HDFS文件系統(tǒng)

hdfs namenode -format

如果這一步?jīng)]有什么異?；緵]有問題了。

啟動

進入hadoop的sbin目錄
我這里在 ： F:\Environment\hadoop-3.1.2\hadoop\sbin

# 啟動
# 會自動開啟四個新的命令行窗口，窗口沒打印異常即啟動成功
start-all

# 停止
stop-all

# 查看正在運行的實例進程及端口
jps 

這四個窗口不能關(guān)閉 ， 否則進程會結(jié)束

五、訪問管理GUI

啟動成功后，可以訪問GUI頁面

http://localhost:8088

http://localhost:9870

 

最后我們停止一下所有進程

寫在最后：

運行結(jié)束后你會發(fā)現(xiàn)hadoop安裝的磁盤根目錄下多了一個tmp臨時文件目錄

里面有一些 Hadoop的緩存文件 ，不需要的話可以清理一下的。

以上就是這次Winwin7小編關(guān)于在Win10系統(tǒng)下安裝Hadoop詳細部分分享了，希望大家能喜歡哦。