Hadoop在win11安装
Hadoop在win11安装
1 安装并配置jdk-1.8（jdk-8u391）
Java Archive Downloads - Java SE 8u211 and later (oracle.com)
注意：更改jre和jdk路径，不要包含空格和中文
配置java环境变量
检查是否安装完成
win+r+cmd
2 下载并配置Hadoop
Apache Hadoop-3.3.5
由于Hadoop大部分在linux上使用，所以在win系统上使用还需要下载winutils这个第三方包
GitHub - cdarlint/winutils: winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windows
下载对应版本的包含winutiles.exe文件的压缩包，将压缩包里bin里的所有文件替换掉Hadoop的解压缩文件夹里的bin文件夹里文件
配置Hadoop环境变量
检查是否安装完成
修改Hadoop配置文件
core-site.xml
fs.defaultFS
hdfs://localhost:9000
hadoop.tmp.dir
file:///E:/hadoop-3.3.5/tmp
hdfs-site.xml
dfs.replication
1
dfs.namenode.name.dir
file:///E:/hadoop-3.3.5/data/dfs/namenode
dfs.datanode.data.dir
file:///E:/hadoop-3.3.5/data/dfs/datanode
注意：file所指文件保存路径替换成自己设置的namenode和datanode的地址，没有的文件夹要自己去新建，建好文件夹再填这些地址进入配置
mapred-site.xml
mapreduce.framework.name
yarn
yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.auxservices.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
格式化namenode
在hadoop安装目录的bin目录下
hadoop namenode -format
成功格式化后进入hadoop的sbin文件夹内打开各节点
.\start-all.cmd
检查是否成功运行4个进程
3 下载并配置Spark
Downloads | Apache Spark
配置Spark环境变量
检查是否安装完成
运行pyspark
在spark根目录python文件夹下运行pyspark
报错解决
Cannot create symbolic link : 客户端没有所需的特权。 : E:\hadoop-3.3.5\lib\native\libhdfspp.so
我使用7-zip解压Hadoop文件夹，但是报错
解决办法：已管理员身份运行7-zip对Hadoop文件夹解压缩，即可正常全部解压
java.io.IOException: NameNode is not formatted.
出现这个报错是指namenode没有初始化
解决办法，杀死所有进程后进行初始化，然后再start-all.cmd
NodeManager没有启动
解决办法：添加yarn-site.xml文件配置,变成如下配置
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.auxservices.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
yarn.nodemanager.resource.memory-mb
1024
yarn.nodemanager.resource.cpu-vcores
1
补充的两条配置第一个是nodemanager运行时的最低内存，第二个是nodemanager运行时的cpu数量
修改后再次运行，发现还是报错
查找错误日志
解决办法：运行start-all.cmd时需要以管理员身份运行cmd，即可正常运行
