原创

一步到位：Hadoop 环境搭建与 JDK 安装详细指南

温馨提示：
本文最后更新于 2025年07月20日，已超过 6 天没有更新。若文章内的图片失效（无法正常加载），请留言反馈或直接联系我。

前言

对于刚接触大数据的学生初学者来说，第一步就是在本地搭建一个可运行的 Hadoop 单机环境。本文将从零开始，带你一步步安装 JDK、配置环境变量、下载并配置 Hadoop，最终完成单机伪分布式集群的搭建。

前提准备

  • 操作系统：Ubuntu 20.04 或者 CentOS 7/8
  • 硬件配置：至少 4 GB 内存，20 GB 可用磁盘空间
  • 网络连接：可访问外网，以便下载 JDK 和 Hadoop
  • 必要软件：SSH 客户端（Linux 通常预装）

提示：

  • Hadoop 强依赖 Java 运行时环境，Java 版本可参考官方推荐清单。([hadoop.apache.org][1])
  • 若使用 CentOS，请确保关闭或配置防火墙以允许 SSH 和 Hadoop 默认端口（9870、8088 等）。

安装 JDK

  1. 下载 JDK
    前往 Oracle 官网或 OpenJDK 社区下载 JDK 8/11/17 安装包：

    https://www.oracle.com/java/technologies/javase-downloads.html

  2. 上传并解压

    # 以 JDK11 为例
wget https://download.oracle.com/otn/java/jdk/11.0.19+7/jdk-11.0.19_linux-x64_bin.tar.gz
sudo mkdir -p /opt/jdk
sudo tar -zxvf jdk-11.0.19_linux-x64_bin.tar.gz -C /opt/jdk/

  3. 查看解压结果

    ls /opt/jdk

配置环境变量

编辑系统 profile 以全局生效：

sudo tee /etc/profile.d/java.sh <<-'EOF'
export JAVA_HOME=/opt/jdk/jdk-11.0.19
export PATH=$JAVA_HOME/bin:$PATH
EOF

# 使配置生效
source /etc/profile.d/java.sh

验证 Java 安装：

java -version

下载并解压 Hadoop

  1. 下载 Hadoop
    从 Apache 官方镜像下载稳定版（以 3.4.1 为例）：

    https://downloads.apache.org/hadoop/common/hadoop-3.4.1/hadoop-3.4.1.tar.gz

  2. 解压并重命名

    sudo tar -zxvf hadoop-3.4.1.tar.gz -C /opt/
sudo mv /opt/hadoop-3.4.1 /opt/hadoop

配置 Hadoop

编辑 Hadoop 环境配置：

  1. hadoop-env.sh
    在 /opt/hadoop/etc/hadoop/hadoop-env.sh 中设置：

    export JAVA_HOME=/opt/jdk/jdk-11.0.19
export HADOOP_HOME=/opt/hadoop

  2. core-site.xml
    /opt/hadoop/etc/hadoop/core-site.xml：

    <configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

  3. hdfs-site.xml
    /opt/hadoop/etc/hadoop/hdfs-site.xml：

    <configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

  4. 设置免密 SSH（伪分布式必备）

    ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
ssh localhost  # 测试免密登录

验证安装

  1. 格式化 NameNode

    /opt/hadoop/bin/hdfs namenode -format

  2. 启动 Hadoop

    /opt/hadoop/sbin/start-dfs.sh
/opt/hadoop/sbin/start-yarn.sh

  3. 访问 Web 界面

  4. 运行示例 MapReduce

    /opt/hadoop/bin/hadoop jar \
  /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.4.1.jar \
  grep input output 'dfs[a-z.]+'
/opt/hadoop/bin/hdfs dfs -cat output/*

外部资源与延伸阅读

结语：
今天，你已经完成了从 JDK 安装到 Hadoop 单机伪分布式集群搭建的全流程。希望本文对你的大数据学习之路有所帮助，祝你早日玩转 Hadoop！

正文到此结束
所属分类：技术分享
热门推荐
相关文章
说给你听

本文目录
    标签云
    Linux Java Spring Spring Boot 其他 CDNJS cdn加速 定制 idea navicat windows win11 mysql mysql安装 mysql解压版安装 nginx gzip 优惠政策 UU远程 vue3 vike vite ssr 图书系统 远程调试 cdn ai 7z 解压缩工具 监控 npm pnpm yarn 微信小程序 省市区三级联动 k8s cicd conda Anaconda python 环境切换 docker ubuntu 免密登录 centos ffmpeg 安全 nvm Web 安全 OWASP ZAP Burp jvm mongodb 工具 SpringBoot整合Netty WebSocket实现方法 Java后端教程 mybatis useGeneratedKeys RabbitMQ部署 MySQL IN 查询 EXISTS vs IN tomcat Maven 字体 抓哇 构建工具 依赖管理 环境配置 JDK配置 Bamboo系统 Java开发环境 JDK功能管理 JAVA_HOME配置 代理管理 JDK自动检测 Java环境变量 JDK Java开发 JAVA_HOME JDK功能 JDK面试题 JDK与JRE区别 泛型 ThreadLocal Ubuntu安装JDK Ubuntu Java JDK内存分配 堆内存 非堆内存 Java内存管理 内存溢出 JRE Java虚拟机 Java培训 JDK14新特性 模式匹配 Switch表达式 记录类型 Hadoop环境搭建 安装JDK Linux配置 JDK8 Lambda表达式 Stream API Java新特性 Java SE 8 JavaFX Java JDK工具 Java开发工具 JDK 1.8 Java编程 macOS Java版本 JDK版本 命令行 系统偏好 配置环境变量 Java 9 JDK9新特性 模块化系统 HTTP客户端 JShell JDK10新特性 局部变量类型推断 不可修改集合 Optional.orElseThrow 链表 删除节点 数据结构 递归调用 递归算法 函数递归 Java递归 线性表 链式存储 顺序存储 非递归遍历二叉树 先序遍历 中序遍历 后序遍历 Java代码实现 递归查询 迭代查询 DNS解析 网络性能 抽象数据类型 堆栈 队列 列表 二叉树遍历 非递归遍历 前序遍历 递归函数 时间复杂度 算法分析 初始化 插入 删除 查找 栈 Java数据结构 后进先出 顺序栈 堆栈数据结构 Stack数据结构 链栈 数据结构算法 栈的应用 树 二叉树 遍历 存储结构 完全二叉树 二叉搜索树 查找效率 Java学习 Java自学 Java找工作 Java学习路线 Java框架 JavaSE基础 Java Dubbo框架 分布式服务 RPC远程调用 微服务架构 Zookeeper注册中心 负载均衡 服务治理 SpringBoot整合 视频教程 Navicat for MySQL 数据库管理工具 MySQL管理 数据库开发工具 SQL查询工具 数据库备份 跨平台数据库工具 图形化数据库管理 数据库连接工具 MySQL可视化管理 MySQL explain命令 查询优化 索引优化 MySQL性能调优 Java接口继承 Java集合框架 接口设计 Java教程 DQL查询语句 SQL语言 数据查询语言 MySQL教程 动力节点 MySQL表结构设计 存储引擎 字符集 数据类型 索引 外键约束 面向对象程序设计 OOP 封装 继承 多态 MySQL行锁 InnoDB锁机制 读写锁 意向锁 自增锁 Java接口 接口作用 Java多重继承 接口意义 SQL Server Oracle 数据库区别 关系型数据库 面向对象设计原则 DRY原则 开闭原则 依赖倒置 面向对象 重载 重写 IntelliJ IDEA安装 IDEA教程 Java IDE MySQL视图 MySQL创建视图 MySQL视图语法 break语句 循环控制 switch语句 编程基础 MySQL自动提交 autocommit MySQL事务管理 Spring事务控制 Struts2面试题 Java面试题 Struts2框架 数据库 SQL 主键 外键 Java变量声明 Java变量赋值 Java基础 MySQL优化 数据库性能调优 MySQL索引优化 SQL查询优化 数据库架构 EXPLAIN分析 B-Tree索引 查询执行计划 Vue.js 免费视频教程 前端框架 Mac安装JDK Mac开发工具 Java反射 获取对象 构造方法 动态创建对象 history Linux history 时间戳 选题 Kingbase license.dat 人大金仓 Kubernetes k8s,容器化部署,docker gitlab ksql springcloud
    网站信息
    • 文章总数：102 篇
    • 标签总数：298 个
    • 分类总数：8 个
    • 留言数量：1 条
    • 在线人数：1人
    • 运行天数：1天
    • 最后更新：2025年07月11日20点
    • 系统版本：v2.3.9