Hadoop单机学习环境配置

详细配置戳这里hadoop学习通过虚拟机安装hadoop完全分布式集群

以下是简单命令摘要:

安装虚拟机VM ——> 安装centos ——>

1. 生成组用户

sudo groupadd hadoop
sudo useradd –s /bin/bash –d /home/ztf –m ztf –g hadoop –G admin
sudo passwd zhm
su zhm 
/etc/sudoers:
## Allow root to run any commands anywhere
root ALL=(ALL) ALL

ztf ALL=(ALL) ALL

2. 生成SSH

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

以上命令是产生公私密钥,产生目录在用户主目录下的.ssh目录中,如下:

cd .ssh/

id_dsa.pub为公钥,id_dsa为私钥,紧接着将公钥文件复制成authorized_keys文件,这个步骤是必须的,过程如下:

cat id_dsa.pub >> authorized_keys

单机回环免密码登陆测试:

ssh localhost

exit

3. ssh连接master与slave节点

scp ztf@master:~/.ssh/id_dsa.pub ./master_dsa.pub

cat master_dsa.pub >> authorized_keys

如果连接失败,则需要关闭master主机防火墙:systemctl stop firewalld.service

进入master主机.ssh目录测试连接:

ssh slave1 

exit

ssh slave1

exit

第一遍连接需要输入密码,第二次不需要输入密码。

4. 下载并解压hadoop安装包

我是下载到windows,设置了虚拟机与linux的共享文件,把安装包放在共享文件夹下,同步到三个虚拟机中。

设置方式:

前提条件:vmware workstation 软件+centos

1) 将虚拟机关机。

①将虚拟机关机。选中需要操作的虚拟机,右击鼠标,弹出对话框,选择settings。

②弹出的对话框中选择option标签页中的share folder,点add增加共享路径,别忘了勾选always enable。

2) 安装vmware-tools。
①运行虚拟机,启动后鼠标右键需要设置的虚拟机,在弹出的对话框中选择Install Vmware Tools,这时,vmware会自己去网上下载工具。(虚拟机非开机状态,安装vmware-tools选项为灰色)

 ②vmware工具下载完成后,显示提示框,告诉你怎么安装,见下图。它说vmware tools工具放在ISO镜像中,把镜像挂载上去,然后把里面的包解压,运行vmware-install.pl,就可以的。

3) 安装完成后就大功告成了,可以去cd /mnt/hgfs/,然后ls,就可以看到共享的文件夹了。

vmware下找不到hgfs

CentOS 6 安装VMWare tools,以及解决安装后/mnt中有hgfs但没共享文件的方法


----------------------------------------------------

配置过程中常用命令解析:

su - :su命令和su -命令最大的本质区别就是,前者只是切换了root身份,但Shell环境仍然是普通用户的Shell;而后者连用户和Shell环境一起切换成root身份了。只有切换了Shell环境才不会出现PATH环境变量错误。

sudo su -:通过sudo,我们能把某些超级权限有针对性的下放,并且不需要普通用户知道root密码,所以sudo 相对于权限无限制性的su来说是比较安全的。sudo 也能被称为受限制的su,或授权许可的su。sudo 执行命令的流程是当前用户切换到root(或其它指定切换到的用户),然后以root(或其它指定的切换到的用户)身份执行命令,执行完成后,直接退回到当前用户;而这些的前提是要通过sudo的配置文件/etc/sudoers来进行授权;


发布了397 篇原创文章 · 获赞 541 · 访问量 255万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 编程工作室 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览