hadoop运行模式(完全分布式)——xsync集群分发脚本

Lark ·
更新时间:2024-11-14
· 542 次阅读

在此之前,要将映射ip与主机写入 /etc/hosts文件(根据自己需要写入)

在这里插入图片描述

xsync集群分发脚本

需求:循环复制文件到所有节点的相同目录下

需求分析:
(a)rsync命令原始拷贝:
  rsync -rvl /opt/module root@hadoop12:/opt/

(b)期望脚本:
  xsync要同步的文件名称

(c)我们将xsync脚本创建在/home/用户/bin目录下。说明:在/home/用户/bin这个目录下存放的脚本,该用户可以在系统任何地方直接执行。

脚本实现:

在/home/centos/bin目录,并在bin目录下xsync创建文件,如下: mkdir bin cd bin touch xsync vim xsync 在该文件中编写如下代码 #!/bin/bash #1.获取输入参数个数(需要同步的数据源) pcount=$# if ((pcount==0)); then echo no args; exit; fi #2.获取到数据源 p1=$1 #得到数据源的最外层目录名称 fname=`basename $p1` echo fname=$fname #3.获取到数据源的绝对路径 pdir=`cd -P $(dirname $p1); pwd` echo pdir=$pdir #得到用户 user=`whoami` #5.循环数据同步到集群种的所有机器上 for ((host=13;host<16;host++)); do echo =============hadoop$host============= rsync -av $pdir/$fname $user@hadoop$host:$pdir done 修改脚本 xsync 具有执行权限
在这里插入图片描述 调用脚本形式:xsync 文件名称
在这里插入图片描述 如果将xsync放到/home/用户/bin目录下仍然不能实现全局使用,可以将xsync移动到/usr/local/bin目录下。
在这里插入图片描述 回到家目录执行 xsync
在这里插入图片描述
即可成功。
注:当上传/etc文件时需要将xsync文件复制到/bin目录下,方可使用sudo xsync /etc 命令。
作者:Leslie_mc



分布式 分布 hadoop 脚本

需要 登录 后方可回复, 如果你还没有账号请 注册新账号