1、媒体智能数据服务平台部署运维手册XX科技股份有限公司编制目录一、文章编写目的5二、前置准备52.1 配置网络ip52.2 编写相关操作脚本91. 批量执行命令脚本92. 批量重命名脚本113. 批量拷贝脚本134. cm_migrate,sh155. format2.sh166. mountDisk.sh167. network,sh178. node,1.ist189. node,txt182.3hostname及hosts配置181.配置每台节点的hostname182.配置节点ip、hostname映射192.4 禁用SE1.inux192.5 关闭防火墙212.6 设置Swappine
2、ss212.7 关闭透明大页面222.8 配置操作系统本地yum源232.9 安装http服务252. 10集群时钟同步281.所有机器卸载ChrOny282 .所有机器安装nip283 .node1.机器配置时钟与自己同步284 .集群其它节点，配置找node1.机器去同步295 .重启所有机器的ntp服务296 .验证始终同步，在所有节点执行nipq-P命令，如下使用脚本批量执行292. 11安装NariaDB30三、C1.ouc1.eraManager安装372.1 配置本地CM源373. 2安装CIOUderaManagerServer40四、CDH安装424. 1CDH集群安装向导4
3、25. 2集群设置安装向导45五、HBASE安装465.1 准备工作：465.2 安装：461. 下载hbase1.3.2462. 解压463. 配置环境变量/.base_profi1.e464. hbase-env.sh配置javahomeWZK475. hbase-site.xm1.配置参数476 .酉已置regionserver497 .scp-rhbase到其他节点49六、F1.ume安装506. 1安装50七、Kafka安装：517. 1安装51一、文章编写目的本文档主要描述C1.oudera媒体智能数据服务系统的安装主要分为4个步骤：1 .集群服务器配置，包括安装操作系统、关闭防火
4、墙、同步服务器时钟等，又称为集群安装的前置准备，关于更多前置条件准备也可以参考之前的的文档CDH安装前置准备；2 .安装CIoUderavanager；3 .通过C1.ouderaManager的Web1.I向导式安装CD1.I集群;4 .集群完整性检查，包括HDFS文件系统、MaPRedUce、HiVe等是否可以正常运行。本文操作说明基于以下假设：1 .操作系统版本：Redhat7.42 .CDH和CM版本均为5.16.13 .采用root对集群进行部署4 .您已经下载CDH和CM的安装包二、前置准备2.1 配置网络ip开启虚拟机，修改配置文件输入如下命令NAME=eno1.6777736#
5、随机idUUID=6d21f413-619d-4283-9ba2-e1.a724c1.c593DEVICE=eno1.6777736。系统启动的时候网络接口是否有效（ycsno）ONBOOT=yesPEERDNS=yes”PEERROUTES=yes*IPV6_PEERDNS=yesIPV6一PEERRo1.TES=yesIPV6_PRIVACY=*no需要修改的地方有：BOOTPROTO=StaticWhcp改为static（修改）0NB00T=yes#开机启用本配置，一般在最后一行（修改）IPADDR=192.168.139.101#静态IP（增加）GATEWAY=I92.168.139.
6、2#默认网关，虚拟机安装的话，通常是2,也就是VMnet8的网关设置（增加）NETMSK=255.255.255.0#子网掩码（增加）DNS1=192.168.139.2ffDNS配置，虚拟机安装的话,DNS就网关就行，多个DNS网址的话再增加（增加）roothadoop1.01ftvimetcudevru1.es,d70-persistent-net.ru1.es进入如下页面，删除eth该行；将eth1.修改为eth,同时复.制物理ip地址，如图所示p,*11,*.，,71.11wMtt*M:0C：34C4：.ATTWet.MMC*f修改ip地址roo1.Qhad（K）p1.01/#Vim/
7、etc/sysconfig/neIwork-scripts/ifcfg-CthO（1）把复制的物理ip地址更新HWADDR=OO:0C：2x：6x：Ox：xx#MAC地址（2）修改成你想要的ipIPDDR=192.168.1.132#IP地址2.2 编写相关操作脚本脚本依赖expect程序，雷要在执行这些脚本的服务器上安装expect.安装方式：yumins1.a1.1expect1.批量执行命令脚本batch_c11d.sh#!/bin/sh1ist_fi1.e=$1.password=echo$1.ineawk,print$3、./expect_rename_cmd$host_ip$USe
8、rname$PaSSWOrd$host_namedonecxpectrOnamecmd#!usrbinexpectsettimeout10sethost!indexSargv0setusername!index$argv1setpassword!index$argv2sethostname!index$argv3spawnsshP22$USernameShOS1.sed-isHOST.*HOSTNAME=Shostname/etc/sysconfig/network:hostnameJhostname；hostnamect1.set-hostnameShostnameexpect,(yesno
9、)?(sendycsn*expect*assword:sendSpasswordXnassword：sendSpasswordXn,)expect100%#cxpectcofexitO3 .批量措贝脚本batch_scp.sh#!/bin/shIistfi1.e=$1.src_fi1.e=$2dest_fi1.e=$3USername=rootpassword=123456catS1.istfiIcwhiIcread1.inedohos1._ip=echo$1ineIawkprint$1,ttusernamc=echo$1incawkprint$2)Itpassword=echo$1.inea
10、wkprint$3.expect-scp$host_ipSusernaineSpassword$src_fiIe$dest_fi1.edoneexpect_scp#!usrbin/cxpcctsettimeout10sethost!indexSargv0setusername!index$argv1setpassword!index$argv2setsrc_fi1.e!index$argv3setdcstfi1.e!index$argv4spawnscp-rSsrjfi1.e$username$host：$dest_fiIeexpect(yesno)?(sendycsn*expect*assw
11、ord:nsend$passwordnassword：(send$PaSSWOrdn”expect100%expecteof4 .cB_oigrate,sh#!/bin/bashupdateCMIPif$#!=1;thenechoUSAGE：SOechoe.g.：SO192.168.1.2exit1；fiShba1.ch_cmd.shnode.1.ist,sed-isserver_host=.*/server_hoSt=S1/ctccIoudera-scm-agcnt/config.iniWUPdaIemysq1.echoupdateCMHOSTIDhost_id=mysq1.-uroot-p
12、1.23456execute=usecm；se1.ectHOSTIDfromHOSTSwhereIPADDRESS=$1;host_id2=$(echoS,host-idawk-FprintS2),)#echo$host-id)#CChO$hostid2)mysq1.uroot-p1.23456-execu1.e=usecm；updateRO1.ESsetIIOST_ID=$host_id2)whereNAME1.ikemgmt-%,；MOUNTDIR=Vdata$ii=$(i+D)echomkdir-p$MOUNTDIRmkdir-p$MoUNTDIRechoappending$UUIDSM
13、OUNTDIRxfsdefau1.ts00ntoetc/fstabecho$1.JUIDSMOUNTDIRxfsdefau1.ts00ctcfstabechonndoneAmounta1.1.partitionsmount-a加howmountedpartitionsdf-hwork,shVirShnet-destroydefau1.tvirshnct-undcfincdefau1.tsystemct1.restartIibvirtd.serviceyumremove1ibvirthostna11ect1.set-rootQ192.168.1.132spassword:spawnssh-P22
14、root1.92.168.1.133sed-isHOST.*HOSTNME=hostnamect1.set-root0192.168.1.133,spassword：2.配Jt节点ip,hostname映射在每台节点etchosts文件后追加如下内容，配置ip与hostname之间的映射192. 168.1.131nodc1.193. 168.1.132node2194. 168.1.133node3可以将node,txt文件内容追加到etchostscatnode,txtetchosts脚本执行shbatch_scp.shnode.1.istetchosts/etc/195. 禁用SE1.i
15、nuxSE1.inux就是Sccurity-Enhanccd1.inux的简称,安全加强的Iinux0传统的IinUX权限是对文件和目录的owner,group和Other的rwx进行控制，而SE1.inUX采用的是委任式访问控制，也就是控制一个进程对具体文件系统上面的文件和目录的访问，SE1.inux规定了很多的规则,来决定哪个进程可以访问哪些文件和目录。虽然SE1.inUX很好用，但4. hbase-env.sh配置java_h(e和ZKambowhadoopNode1Conf$vi$HBASEHOME/conf/hbase-env.shexportJAVAHOME=homew1.appj
16、dk1.8.0121exportHAD00P_H0ME=/home/w1./app/hadoop-2.7.3exportHBASEMANAGESZK=fa1.sc#禁用Hbasc使用内置zookeperexportHBASE_BACK1.JP_MASTERS=SHBASE-HOME)confbackup-masters#配置HA的第二个节HMaster节点新建一个$HBASE_HSIE/COnf/backup-masters文件viSHBASEJIOME/conf/backup-masters把备用的HMaStCr节点添加：hadoopNodc25. hbase-site.xm1.配置参数ho
17、meambowzkdatahdata6. 配Jtregionserver（配置每一个机器名子节点名不要配主节名）在hbaseCOnf/下新建regionserver文件，添加如入内容hadoopNodc3hadoopNode4hadoopNode57. scp-rhbase到其他节点amboWWhadOOPNode1.confSscp-rapphbase-1. 3.2ambowhadoopNode5：appambowhadoopNodc1confSscp-rapphbasc-1.3.2ambowhadoopNode4：vappambowhadoopNode1.confSscprapphbase
18、1.3.2ambowhadoopNodc3：appambHr0hadoopNode1confSscp-rapphbase-1.3.2ambowhadoopNode2：Vapp/ambowhadoopNode1.confSscp/.bashprofi1.eambow0hadoopNodc5:amboWWhadoOPNode1.confSscp/.bash_profi1.eambowhadoopNode4：ambowhadoopNodc1confSscp/,bash_profi1eambowhadoopNode3：ambowhadoopNode1confJSscp/.bashprofi1.eam
19、bowQhadoopNodc2:各节点重新加载：sourceV.bash_profiIe启动hdfsstart-dfs.sh六、F1.ume安装6.1 安装1 .解压tar-ZXVfaPaChc-fIumcT.6.O-bin.tar.gzambowhadoopNode3f1.umeT.6.0$tar-zxvfapache-fIume-1. 6.O-bin.tar.gz-C7app2 .然后进入f1.ume的目录，修改Conf下的f1.umc-cnv.sh,配置JAVAJIOMEexportJVAJIOME=homeambowappjdk1.8.O1213 .配置.bash-ProfiIe文件e
20、xportF1.UME_HOME=/home/ambowapp/fIume-1.6.OexprotPATH=$PATH:$F1.UME_HoME/bin七、Kafka安装：7.1安装I.下载Apachekafka官方：http：/kafka.apache,o1.wn1.oads.htm1.Sca1.a2.11-kafka_2.11-0.10.2.0.tgz(asc,md5)注:当SCa1.a用的是2.是那Kafka选择kafka_2.11-0.10.2.0.10.2才是Kafka的版本Kafka集群安装：1 .安装JDK&配置JAVAIOME2 .安装Zookeeper参照ZOokeCPCr官
21、网搭建一个ZK集群，并启动ZK臬群。3 .解压Kafka安装包ambowhadoopNode1ambow$tar-zxvfkafka_2.11一O.10.2.1.tgz-CVapp/4.配置环境变量exportKKAH()ME-homcambowapp/kafka2.11-0.10.2.1exportPTH=PTH:$KAFKAK)ME/bin5.修改配置文件config/server.propertiesviserver,properties#为依次增长的：0、1、2、3、4,集群中节点唯一idbroker,id-0#删除主题的配置，默认是fa1.se生产环境设为fa1.sede1.ete,
22、topic,enab1.e=true#监听的主机及端口号各节点改为本机相应的hostName1isteners=P1.AINTEXT：/hadoopNode1：9092邓afka的消息数据存储路径1.og.dirs-7homcambowkafka1.)ataIogs#创建主题的时候，默认有1个分区num.partitions=3#指定ZooKeeper集群列表，各节点以逗号分zookeeper,connect-hadoopode1.:2181,hadoopNode2:2181,hadoopNode3:2181,hadoopNode4：2181.hadoopNode5:21816 .分发至各个节
23、点ambowhadoopNode1app$scp-rkafka2.11-0.10.2.1ambowhadoopNode5：VappambowhadoopNode1app$scp-rkafka2.11-0.10.2.1ambowhadoopNode4：appambowhadoopNode1app$scp-rkafka_2.11-0.10.2.1ambowhadoopNode3：VappambowhadoopNode1app$scp-rkafka2.11-0.10.2.1ambowhadoopNode2：VappambowhadoopNode1app$scp-r7.bash_profi1.eamb
24、owMIadoOPNode5：、ambowhadoopNode1app1$scp-r、/.bashprofiIcambowhadoopNodc4:ambowhadoopNode1app：$scp-r.bash_profiIeambowWhadOOPNode3：,、ambowhadoopNode1app：$scp-r.bash_profi1.eambowhadoopNode2：source/.bash_profiIe7 .修改各个节点的配置文件：为依次增长的：0、1、2、3、4,集群中节点唯一idbroker,id-0力监听的主机及端口号各节点改为本机相应的hos1.Name1isteners-P1.AINTEXThadoopNode1：90928 .各台节点上启动Kafka服务ambowhadoopNode1app$kafka-server-start.sh$KAFK.*1.1.OME/config/server.properties&注：要先启动各节点ZOOkeePerZkServ1.et.shstartambowhadoopNodc1app$kafka-SCrVer-Stop.sh
