使用ambari2.7.0搭建hdp3.0集群

base

本文参考自:https://docs.hortonworks.com/HDPDocuments/Ambari-2.7.0.0/bk_ambari-installation/content/ch_Getting_Ready.html
文中所有安装配置,基于centos7。

ambari安装步骤

  1. 配置服务器

操作系统版本 centos7.4,我的配置是:

hostname ip 内存
server1 192.168.50.60 4G
server2 192.168.50.61 4G
server3 192.168.50.62 4G
server2 192.168.50.63 4G
server3 192.168.50.64 4G

虚拟机请配置成桥接模式,保存每台设备,都有独立的局域网IP,便于局域网访问

1.内存
如果您计划将Ambari度量服务(AMS)安装到群集中,则应查看在Hortonworks数据平台Apache Ambari操作中使用Ambari度量标准,以获取有关资源要求的指南。通常,您计划运行Ambari Metrics Collector主机的主机应根据群集大小提供以下内存和磁盘空间:

主机数量 可用内存 磁盘空间
1 1G 10G
10 1G 20G
50 2G 50G
100 4G 100G
300 4G 100G

2.修改最大最大打开文件描述符数为10000或更多
查看:ulimit -Sn
修改:ulimit -n 10000

3.FQDN配置
系统中每个主机的完全限定域名(FQDN)。Ambari Cluster Install向导支持使用IP地址。您可以使用:
hostname -f
检查或验证主机的FQDN
vim /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.50.60 server1.xxx.cn server1
192.168.50.61 server2.xxx.cn server2
192.168.50.62 server3.xxx.cn server3
192.168.50.63 server4.xxx.cn server4
192.168.50.64 server5.xxx.cn server5

进行修改配置

  1. 环境配置
    1.设置无密码访问
    a.调用ssh-keygen命令生成 id_rsa id_rsa.pub

b.添加公钥到authorized_keys文件
cat id_rsa.pub >> authorized_keys

c.配置目录权限

chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

d.添加公钥到其他服务器

ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.50.61
ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.50.62
  1. 启动ntp时间服务
    群集中所有节点的时钟以及运行访问Ambari Web界面的浏览器的计算机必须能够彼此同步。
    要安装NTP服务并确保它确保在启动时启动,请在每台主机上运行以下命令:
yum install -y ntp
systemctl enable ntpd
  1. 配置/etc/ifconfig/network
NETWORKING="yes"
HOSTNAME = "serverX.xxx.cn"
  1. 防火墙配置
    为使Ambari在设置期间与其部署和管理的主机进行通信,某些端口必须是开放且可用的。最简单的方法是暂时禁用iptables
systemctl disable firewalld
service firewalld stop
  1. 安装数据库
    目前支持数据库有mysql,postgres,oracle,这里使用postgres安装,其他数据库参见官方文档
    a.根据操作系统的要求安装Red Hat Package Manager(RPM):
    yum install https://yum.postgresql.org/9.6/redhat/rhel-7-x86_64/pgdg-redhat96-9.6-3.noarch.rpm
    b.安装Postgres 9.5或更高版本:
    yum install postgresql96-server postgresql96-contrib postgresql96
    c.初始化数据库:
    对于CentOS 7,请使用以下语法:
    /usr/pgsql-9.6/bin/postgresql96-setup initdb
    d.启动数据库
systemctl enable postgresql-9.6.service
systemctl start postgresql-9.6.service 

e.配置远程访问
1.修改/var/lib/pgsql/9.6/data/pg_hba.conf

# "local" is for Unix domain socket connections only
local   all             all                                     trust
# IPv4 local connections:
host    all             all             127.0.0.1/32            trust
# IPv6 local connections:
host    all             all             ::1/128                 trust

2.修改/var/lib//pgsql/9.6/data/postgresql.conf

listen_addresses = '*'

3.重启postgres

systemctl stop postgresql-9.6.service
systemctl start postgresql-9.6.service
  1. 配置ambari
    1.安装
wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.0.0/ambari.repo -O /etc/yum.repos.d/ambari.repo
yum install ambari-server

2.初始化数据库
Before starting Ambari Server, you must run the following DDL against the database to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-Postgres-CREATE.sql
新建ambari数据库,导入/var/lib/ambari-server/resources/Ambari-DDL-Postgres-CREATE.sql脚本

3.配置
执行ambari-server setup进行配置

4.启动
ambari-server start 默认端口:8080

5.子节点安装ambari-agent

yum install ambari-agent -y 
systemctl enable ambari-agent 
systemctl restart ambari-agent && systemctl status ambari-agent

6.编辑ambari-agent配置
vim /etc/ambari-agent/conf/ambari.ini

...
[server]
hostname=server1.xxx.xx
...
  1. web 页面设置
    1.登录
    浏览器登录: http://xxx.xxx.xxx.xxx:8080进入web管理页面
    user:admin ,password:admin
    2.Launch Install Wizard

    3.naming your new cluster

    4.Select Version
    centos7 os 为redhat7,移除其他Repositories。(可以忽略)

    5.install options
    FQDN 即每台机子的hostname -f
    SSH Private Key在~/.ssh/id_rsa文件中

    6.Confirm Hosts

    7.下一步下一步

发表评论

电子邮件地址不会被公开。 必填项已用*标注