易观方舟离线版本部署安装文档--实践版本

797次浏览 0人关注 复制链接 所属标签: Argo 部署 离线

易观argo方舟单节点离线安装文档—实践版本


服务器配置

当前安装配置:4core,16GB内存,100G硬盘.

官网推荐配置:

  • 测试环境:
    • 8core 32G内存
    • 系统盘: 50G
    • 数据盘: 250G
  • 正式环境:
    • 16core 64G内存
    • 系统盘: 300G
    • 数据盘: >500G,RAID1或者更高级别配置

说明:本文档基于单节点进行安装部署操作,当前阶段只支持单节点安装,集群安装需要易观支持并属于有偿服务,易观集群版现在是属于商业版范畴

准备工作

  1. 安装doc2unix工具,为了解决win下面和unix的文件格式问题

    yum install doc2unix -y

  2. 下载离线argo的安装文件,地址为: http://ark_install.analysys.cn/,下载内容如下:

    • analysys_installer_base_centos7.tar.gz
    • analysys_installer_base_centos7.tar.gz.md5
    • ark_centos7_4.1.12.tar.gz
    • ark_centos7_4.1.12.tar.gz.md5
    • standalone_offline_installer.sh
  3. 移动文件到/opt/soft目录下,讲环境检查脚本同样放到/opt/soft目录下,设置权限为777

      chmod -R 777 /opt/soft
      mv init_ext4.sh /opt/soft
      sh init_ext4.sh
    
  4. 创建数据目录

    mkdir data1
    数据盘做raid10,挂载目录/data1下

配置 /etc/hosts

  1. 登录服务器,执行: hostname -f 命令,查看服务器主机名设置
  2. 以root用户或sudo执行

     hostnamectl set-hostname ark1
    
  3. 检查主机名是否设置成功

     hostname -f 
    

    如果查看到的主机是我们设置的主机名,则设置hosts成功

  4. 配置/etc/hosts文件,在hosts文件中加入:

     ${该服务器的内网ip} ark1.analysys.xyz ark1 
    

    注意,目前只支持 ark1.analysys.xyz,这个/etc/hosts文件也必须这么写

安装

以下安装步骤以argo-4.1.12版本为例

  • 离线安装

    mkdir /opt/soft
    chmod 777 /opt/soft
    sh standalone_offline_installer.sh install Grafana_123 4.1.12 centos7 root ‘HJUiju)@)$’ platformName 32

参数说明:

参数 定义
Grafana_123 mysql的登录密码
4.1.12 方舟的版本
centos7 服务器系统版本,支持:centos6/centos7
root 安装用户
HJUiju)@)$ 服务器的用户对应密码
platformName 安装的argo平台的名称,自定义
32 机器内存,支持:32/64/128

注意:该脚本不允许nohup后台执行,因为过程中会有询问您的操作的过程,所以请关注脚本的输出

Ambari安装可能存在问题

在方舟底层Ambari平台安装过程中,可能会出现部署第8步卡住,进度一直在0%的情况,需要如下来处理:
注意:不要退出安装程序

访问 http://ip:8080/api/v1/hosts, ip改为方舟所在机器的ip,查看接口返回的ambari-server的机器信息,正确如下:

{
      "href" : "http://ip:8080/api/v1/hosts",
      "items" : [
    {
          "href" : "http://ip:8080/api/v1/hosts/ark1.analysys.xyz",
          "Hosts" : {
            "cluster_name" : "mycluster",
            "host_name" : "ark1.analysys.xyz"
          }
    }
      ]
}

如果访问该接口返回的items:为空,即没有任何机器注册到ambari-server上,

tail -300f /var/log/ambari-agent/ambari-agent.log 查看ambari-agent日志,如果出现:ERROR openssl 等相关的异常,修改ambari-agent.ini文件,然后重启ambari-agent服务

vim /etc/ambari-agent/conf/ambari-agent.ini

在文件中加入如下内容:

[security]
force_https_protocol=PROTOCOL_TLSv1_2

然后重启agent服务

ambari-agent restart 

重启以后再打开 http://ip:8080/api/v1/hosts 查看机器注册信息,同时观察ambari-server的安装日志的进度条是否变化.

开启Ambari组件服务

在浏览器打开 http://${该服务器的内网ip}:8080, 默认账号/密码为: admin/admin,登录进去以后查看Ambari的各个组件运行状态和安装情况,方舟需要所有组件都为绿色可用,
组件开启步骤为:

开启hdfs正常—>依次启动其余组件知道平台组件全部为绿色可用.

问题应对

在组件开启服务的过程中,可能会出现以下问题:

  • 部分组件成红色,日志提示说hdfs或者8020端口连接拒绝.

    1.在浏览器打开 http://${该服务器的内网ip}:8080, 在Ambari中打开HDFS—>configs—>Advanced中,搜索localhost,替换: localhost —> ark1.analysys.xyz.

    2.检查HDFS—>configs—>Advanced—>customer core-site配置是否有内容,若没有添加,则加入proxy配置:

    “hadoop.proxyuser.ambari.groups”: ““,
    “hadoop.proxyuser.ambari.hosts”: ““,
    “hadoop.proxyuser.hive.groups”: ““,
    “hadoop.proxyuser.hive.hosts”:”“,
    “hadoop.proxyuser.yarn.hosts”:”“,
    “hadoop.proxyuser.yarn.groups”:”“,
    “hadoop.proxyuser.root.hosts”:”“,
    “hadoop.proxyuser.root.groups”:”“,
    “hadoop.proxyuser.hcat.hosts”:”“,
    “hadoop.proxyuser.hcat.groups”:”“,
    “hadoop.proxyuser.hdfs.hosts”:”“,
    “hadoop.proxyuser.hdfs.groups”:”“

    3.确保8020端口绑定的没有localhost项:

    netstat -anp | grep 8020

  • SDK_RECIVER组件安装失败.

登录方舟所在服务器,修改安装脚本插件:

vi /var/lib/ambari-server/resources/common-services/SDK_RECEIVER/0.2/package/scripts/receiver_service.py

将第23行由

Execute("mysql -uroot -p{0} -h{1} < /usr/opt/soft/netty/real_time.sql".format(params.mysql_password,params.mysql_host),

改为

Execute("source /etc/profile.d/analysys-mysql.sh && mysql -uroot -p{0} -h{1} < /usr/opt/soft/netty/real_time.sql".format(params.mysql_password,params.mysql_host),

保存退出,重启Ambari-server服务

ambari-server restart

登陆Ambari,重新安装并重启SDK_RECEIVER服务.

导入license

注意: 这一步骤需要在streaming用户下执行,所以先切换到streaming用户

依次执行以下命令:

    sudo su - streaming
    /opt/soft/streaming/bin/init_license_info.sh 1 495D220F07341C03B1FC7CB4F25455227B29990C9B7511C26FEE4C76D72E1D14477CC6AD54741B8414DE9BF2B787351FA2E2F4FC9DF24F19FBDD4395BB2CC0A645FC2E9749DEA34A09FB58378D758E0A9903E2642F10FC464F5AF8D7A6AC41B31065A6D0CF2EE9FD1B047C5B40B24C76848C3568C3ACE24E3C48C5796E7CC585D4587CA5D4F3FC17F6C45C71426E4867DDA80A10D26E79E95DA2437DC72A428193B728B51A9D77914C7C5437C6CFD1B3
    /opt/soft/streaming/bin/update_enterprise_code.sh wByeDrLc 1

初始化收数地址

通过数据埋点sdk上报数据到方舟,需要配置方舟的数据收集地址,默认情况下,可以使用 http://${该服务器的外网ip}:8089 来上报数据,我们将改地址导入到方舟中:

    sudo su - streaming
    /opt/soft/streaming/bin/init_data_entrance_url.sh http://${该服务器的外网ip}:8089

注:收集数据地址后续可以通过命令修改nginx的配置修改端口和其他配置

  • https配置

    如果收集数据地址使用https协议,这种情况下,需要单独部署一套nginx的服务器,并配置域名访问;https的配置设置请参考:

    前置nginx配置

管理后台使用

管理后台地址为: http://${该服务器的外网ip}:4005, 默认用户名/密码:admin/111111,登录以后,可以在方舟中,创建项目,项目成员,同时会生成数据埋点对应的appkey.

问题

  • 创建项目失败,报错说p_dim无权限

    需要切换用户,并且修改hdfs文件系统下面的ark目录所有者.

    su -hdfs
    hdfs dfs -chmod -R 777 /ark

  • 数据埋点过程打开了debug=1的标志,但是埋点上报出错,查看日志发现nginx无权限写入目录

    查看nginx进程所属用户,nginx进程的用户都应该是nobody下面的.

    ps -ef | grep nginx

    如果存在不是nobody用户下的进程,需要修改nginx数据缓存目录的所有者,再重启nginx服务.

    chown -R nobody.hadoop /var/cache/nginx/*

    FAQ

    安装或者部署中可能会碰到一些问题,易观论坛中针对常见问题进行了梳理,详细请见:

易观方舟Argo安装过程常见问题处理

4条回答
班大头 1年前

非常详细  赞一个

有用0 评论0
kekexili2046 11个月前

请问有支持 Docker 的计划吗?

有用0 评论0
zhaoy07331 11个月前

非常详细  赞一个

有用0 评论0
数据爱好者 1年前

非常详细  赞一个

有用0 评论0