Hi 欢迎来到易观方舟
有问题就找小舟助手
联系我们 周一至周五 10:00 - 18:00

产品咨询:4006 - 010 - 231 转 1

商务合作:4006 - 010 - 231 转 2

咨询与帮助

使用工具导入分析的方法是什么?易观方舟与你一起看

1.概述

 

批量导入工具用于将历史数据或外部数据以文件的形式导入易观方舟,以供分析使用。

 

使用批量导入工具导入的数据需符合数据格式和数据模型中的模型和数据类型的要求,否则可能会造成导入的数据部分(甚至是全部)全部丢失。

 

2.运行环境

 

机器:方舟集群的最后一台机器

 

用户:streaming

 

3.时间窗口过滤

 

流处理时间过滤说明

 

易观方舟的数据处理中默认处理数据中xwhen在时间窗口:系统时间-10T到系统时间+3H内的数据。

 

如果导入的数据在默认时间窗口外,且希望易观方舟对其进行分析的需求,请务必关闭流处理时间窗口过滤。

 

关闭和开启流处理时间窗口过滤

 

流处理时间窗口过滤由项目ArkStreaming的配置参数:FILTER控制。

 

默认FILTER=true,表示开启流处理时间窗口过滤;FILTER=false时,表示关闭流处理时间窗口过滤。

 

若修改流处理时间窗口过滤的参数,则在Ambari上修改该参数,并重启ArkStreaing服务即可。

 

4.使用方式

 

将每一行都是一个符合数据格式和数据模型的数据文件(文件名称不做要求)放置到集群最后一台机器的某个目录下,如homestreaming。

 

使用用户streaming切换到目录导入工具目录下:cdoptsoftstreamingbin。

 

导入profile数据:sh.write_demo_profile_data.sh。

 

导入event数据:sh.write_demo_event_data.sh。

 

5.注意事项

 

数据一经导入不易清除,请谨慎操作。

 

文件路径支持目录,目录下的文件会按照文件名称的字典顺序,依次被导入。

 

若event中的用户涉及到登录用户,请务必先导入涉及到的登录id的profile信息。

 

导入的profile信息,若是登录id的profile信息,请务必保证该登录id已进行过身份关联操作或在导入前先导入身份绑定操作。

 

若导入数据前,有关闭流处理时间窗口过滤的操作,请务必在导入的数据被流处理处理完成后,修改参为:FILTER=true

 

若导入数据的格式不符合方舟环境,将导致导入的用户无法在前端展示。

相关推荐:

体验文中提到的功能

立即免费体验Demo

百闻不如一见

现在来体验方舟如何帮你挖掘商机、增长业绩

体验Demo