看不到数据,argo如何查看错误队列中的数据?

高俊 11个月前
978次浏览 0人关注 复制链接 所属标签: Argo 错误队列

在日常使用中经常出现因为格式等各种原因,数据没有正常进入数据库,前端看不到数据信息。此种多数因为数据不符合规范,由程序存储到kafka错误队列中,方便错误数据的查询,创建此文档说明。

1 通过presto命令连接对应错误队列表

  例: /usr/lib/presto/bin/presto-cli --server ark2:8285 --catalog arkkafka --schema db_test201901

 说明:1 catalog中默认为 arkkafka

            2 schema中填写对应app库的错误队列,由db_ 和 appid组成

2 表结构说明:

字段  名称  说明


3 日常查询使用

1) 默认查询 select * from TABLE 会根据索引条件,从每个partition中获取最新100条的offset进行展示 。

2) 索引条件特殊使用,考虑到为kafka实时流数据,在索引条件查询中增加了最新条数使用方式

     如:select * from err_profile_test201901 where _partition_offset > -10;

     说明:上述语句查询结果是从每个partition中获取最新10条数据,如果有3个partition且库中数据大于10,则返回30条数据。

            select * from err_profile_test201901 where _partition_id = 0 and _partition_offset > -10;

     说明:上述语句结果为查询partition_id为0的最近10条数据。

3) 如果想查询错误队列中所有数据,查询语句中指定_partition_offset >= 0 即可

注:如有疑问请及时联系作者。

暂无回答