背景

日志服务中分区（Shard）是每个日志库下基本读写单元，每个分区能承载一定量的服务能力，随着日志数据不断增加，需要通过分裂增加Shard数量，对于多个Shard如果直接通过PullLogs接口拖取数据的话，需要处理负载均衡和故障恢复等各种问题，因此强烈建议使用Consumer Library（storm和spark streaming已支持通过conusmergroup消费数据），用户只需要关心数据处理逻辑，同时在控制台也提供协同消费进度查看功能供用户进行使用。

使用方式

查看ConsumerGroup列表

选择project进入“协同消费”功能页面，选择日志库（LogStore）后即可查看目前是否启用协同消费功能。

查看消费进度

选择指定ConsumerGroup之后，点击“消费状态”链接，即可查看当前每个Shard消费数据的进度。

如上图所示，页面上展示该日志库包含5个Shard，对应5个消费者，其中每个消费者最近消费的数据时间如第二列显示。通过消费数据时间可以判断出目前数据处理是否能满足数据产生速度，如果已经落后于当前时间（即数据消费速率小于数据产生速率），可以考虑重新启动程序，增加消费者数目。

相关链接

• 如何使用Consumer Library进行协同消费
• 使用日志服务Loghub替换Kafka