数据一致性

两个名词

  • LEO(Log End Offset) 每个副本的最大offset
  • HW(High Watermark) 消费者能看到的最大offset,ISR队列中最小的LEO

保持一致性得两个场景

  • follower故障:
    会被临时踢出ISR,等该follower恢复后,follower会读取本地磁盘上次记录的HW,并将log文件高于HW的地方截取掉,从HW开始向leader进行同步,等follower的LEO大于等于该Partition的HW,追上leader以后,就可以重新加入ISR。
  • leader故障:
    leader发生故障以后会从follower重新选举一个leader,为了保持数据一致性,从剩下follower的log中截取高于HW的消息,然后从新leader同步数据

只能保证数据一致性问题,并不能保证数据不丢失或者不重复

Last modification:July 11th, 2020 at 09:51 am
如果觉得我的文章对你有用,请随意赞赏