-
无状态节点服务的缓存数据同步实现在目前需求背景下要设计一套底层服务系统,提供一系列基本数据请求接口,这里把该系统服务称为P,为保证高可用高可靠性,P系统最少依赖外部中间件,例如数据库消息队列等组件,服务所涉及的数据全部缓存到本地缓存中,然后由其他服务...
-
MySQL与Redis中对LRU算法的使用 LRU也称为最近最少未使用算法,作为最常用的内存淘汰算法,在主流的系统中都可以见到相应的使用场景,而在MySQL与Redis中也有使用,可以说都是用来对存储空间进行管理,及时淘汰更新数据,提高存储空间利用率...
-
mysql自动合并索引(index merge)查询导致死锁问题 虽然在生产环境上加了分布式锁,但还是会出现某一个事务未结束,而下一个事务进入来修改数据,这时就会陷入等待,最后等待超时,事务进行了回滚,在运行几个月后第一次出现这种情况,发生死锁的是两...
-
缓存数据一致性如何保证 最近在思考的一个问题,如何保证缓存和数据库数据的一致性,防止出现类似于余额这种数据,在缓存里是1,而数据库修改为0后,用户再次发起扣费操作时,由于每次先会去判断缓存内余额的数据,缓存数据不一致,导致本应失效的一次请求被判断通过...
-
MySQL查询缓存与Innodb引擎的自适应哈希索引
查询缓存执行过程MySQL与引擎之间更像是两套体系,相互之间协同提供更好的数据服务,查询缓存是MySQL在8.0版本之前提供的一个特性,当客户端与数据库连接完毕,需要执行查询语句时,查询缓存就会发...
-
Hash底层存储原理及优化Redis中big Hash的一些建议 Hash 是 Redis 中出现最为频繁的复合型数据结构,除了 dict 结构的数据会用到Hash外,整个 Redis 数据库的所有 key 和 value 也组成了一个全局Hash,...
-
Kafka涉及到的多种选举机制提起Kafka中的选举,第一印象肯定是broker节点之间的选举,它依赖于Zookeeper来进行选举,其实还有partition之间也有选举,以及其他地方都存在选举,但这些都是由Kafka内部完成,它们都需要一个lea...
-
使用CyclicBarrier控制Kafka多线程消费消息的位移提交问题Kafka中消费者是线程不安全的,一个topic只能被一个消费组中的消费者消费,想要提高数据消费能力,可以增加分区数,因为消费者数可以和分区数进行对应,当消费者数大于分区数时,多...
-
从TheadLocalMap看哈希碰撞后开放寻址法的实现过程本来想说ThreadLocal,但看到了ThreadLocalMap中对哈希碰撞是采用开放寻址法来实现的,觉得很有意思,hash使用的场景很多,散列表就是一种高效而常用的数据结构,能将查找的...
-
分布式锁实践中的一些坑及优化手段记录使用分布式锁时网上其他文章没有谈及的性能和优化问题,切勿生搬硬套网上代码。
本文仅讨论使用Redis作为分布式锁,不考虑Redis其他一些问题,如是否为单机节点,怎么做主从集群或者哨兵,与Zookeeper和其他分...