高级会员
- 威望
- 371
- 贡献
- 478
- 热心值
- 0
- 金币
- 19
- 注册时间
- 2020-3-29
|
16. Redis有哪些集群模式，各自的区别？
• 主从模式：
○ 原理：
§ 从服务器连接主服务器，发送SYNC命令；
§ 主服务器接收到SYNC命名后，开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的所有写命令；
§ 主服务器BGSAVE执行完后，向所有从服务器发送快照文件，并在发送期间继续记录被执行的写命令；
§ 从服务器收到快照文件后丢弃所有旧数据，载入收到的快照；
§ 主服务器快照发送完毕后开始向从服务器发送缓冲区中的写命令；
§ 从服务器完成对快照的载入，开始接收命令请求，并执行来自主服务器缓冲区的写命令；（从服务器初始化完成）
§ 主服务器每执行一个写命令就会向从服务器发送相同的写命令，从服务器接收并执行收到的写命令（从服务器初始化完成后的操作）
○ 优点
§ 支持主从复制，主机会自动将数据同步到从机，可以进行读写分离
§ 为了分载Master的读操作压力，Slave服务器可以为客户端提供只读操作的服务，写服务仍然必须由Master来完成
§ Slave同样可以接受其它Slaves的连接和同步请求，这样可以有效的分载Master的同步压力。
§ Master Server是以非阻塞的方式为Slaves提供服务。所以在Master-Slave同步期间，客户端仍然可以提交查询或修改请求。
§ Slave Server同样是以非阻塞的方式完成数据同步。在同步期间，如果有客户端提交查询请求，Redis则返回同步之前的数据
○ 缺点
§ Redis不具备自动容错和恢复功能，主机从机的宕机都会导致前端部分读写请求失败，需要等待机器重启或者手动切换前端的IP才能恢复。
§ 主机宕机，宕机前有部分数据未能及时同步到从机，切换IP后还会引入数据不一致的问题，降低了系统的可用性。
§ Redis较难支持在线扩容，在集群容量达到上限时在线扩容会变得很复杂。
• 哨兵模式：当主服务器中断服务后，可以将一个从服务器升级为主服务器，以便继续提供服务，哨兵的作用就是监控主服务器和从服务器是否正常运行，主服务器出现故障时自动将从服务器转换为主服务器
○ 哨兵工作流程
§ 每个Sentinel（哨兵）进程以每秒钟一次的频率向整个集群中的Master主服务器，Slave从服务器以及其他Sentinel（哨兵）进程发送一个 PING 命令。
§ 如果一个实例（instance）距离最后一次有效回复 PING 命令的时间超过 down-after-milliseconds 选项所指定的值， 则这个实例会被 Sentinel（哨兵）进程标记为主观下线（SDOWN）
§ 如果一个Master主服务器被标记为主观下线（SDOWN），则正在监视这个Master主服务器的所有 Sentinel（哨兵）进程要以每秒一次的频率确认Master主服务器的确进入了主观下线状态
§ 当有足够数量的 Sentinel（哨兵）进程（大于等于配置文件指定的值）在指定的时间范围内确认Master主服务器进入了主观下线状态（SDOWN）， 则Master主服务器会被标记为客观下线（ODOWN）
§ 在一般情况下， 每个 Sentinel（哨兵）进程会以每 10 秒一次的频率向集群中的所有Master主服务器、Slave从服务器发送 INFO 命令。
§ 当Master主服务器被 Sentinel（哨兵）进程标记为客观下线（ODOWN）时，Sentinel（哨兵）进程向下线的 Master主服务器的所有 Slave从服务器发送 INFO 命令的频率会从 10 秒一次改为每秒一次。
§ 若没有足够数量的 Sentinel（哨兵）进程同意 Master主服务器下线， Master主服务器的客观下线状态就会被移除。若 Master主服务器重新向 Sentinel（哨兵）进程发送 PING 命令返回有效回复，Master主服务器的主观下线状态就会被移除。
○ 优点
§ 哨兵模式是基于主从模式的，所有主从的优点，哨兵模式都具有。
§ 主从可以自动切换，系统更健壮，可用性更高。
○ 缺点：Redis较难支持在线扩容，在集群容量达到上限时在线扩容会变得很复杂
• Redis Cluster（分片模式）：Redis 哨兵模式实现了高可用，读写分离，但是其主节点仍然只有一个，即写入操作都是在主节点中，这也成为了性能的瓶颈。因此 Redis 在 3.0 后加入了 Cluster 模式，它采用去无心节点方式实现，集群将会通过分片方式保存数据库中的键值对
17. Redis hash算法用的是什么？
一致性hash算法，一致性Hash算法是对2^32取模
18. 如果Redis有1亿个key，使用keys命令是否会影响线上服务？
redis的单线程的。keys指令会导致线程阻塞一段时间，线上服务会停顿，直到指令执行完毕，服务才能恢复。这个时候可以使用scan指令，scan指令可以无阻塞的提取出指定模式的key列表，但是会有一定的重复概率，在客户端做一次去重就可以了，但是整体所花费的时间会比直接用keys指令长
19. 如何利用Redis处理热点数据
• 首先需要去发现热点key
○ 方法一：凭借业务经验，进行预估哪些是热key，其实这个方法还是挺有可行性的。比如某商品在做秒杀，那这个商品的key就可以判断出是热key。缺点很明显，并非所有业务都能预估出哪些key是热key。
○ 方法二:在客户端进行收集，这个方式就是在操作redis之前，加入一行代码进行数据统计。那么这个数据统计的方式有很多种，也可以是给外部的通讯系统发送一个通知信息。缺点就是对客户端代码造成入侵。
• 热点key处理
○ 利用二级缓存：比如利用ehcache，或者一个HashMap都可以。在你发现热key以后，把热key加载到系统的JVM中。针对这种热key请求，会直接从jvm中取，而不会走到redis层。
○ 备份热key：不要让key走到同一台redis上。我们把这个key，在多个redis上都存一份不就好了。接下来，有热key请求进来的时候，我们就在有备份的redis上随机选取一台，进行访问取值，返回数据
20. Redis缓存和数据库会存在一致性问题吗？怎么解决？
• 采用延时双删策略：先淘汰缓存，再写数据库，休眠1秒，再次淘汰缓存
• 异步淘汰缓存：通过读取binlog的方式，异步淘汰缓存，订阅binlog程序在mysql中有现成的中间件叫canal，可以完成订阅binlog日志的功能
21. Redis 的并发竞争问题是什么？如何解决这个问题？
• 针对客户端来，在代码里要对redis操作的时候，针对同一key的资源，就先进行加锁（java里的synchronized或lock）
• 利用redis的setnx实现内置的锁
• 采用分布式锁+数据修改的时间戳
○ 想要向缓存中写入数据时，必须要获得分布式锁，只有获得锁了才可以去进行缓存数据的写入，写入结束释放锁。就可以保证同时只有一个客户端去写缓存。
○ 可是并不能保证每个客户端获取锁的顺序。但是我们要写入缓存的数据都是从数据库查询出来的，数据库都是有这种数据的创建时间的，所以可以在更新之前，先去对比自己的这条数据的时间和缓存中数据的时间，谁更新，如果自己更新则写入覆盖，否则直接放弃本次操作。
22. Redis如何解决key冲突
• 业务隔离：不同的业务使用不同的redis集群，或者协议使用redis的不同db。
• 设计良好的Redis Key命名规范：
○ 格式：业务标识：系统名称：模块名称：关键词简写
○ 比如：保险：用户管理：用户申请：手机号
○ Redis Key：bx:um:reg:mobile
23. Redis如何实现查询的负载均衡
在redis官方给出的集群方案中，数据的分配是按照槽位来进行分配的，每一个数据的键被哈希函数映射到一个槽位，redis-3.0.0规定一共有16384个槽位，当然这个可以根据用户的喜好进行配置。当用户put或者是get一个数据的时候，首先会查找这个数据对应的槽位是多少，然后查找对应的节点，然后才把数据放入这个节点。这样就做到了把数据均匀的分配到集群中的每一个节点上，从而做到了每一个节点的负载均衡，充分发挥了集群的威力。
24. Redis缓存雪崩、击穿、穿透是什么？如何解决？
• 缓存穿透：缓存穿透是指查询一个一定不存在的数据，由于缓存是不命中时需要从数据库查询，查不到数据则不写入缓存，这将导致这个不存在的数据每次请求都要到数据库去查询，造成缓存穿透。在流量大时，可能DB就挂掉了，要是有人利用不存在的key频繁攻击我们的应用，这就是漏洞。
• 解决方案：
○ 布隆过滤器：将数据库中的数据哈希映射到bitmap（0、1表示存在、不存在），查询时先访问bitmap，查询不存在的数据就会被bitmap拦截，就不用进入数据库查询
○ 返回空值给缓存：当查询不存在数据访问数据库返回值为空，仍然将空值进行缓存（Redis中value为空值会被回收，可以设置empty字符串等），当然插入值时要替代掉空值
• 缓存击穿：redis过期后的一瞬间，有大量用户请求同一个缓存数据，导致这些请求都去请求数据库，造成数据库压力倍增的情，针对一个key而言
• 解决方案：
○ 设置热点key永不过期
○ 加互斥锁（mutex key）
• 缓存雪崩：缓存服务器宕机或者大量缓存集中某个时间段失效，导致请求全部去到数据库，造成数据库压力倍增的情况，这个是针对多个key而言
• 解决方案
○ 量设置缓存失效时间均匀分布，别在短时间内大量缓存过期
○ 可以通过缓存reload机制，预先去更新缓存，在即将发生大并发访问前手动触发加载缓存
在缓存失效后，通过加锁或者队列来控制读数据库写缓存的线程数量。比如对某个key只允许一个线程查询数据和写缓存，其他线程等待。
|
|
楼主: 热点赤道
发表于 2021-4-19 22:10
