`
dsxwjhf
  • 浏览: 70886 次
  • 性别: Icon_minigender_1
  • 来自: 安徽
社区版块
存档分类
最新评论

实现分布式锁的几种方式

阅读更多
1. 完全基于数据库
用乐观锁做幂等。缺点是缺少保护,大量请求直接打到数据库;好处是简单不易出错。

2. 使用队列
如果是单机环境,使用普通的先进先出队列即可;若是分布式环境,则需要依靠 Redis 有序集合等方式来实现。

3. 使用 Redis
以下内容来自: http://fableking.iteye.com/blog/2052798

Redis 有一系列的命令,特点是以 NX 结尾, NX 是 Not eXists 的缩写,如 SETNX 命令就应该理解为: SET if Not eXists 。这系列的命令非常有用,这里讲使用 SETNX 来实现分布式锁。

用 SETNX 实现分布式锁

利用 SETNX 可以非常简单地实现分布式锁。例如:某客户端要获得一个名字为 foo 的锁,客户端使用下面的命令进行获取:

SETNX lock.foo <current Unix time + lock timeout + 1>

  • 如返回1,则该客户端获得锁,把 lock.foo 的键值设置为时间值表示该键已被锁定,该客户端最后可以通过 DEL lock.foo 来释放该锁。
  • 如返回0,表明该锁已被其他客户端取得,这时我们可以先返回或进行重试等对方完成或等待锁超时。


解决死锁

上面的锁定逻辑有一个问题:如果一个持有锁的客户端失败或崩溃了不能释放锁,该怎么解决?我们可以通过锁的键对应的时间戳来判断这种情况是否发生了,如果当前的时间已经大于 lock.foo 的值,说明该锁已失效,可以被重新使用。

发生这种情况时,可不能简单的通过 DEL 来删除锁,然后再 SETNX 一次。当多个客户端检测到锁超时后都会尝试去释放它,这里就可能出现一个竞态条件,让我们模拟一下这个场景:

  • C0 操作超时了,但它还持有着锁。 C1 和 C2 读取 lock.foo 检查时间戳,先后发现超时了。
  • C1 发送 DEL lock.foo
  • C1 发送 SETNX lock.foo 并且成功了。
  • C2 发送 DEL lock.foo
  • C2 发送 SETNX lock.foo 并且成功了。


这样一来, C1 , C2 都拿到了锁!问题大了!

幸好这种问题是可以避免的,让我们来看看 C3 这个客户端是怎样做的:

C3 发送 SETNX lock.foo 想要获得锁,由于 C0 还持有锁,所以 Redis 返回给 C3 一个0。
C3 发送 GET lock.foo 以检查锁是否超时了,如果没超时,则等待或重试。
反之,如果已超时, C3 通过下面的操作来尝试获得锁: GETSET lock.foo <current Unix time + lock timeout + 1>
通过 GETSET ,C3 拿到的时间戳如果仍然是超时的,那就说明, C3 如愿以偿拿到锁了。
如果在 C3 之前,有个叫 C4 的客户端比 C3 快一步执行了上面的操作,那么 C3 拿到的时间戳是个未超时的值,这时, C3 没有如期获得锁,需要再次等待或重试。留意一下,尽管 C3 没拿到锁,但它改写了 C4 设置的锁的超时值,不过这一点非常微小的误差带来的影响可以忽略不计。

注意:为了让分布式锁的算法更稳键些,持有锁的客户端在解锁之前应该再检查一次自己的锁是否已经超时,再去做 DEL 操作,因为可能客户端因为某个耗时的操作而挂起,操作完的时候锁因为超时已经被别人获得,这时就不必解锁了。

示例伪代码

根据上面的代码,我写了一小段 Fake 代码来描述使用分布式锁的全过程:
# get lock  
lock = 0  
while lock != 1:  
    timestamp = current Unix time + lock timeout + 1  
    lock = SETNX lock.foo timestamp  
    if lock == 1 or (now() > (GET lock.foo) and now() > (GETSET lock.foo timestamp)):  
        break;  
    else:  
        sleep(10ms)  
   
# do your job  
do_job()  
   
# release  
if now() < GET lock.foo:  
    DEL lock.foo  

是的,要想这段逻辑可以重用,使用 python 的你马上就想到了 Decorator ,而用 Java 的你是不是也想到了那谁? AOP + annotation ?行,怎样舒服怎样用吧,别重复代码就行。

注:以上原文转自: http://www.jeffkit.info/2011/07/1000/

上面是一个很不错的思路,但也有所不足。
1. 释放锁的时候( release 代码块),如果线程操作超时,并正确执行完成 do_job 代码块,这期间可能已经有新的请求获得了锁权限,此时 lock.foo 的值已被新的线程请求更新,应该就是大于 now() 的,这样的话会导致锁被意外释放。所以这里的判断条件应该改一改,如 timestamp == GET lock.foo ,这样的话,每个线程都只能释放自己加的锁,如果自己超时了,那么锁被更新成别的线程后,也不会把别的线程控制的锁释放掉。

2. 以上所说的情况是在所有分布式环境均在同一个服务器上或多个服务器但时间是完全同步的情况下可用,否则的话 now() 取出的时间不同步,可能导致锁有很大的安全问题,或者直接导致锁无效。

这样的情况下,要再完善这个思路就可以考虑在 SETNX 调用成功后,为 key 添加一个expires 。
整个思路就简单很多了,以上代码简单改变下:
# get lock
timestamp = ''
while true:
    # random 防止并发值重复
    timestamp = current unix time + '#' + random
    # 当 key 被上一个锁删除或过期时,以下操作都可以这么判断
    if (SETNX lock.foo timestamp) == 1:
        EXPIRE lock.foo timeout
        break
    else:
        sleep(10ms)

# do your job
do_job()

# release
if timestamp == GET lock.foo:
    DEL lock.foo 




总结
timestamp = "";

while(true) {
    timestamp = current_unix_time;
    if (SETNX key timestamp) {
	    EXPIRE key timeout;
        break;
    } else {
        sleep(10ms);
    }
}

do your work;

if (timestamp == GET key) {
    DEL key;
}

==================================================

lock = 0;

while(lock != 1) {
    timestamp = current_unix_time + timeout + 1;
    lock = SETNX key timestamp;
    if (lock == 1 || (now > GET key && now > GETSET key timestamp)) {
        break;
    } else {
        sleep(10ms);
    }
}

do your work;

if (now < GET key) {
    DEL key;
}

分享到:
评论

相关推荐

    Redis实现分布式锁的几种方法总结

    Redis实现分布式锁的几种方法总结 分布式锁是控制分布式系统之间同步访问共享资源的一种方式。在分布式系统中,常常需要协调他们的动作。如果不同的系统或是同一个系统的不同主机之间共享了一个或一组资源,那么访问...

    浅谈分布式锁

    现在的互联网公司,基本都是基于分布式场景来实现的,因此分布式场景下的数据一致性问题就直面而来,本来以分享的pdf形式展现了几种常见的分布式解决方案。

    quartz的分布式调度大致分两种方式实现

    基于JDBC-Jobstore的方式实现集群(有数据库JobStoreTX或JobStoreCMT) 二.TerracottaJobStore的配置(无数据库的集群) 本文介绍的是JDBC-Jobstore基于数据库的集群: 1.目前,群集仅适用于JDBC-Jobstore...

    java面试最全八股文

    分布式锁的几种实现方式 1. 使用Redis实现分布式锁 * WATCH, MULTI, EXEC, DISCARD事务机制实现分布式锁 * SETNX实现分布式锁 * 锁的释放 2. 使用Memcached实现分布式锁 3. 使用ZooKeeper实现分布式锁 获取锁 释放锁...

    分布式事务实践 解决数据一致性

    介绍分布式事务的定义、原则和实现原则,介绍使用Spring框架实现分布式事务的几种方式,包括使用JTA、Spring事务同步、链式事务等,并通过实战介绍其实现。除此以外还介绍了一些分布式事务相关的技术,如幂等性、...

    redis实现加锁的几种方法示例详解

    本文主要给大家介绍了关于redis实现加锁的几种方法,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧。 1. redis加锁分类 redis能用的的加锁命令分表是INCR、SETNX、SET 2. 第一种锁命令INCR 这种...

    基于Redis的分布式锁的简单实现方法

    Redis官方给出两种思路 ...这两种方式的基本思路都是:客户端在服务器上设置一个key值,如果能够设置成功,则视为加锁成功;删除key,则表示解锁。 不同之处在于,SET方式只需判断能不能设置成功,删除

    2023年最新java面试大全

    【07期】Redis中是如何实现分布式锁的? 【08期】说说Object类下面有几种方法呢? 【09期】说说hashCode() 和 equals() 之间的关系? 【10期】Redis 面试常见问答 【11期】分布式系统接口,如何避免表单的重复...

    阿里巴巴,天猫,支付宝面试题

    14. spring的bean配置的几种方式 15. web.xml的配置 16. spring的监听器。 17. zookeeper的实现机制,有缓存,如何存储注册服务的 18. IO会阻塞吗?readLine是不是阻塞的 19. 用过spring的线程池还是java的线程池? ...

    java面试常见问题.docx

    你如何实现一个分布式锁? 你如何解决Redis集群数据同步问题? 你如何实现一个秒杀场景下的限流器? 你如何解决Spring Boot中跨域请求的问题? 你如何进行代码优化和重构? 你如何进行系统性能优化和调试?

    高并发场景防止库存数量超卖少卖

    为此,可采用以下几种策略: 悲观锁:在数据库层面,对库存记录进行锁定,确保同一时刻只有一个事务能扣减库存,但可能导致锁竞争激烈,影响性能。 乐观锁:通过在库存记录中增加版本号字段,更新时验证版本号是否...

    java面试笔试资料包括JAVA基础核心知识点深度学习Spring面试题等资料合集.zip

    深入理解多线程实现的另一种方式Callable.docx 红黑树简介.docx 线程死锁及解决办法.docx 线程锁之重入锁.docx 线程间的通信.docx 虚拟机内存结构和垃圾回收docx.docx 锁分类的了解.docx 集合的扩容机制.png ...

    Spring Cloud构建微服务架构.doc

    Spring Cloud是一个基于Spring Boot实现的云应用开发工具,它为基于JVM的云应用开发中的配置管理、服务发现、断路器、智能路由、微代理、控制总线、全局锁、决策竞选、分布式会话和集群状态管理等操作提供了一种简单...

    超级有影响力霸气的Java面试题大全文档

    assertion(断言)在软件开发中是一种常用的调试方式,很多开发语言中都支持这种机制。在实现中,assertion就是在程序中的一条语句,它对一个boolean表达式进行检查,一个正确程序必须保证这个boolean表达式的值为...

    java 面试题 总结

    assertion(断言)在软件开发中是一种常用的调试方式,很多开发语言中都支持这种机制。在实现中,assertion就是在程序中的一条语句,它对一个boolean表达式进行检查,一个正确程序必须保证这个boolean表达式的值为...

    智能电器答案(仅供参考).doc

    3断路器有哪几种操动机构?试分析各种操动机构实现智能控制的可行性。 答:有传统断路器操动机构和永磁式机构。传统的断路器操动机构都带有机械扣锁,一旦 完成合闸操作,机构即被锁定,使断路器保持在闭合位置,分段时...

    redisStudy.zip

    加分项:另外redis还对这几种数据结构做了扩展,如GEO对位置计算,hyperLogLog做统计,bitmaps:redis底层存储value值都是存储的二进制数据,redis提供bitmaps(位图)可以直接访问或修改底层存储的二进制数据 ...

    门禁管理系统设计方案(1).doc

    门 禁 管 理 系 统 设 计 方 案 1、门禁系统概述 人们采用普通门锁来保护室内财产安全并且控制 人员的这种方式,已经沿袭了几千年。门锁的技术改进从古代的挂锁发展到现代的弹子 锁,始终离不开一把金属钥匙。锁匙多...

Global site tag (gtag.js) - Google Analytics