redis事务与lua脚本

这篇文章给大家聊聊关于redis事务和lua脚本区别,以及redis不建议使用事务对应的知识点,希望对各位有所帮助,不要忘了收藏本站哦。

本文目录

  1. 如何评估数据适不适合放入Redis中
  2. redis事务和lua脚本区别
  3. redis为什么不支持回滚
  4. redis怎么处理事务

如何评估数据适不适合放入Redis中

当项目中引入了Redis做分布式缓存,那么就会面临这样的问题:

哪些数据应该放到缓存中?依据是什么?缓存数据是采用主动刷新还是过期自动失效?如果采用过期自动失效,那么失效时间如何制定?

正好这两周我们项目做了相关的评估,把过程记录下来和大家分享分享;当然过程中用到了很多“笨办法”,如果你有更好的办法,也希望能分享给我。

01.项目背景

我们的项目是一个纯服务平台,也就是只提供接口服务,并没有操作页面的,项目的接口日调用量大约在200万次,高峰期也就1000万出头,因为大部分接口是面向内部系统的,所以大部分请求集中在工作日的9点到21点,高峰期的时候系统的QPS在300-400之间。

因为我们项目数据存储使用的是MongoDB,理论上支撑这个量级的QPS应该是绰绰有余,但是我有这么几点观察和考虑:

MongoDB中虽然是整合好的数据,但是很多场景也不是单条查询,夸张的时候一个接口可能会返回上百条数据,回参报文就有两万多行(不要问我能不能分页返回......明确告诉你不能);

MongoDB中虽然是整合好的数据,但是很多场景也不是单条查询,夸张的时候一个接口可能会返回上百条数据,回参报文就有两万多行(不要问我能不能分页返回......明确告诉你不能);

目前项目99.95%的接口响应时间都在几十到几百毫秒,基本可以满足业务的需要,但是还是有0.05%的请求会超过1s响应,偶尔甚至会达到5s、10s;

观察这些响应时间长的请求,大部分时间消耗在查询MongoDB上,但是当我将请求报文取出,再次手动调用接口的时候,依然是毫秒级返回;MongoDB的配置一般,时刻都有数据更新,而且我观察过,响应时间长的这些接口,那个时间点请求量特别大;

MongoDB查询偶尔会慢的原因我我还在确认,我现在能想到的原因比如:大量写操作影响读操作、锁表、内存小于索引大小等等,暂时就认为是当时那一刻MongoDB有压力;我观察过,响应时间长的这些接口,那个时间点请求量特别大,这一点就不在这里具体分析了。

虽然一万次的请求只有四五次响应时间异常,但是随着项目接入的请求越来越大,保不齐以后量变产生质变,所以还是尽量将危机扼杀在摇篮里,所以果断上了Redis做分布式缓存。

02.接口梳理

下一步就是对生产环境现有接口进行统计和梳理,确定哪些接口是可以放到缓存中的,所以首先要对每一个接口的调用量有大概的统计,因为没有接入日志平台,所以我采用了最笨的办法,一个一个接口的数嘛。

把工作日某一天全天的日志拉下来,我们四台应用服务器,每天的日志大概1个G,还好还好;

通过EditPlus这个工具的【在文件中查找】的功能,查询每个接口当天的调用量,已上线30个接口,有几分钟就统计出来了,反正是一次性的工作,索性就手动统计了;

一天也调不了几次的接口,就直接忽略掉了,我基本上只把日调用量上万的接口都留下来,进行下一步的分析。

03.字典表、配置类的数据

这一类的数据是最适合放在缓存中的,因为更新频率特别低,甚至有时候insert了之后就再也不做update,如果这类数据的调用量比较大,是一定要放到Redis中的;

至于缓存策略,可以在更新的时候双写数据库和Redis,也可以采用自动失效的方式,当然这个失效时间可以放得比较长一些;针对我们项目,我采用的是半夜12点统一失效的策略,第一因为我们系统这类数据,是夜间通过ETL抽取过来的,每天同步一次,第二就是我们不怕缓存雪崩,没有那么大的访问量,夜间更没有什么访问量了。

04.明显是热点数据的数据

有一类数据,很明显就是热点数据;

我们就有一个接口,虽然是业务数据,不过数据总量只有几千条,但是每天的调用量大约在40万,而且更新频率不是很高,这类数据放入Redis中也就再适合不过了;至于缓存策略么,因为数据也是从其他系统同步过来的,根据数据同步的时间,我们最终采用一个小时的失效时间。

05.其余数据的评估

其实前两种数据很容易就能评估出来,关键是这类数据的评估:

我们有一个接口日调用量20-30万,量不大,但是查询和处理逻辑比较复杂;

基础数据量太大,无法把所有数据都放入Redis中;

无法把基础数据直接放入Redis中,因为有多重查询维度(条件);

无法确定每条数据的调用频率是怎么样的,最悲观的结果,每条数据当天只调用一次,这样就没有缓存的必要了。

但是咱也不能一拍脑袋就说:“调用量挺大的,直接放到Redis中吧”,或者“不好评估,算了吧,别放缓存了”,做任何一个决定还是需要有依据的,于是我是这样做的:

Step1.把该接口当天的所有日志都找出来

几十个日志文件肯定不能一个一个翻,要么就自己写个程序把需要的数据扒出来,但是考虑到这个工作可能只做一次,我还是尽量节省一些时间吧。

依然使用EditPlus这个工具的【在文件中查找】的功能,在查询结果框中【复制所有内容】,花了两分钟,就把24万条日志找出来了。

Step2.把数据导入到数据库中进行下一步分析

每一条日志大概是这样的:

XXXX.log"(64190,95):2020-3-1716:44:10.092http-nio-8080-exec-5INFO包名.类名:请求参数:args1={"字段1":"XXX","字段2":"YYY"}

日志里面我只需要三个内容:请求报文中的字段1和字段2,以及调用时间;怎么摘出来?写个程序?当然没问题,但是我懒呀,几分钟能做好的事情为什么话花几十分钟呢?而且这工作是一次性的,于是:

全文替换:[2020-3-17]替换成[/t2020-3-17],也就是在时间戳前面加一个tab;

全文替换:[{"字段1":"]替换成[/t];

全文替换:[","字段2":"]替换成[/t];

全文替换:["}]替换成[],也就是替换成空;

全选复制,粘贴到excel中,excel自动按照tab换列;

删除不需要的列,只留字段1和字段2的内容,以及时间戳;

这几步操作用不了一分钟。

Step3.调用频率分析

当把数据进入到数据库中,就根据我们的需要进行分析了;我们主要想知道,相同的入参会不会重复调用?每次调用间隔的时间是多少?一个SQL搞定:

当然调用间隔时间的统计,这里统计的不精确,具体我不解释了,你们细品...

总之吧,全天24万的调用量,其中10万只调用了一次,14万的数据会在短时间内重复调用,有一些数据甚至会在几分钟之内重复查询几十次,所以这个接口还是比较适合放入到Redis中的。

Step4.数据怎么存?

再说说我们的数据用什么格式保存到Redis中,一图胜千言:

至于缓存更新策略嘛,我们依然使用设置失效时间的方式,根据数据同步的时间和调用统计结果,这个时间设置成15分钟比较合适。

可以看到在这个评估过程中,我所有操作都保持了“能偷懒就偷懒”这个好习惯,保持高效,善用工具,节约不必要的时间,全部过程花了两个小时,其中大部分时间是在数据导入,几乎用了一个半小时,还好在这个过程中我还能做其他的工作。

我将持续分享Java开发、架构设计、程序员职业发展等方面的见解,希望能得到你的关注。

redis事务和lua脚本区别

1.数据类型不同:Redis支持更多的数据类型,包括字符串、列表、集合、有序集合、哈希表、位图和地理空间索引等,而lua只支持字符串类型。

2.数据持久化方式不同:Redis可以将数据持久化到磁盘中,支持两种持久化方式,即RDB快照和AOF日志;而lua则不支持数据持久化,数据只存在于内存中,如果重启或者服务崩溃,数据将会丢失。

3.内存管理方式不同:Redis使用内存淘汰算法来管理内存,当内存使用达到一定限制时,会根据算法淘汰一部分数据;则使用LRU(最近最少使用)算法来管理内存,当内存不足时,会优先淘汰最近最少使用的数据。

4.分布式方式不同:Redis支持主从复制和哨兵模式,可以实现高可用和读写分离;而lua则不支持分布式,只能通过客户端来实现分布式。

5.应用场景不同:由于Redis支持更多的数据类型和数据持久化方式,适合用于数据量不大但访问频繁的场景,比如社交网络、实时消息推送等;而lua则适合用于数据量较大但访问频率低的场景,比如网站访问量大但数据变化不频繁的情况下,可以通过lua来缓存大量的数据,减轻数据库的压力。

redis为什么不支持回滚

Redis作为主流的NoSQL,几乎成了各大中小型项目技术选型的标配,而我们通常也只是将Redis作为缓存来使用。很少有人知道Redis也有“事务”的概念。

Redis事务支持并不完整

虽说Redis有事务概念,但是它相对于关系型数据库的事务而言,事务实现的并不完全。Redis中的事务并不是严格意义的事务,因为无法保证ACID(原子性、一致性、隔离性、持久性)特性。

Redis中的事务仅是简单的将一系列命令封装在一起执行,事务只能取消,而不能进行回滚操作!事务中涉及的多条命令中的一条出现错误,并不影响其它命令的正常执行。

Redis事务为什么不支持回滚?

Redis事务之所以不支持回滚操作是因为Redis中的事务并不是关系型数据库中所说的事务。Redis事务靠的是命令队列实现的,Redis中的命令只有在语法错误时才会执行失败,而命令若存在语法错误也无法进入事务队列中,所以可以理解为Redis中的命令不会执行失败,因此不需要回滚。

综上,Redis事务并不是严格意义上的事务,所以在实际项目中不建议使用Redis事务,没有必要。

以上就是我的观点,对于这个问题大家是怎么看待的呢?欢迎在下方评论区交流~我是科技领域创作者,十年互联网从业经验,欢迎关注我了解更多科技知识!

redis怎么处理事务

Redis通过MULTI、EXEC、WATCH等命令来支持事务。其中,MULTI命令用于开启一个事务,EXEC命令用于执行事务中的所有命令,而WATCH命令则是在事务执行前监控一个或多个键,如果被监控的键被修改,则事务不会执行。

用户可以使用MULTI命令将一系列命令打包成一个事务,然后通过EXEC命令一次性执行。如果事务中任何一个命令执行失败,那么整个事务都会回滚。

举个例子,假设我们要将两个键的值同时增加1,但需要保证两个操作是原子性的,即要么两个键都增加1,要么都不增加。可以使用以下代码来实现:

MULTI//开启事务

INCRkey1

INCRkey2

EXEC//执行事务

这个事务包括了两个INCR命令,用于将key1和key2的值都增加1。如果事务执行成功,那么key1和key2的值都会增加1;如果其中一个INCR命令执行失败,那么两个键的值都不会发生变化。

关于redis事务和lua脚本区别和redis不建议使用事务的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。

详解事务模式和Lua脚本,带你吃透Redis 事务