MySQL事务隔离

本文阅读 25 分钟
首页 代码,Java 正文

  MySQL是一个支持多引擎的系统,但并不是所有的引擎都支持事务。比如MySQL原生的MyISAM引擎就不支持事务,这也是MyISAM被InnoDB取代的重要原因之一。

1.1 隔离性与隔离级别

  SQL标准的事务隔离级别包括:

  • 读未提交(read uncommitted)
    - 一个事务还没提交时,它做的变更就能被别的事务看到
  • 读提交(read committed)
    - 一个事务提交之后,它做的变更才会被其他事务看到
  • 可重复读(repeatable read)
    - 一个事务执行过程中看到的数据,总是跟这个事务在启动时看到的数据是一致的。当然在可重复读隔离级别下,未提交变更对其他事务也是不可见的。
  • 串行化(serializable)
    - 对于同一行记录,“写”会加“写锁”,“读”会加“读锁”。当出现读写锁冲突的时候,后访问的事务必须等前一个事务执行完成,才能继续执行。

  假设数据表T中只有一列,其中一行的值为1,下面是按照时间顺序执行两个事务的行为。

create table T(c int) engine=InnoDB;
insert into T(c) values(1);

img

  • 若隔离级别是“读未提交”, 则V1的值就是2。这时候事务B虽然还没有提交,但是结果已经被A看到了。因此,V2、V3也都是2。
  • 若隔离级别是“读提交”,则V1是1,V2的值是2。事务B的更新在提交后才能被A看到。所以, V3的值也是2。
  • 若隔离级别是“可重复读”,则V1、V2是1,V3是2。之所以V2还是1,遵循的就是这个要求:事务在执行期间看到的数据前后必须是一致的。
  • 若隔离级别是“串行化”,则在事务B执行“将1改成2”的时候,会被锁住。直到事务A提交后,事务B才可以继续执行。所以从A的角度看, V1、V2值是1,V3的值是2。

在实现上,数据库里面会创建一个视图,访问的时候以视图的逻辑结果为准。

  • 在“可重复读”隔离级别下,视图是在事务启动时创建的,整个事务存在期间都用这个视图。
  • 在“读提交”隔离级别下,这个视图是在每个SQL语句开始执行的时候创建的。
  • “读未提交”隔离级别下直接返回记录上的最新值,没有视图概念。
  • “串行化”隔离级别下直接用加锁的方式来避免并行访问。

  可以看到在不同的隔离级别下,数据库行为是有所不同的。Oracle数据库的默认隔离级别是“读提交”,因此对于一些从Oracle迁移到MySQL的应用,为保证数据库隔离级别的一致,一定要记得将MySQL的隔离级别设置为“读提交”。

show variables like 'transaction_isolation';

+-----------------------+----------------+

| Variable_name | Value |

+-----------------------+----------------+

| transaction_isolation | READ-COMMITTED |

+-----------------------+----------------+

应用“可重复读”的场景:   假设在管理一个个人银行账户表。一个表存了每个月底的余额,一个表存了账单明细。这时候要做数据校对,也就是判断上个月的余额和当前余额的差额,是否与本月的账单明细一致。希望在校对过程中,即使有用户发生了一笔新的交易,也不影响校对结果。   这时候使用“可重复读”隔离级别就很方便。事务启动时的视图可以认为是静态的,不受其他事务更新的影响。

1.2 事务隔离的实现

  展开说明“可重复读”。   在MySQL中,实际上每条记录在更新的时候都会同时记录一条回滚操作。通过回滚操作,都可以得到前一个状态的值。   假设一个值从1被按顺序改成了2、3、4,在回滚日志里面就会有类似下面的记录。 img 当前值是4,但是在查询这条记录的时候,不同时刻启动的事务会有不同的read-view。在视图A、B、C里面,这一个记录的值分别是1、2、4,同一条记录在系统中可以存在多个版本,就是数据库的多版本并发控制(MVCC)。

  对于read-view A,要得到1,就必须将当前值依次执行图中所有的回滚操作得到。

  即使现在有另外一个事务正在将4改成5,这个事务跟read-view A、B、C对应的事务是不会冲突的。

回滚日志的删除:   系统会判断,当没有事务再需要用到这些回滚日志时,回滚日志会被删除。 判断不需要的标准:当系统里没有比这个回滚日志更早的read-view的时候。

不建议使用长事务的原因:   长事务意味着系统里面会存在很老的事务视图。由于这些事务随时可能访问数据库里面的任何数据,所以这个事务提交之前,数据库里面它可能用到的回滚记录都必须保留,这就会导致大量占用存储空间。   在MySQL 5.5及以前的版本,回滚日志是跟数据字典一起放在ibdata文件里的,即使长事务最终提交,回滚段被清理,文件也不会变小。   除了对回滚段的影响,长事务还占用锁资源,也可能拖垮整个库。

1.3 事务的启动方式

MySQL的事务启动方式有以下几种:

  1. 显式启动事务语句, begin 或 start transaction。配套的提交语句是commit,回滚语句是rollback。
  2. set autocommit=0,这个命令会将这个线程的自动提交关掉。意味着如果只执行一个select语句,这个事务就启动了,而且并不会自动提交。这个事务持续存在直到主动执行 commit 或 rollback 语句,或者断开连接。

  有些客户端连接框架会默认连接成功后先执行一个set autocommit=0的命令。这就导致接下来的查询都在事务中,如果是长连接,就导致了意外的长事务。

  因此,建议总是使用set autocommit=1, 通过显式语句的方式来启动事务。

  我们可以在information_schema库的innodb_trx这个表中查询长事务,比如查找持续时间超过60s的事务。

select * from information_schema.innodb_trx where TIME_TO_SEC(timediff(now(),trx_started))>60

1.4 避免长事务对业务的影响

从应用开发端来看:

  1. 确认是否使用了set autocommit=0。这可以在测试环境中开展,把MySQL的general_log开起来,然后随便跑一个业务逻辑,通过general_log的日志来确认。目标就是把它改成1。
  2. 确认是否有不必要的只读事务。有些框架会习惯不管什么语句先用begin/commit框起来,这种只读事务可以去掉。
  3. 业务连接数据库的时候,根据业务本身的预估,通过SET MAX_EXECUTION_TIME命令,来控制每个语句执行的最长时间,避免单个语句意外执行太长时间。

从数据库端来看:

  1. 监控 information_schema.Innodb_trx表,设置长事务阈值,超过就报警/或者kill;
  2. 使用Percona的pt-kill工具;
  3. 在业务功能测试阶段输出所有的general_log,分析日志行为提前发现问题;
  4. 如果使用的是MySQL 5.6或者更新版本,把innodb_undo_tablespaces设置成2(或更大的值)。如果真的出现大事务导致回滚段过大,这样设置后清理起来更方便。

1.5 如何删除表中的前10000行数据

  • 第一种,直接执行delete from T limit 10000
  • 第二种,在一个连接中循环执行20次 delete from T limit 500
  • 第三种,在20个连接中同时执行delete from T limit 500

第二种方式是相对较好的。 第一种方式(即:直接执行delete from T limit 10000)里面,单个语句占用时间长,锁的时间也比较长;而且大事务还会导致主从延迟。 第三种方式(即:在20个连接中同时执行delete from T limit 500),会人为造成锁冲突。

下面是一个表的初始化语句

CREATE TABLE `t` (
  `id` int(11) NOT NULL,
  `k` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB;
insert into t(id, k) values(1,1),(2,2);

img

  需要注意的是事务的启动时机。   begin/start transaction 命令并不是一个事务的起点,在执行到它们之后的第一个操作InnoDB表的语句(第一个快照读语句),事务才真正启动。如果想要马上启动一个事务,可以使用start transaction with consistent snapshot这个命令。   事务C没有显式地使用begin/commit,表示这个update语句本身就是一个事务,语句完成的时候会自动提交。事务B在更新了行之后查询; 事务A在一个只读事务中查询,并且时间顺序上是在事务B的查询之后。   这里,事务B查到的k的值是3,事务A查到的k的值是1。

看完后文你就懂啦~

在MySQL里,有两个“视图”的概念:

  • 一个是view。它是一个用查询语句定义的虚拟表,在调用的时候执行查询语句并生成结果。创建视图的语法是create view ...,而它的查询方法与表一样。
  • 另一个是InnoDB在实现MVCC时用到的一致性读视图(consistent read view),用于支持RC(Read Committed,读提交)和RR(Repeatable Read,可重复读)隔离级别的实现。它没有物理结构,作用是事务执行期间用来定义“我能看到什么数据”。

2.1 “快照”在MVCC里是怎么工作的

  在可重复读隔离级别下,事务在启动的时候就“拍了个快照”,这个快照是基于整库的(如果一个库有100G,我们并不需要拷贝出这100G的数据)。   InnoDB里面每个事务有一个唯一的事务IDtransaction id。它是在事务开始的时候向InnoDB的事务系统申请的,是按申请顺序严格递增的。   每行数据也都是有多个版本的。每次事务更新数据的时候,都会生成一个新的数据版本,并且把transaction id赋值给这个数据版本的事务ID,记为row trx_id。同时,旧的数据版本要保留,并且在新的数据版本中,能够有信息可以直接拿到它。   所以,数据表中的一行记录,其实可能有多个版本(row),每个版本有自己的row trx_id。如图所示,就是一个记录被多个事务连续更新后的状态。

img   当前最新版本是V4,k的值是22,它是被 transaction id 为25的事务更新的,因此它的row trx_id也是25。   实际上,图中的三个虚线箭头,就是 undo log(回滚日志);而V1、V2、V3并不是物理上真实存在的,而是每次需要的时候根据当前版本和undo log计算出来的。比如,需要V2的时候,就是通过V4依次执行U3、U2算出来。

InnoDB定义快照的方式:   按照可重复读的定义,一个事务启动的时候,能够看到所有已经提交的事务结果。但是之后,这个事务执行期间,其他事务的更新对它不可见。

  因此,一个事务只需要在启动的时候声明,“以我启动的时刻为准,如果一个数据版本是在我启动之前生成的,就认;如果是我启动以后才生成的,就不认,我必须要找到它的上一个版本”。如果“上一个版本”也不可见,那就得继续往前找。

  在实现上, InnoDB为每个事务构造了一个数组,用来保存这个事务启动瞬间,当前正在“活跃”的所有事务ID。“活跃”指的是,启动了但还没提交。

  数组里面事务ID的最小值记为低水位,当前系统里面已经创建过的事务ID的最大值加1记为高水位。   这个视图数组和高水位,就组成了当前事务的一致性视图(read-view)。数据版本的可见性规则,就是基于数据的row trx_id和这个一致性视图的对比结果得到的。 img 对于当前事务的启动瞬间来说,一个数据版本的row trx_id,有以下几种可能:

  1. 落在绿色部分,表示这个版本是已提交的事务或者是当前事务自己生成的,这个数据是可见的;
  2. 落在红色部分,表示这个版本是由将来启动的事务生成的,是肯定不可见的;
  3. 落在黄色部分,包括两种情况 a. row trx_id在数组中,表示这个版本是由还没提交的事务生成的,不可见; b. row trx_id不在数组中,表示这个版本是已经提交了的事务生成的,可见。

img 如果有一个事务,它的低水位是18,那么当它访问这一行数据时,就会从V4通过U3计算出V3,所以在它看来,这一行的值是11(V3的id < 18所以算是已提交事务)。 有了这个声明后,系统里面随后发生的更新,就跟这个事务看到的内容无关了,因为之后的更新,生成的版本一定属于上面的2或者3(a)的情况,所以这个事务的快照,就是“静态”的了。

因此得出结论:InnoDB利用了“所有数据都有多个版本”的这个特性,实现了“秒级创建快照”的能力。

接下来,对于开头提到的三个事务,分析事务A的语句返回的结果为什么是k=1。

img 不妨做如下假设:

  1. 事务A开始前,系统里面只有一个活跃事务ID是99;
  2. 事务A、B、C的版本号分别是100、101、102,且当前系统里只有这四个事务;
  3. 三个事务开始前,(1,1)这一行数据的row trx_id是90。

这样,事务A的视图数组就是[99,100], 事务B的视图数组是[99,100,101], 事务C的视图数组是[99,100,101,102]。

和事务A查询逻辑有关的操作如图: img   第一个有效更新是事务C,把数据从(1,1)改成了(1,2)。这时候,这个数据的最新版本的row trx_id是102,90这个版本已经成为了历史版本。   第二个有效更新是事务B,把数据从(1,2)改成了(1,3)。这时候,这个数据的最新版本的row trx_id是101,102又成为了历史版本。

  现在事务A要来读数据了,它的视图数组是[99,100]。读数据都是从当前版本读起的。所以,事务A查询语句的读数据流程是这样的:

  • 找到(1,3)的时候,判断出row trx_id=101,比高水位大,处于红色区域,不可见;
  • 接着,找到上一个历史版本,row trx_id=102,比高水位大,处于红色区域,不可见;
  • 再往前找,找到了(1,1),它的row trx_id=90,比低水位小,处于绿色区域,可见。

  这样执行下来,虽然期间这一行数据被修改过,但是事务A不论在什么时候查询,看到这行数据的结果都是一致的,所以称为一致性读。

概括性总结: 一个数据版本,对于一个事务视图来说,除了自己的更新总是可见以外,有三种情况:

  1. 版本未提交,不可见;
  2. 版本已提交,但是是在视图创建后提交的,不可见;
  3. 版本已提交,而且是在视图创建前提交的,可见。

  用这个规则来判断事务A查询中的查询结果,事务A的查询语句的视图数组是在事务A启动的时候生成的,这时:

  • (1,3)还没提交,属于情况1,不可见;
  • (1,2)虽然提交了,但是是在视图数组创建之后提交的,属于情况2,不可见;
  • (1,1)是在视图数组创建之前提交的,可见。

2.2 更新逻辑

  事务B的update语句,如果按照一致性读,事务B的视图数组是先生成的,之后事务C才提交,不是应该看不见(1,2)吗,怎么能算出(1,3)? img   如果事务B在更新之前查询一次数据,这个查询返回的k的值确实是1。

  但是,当它要去更新数据的时候,就不能再在历史版本上更新了,否则事务C的更新就丢失了。因此,事务B此时的set k=k+1是在(1,2)的基础上进行的操作。

  更新数据都是先读后写的,而这个读,只能读当前的值,称为“当前读”(current read)。

  因此,在更新的时候,当前读拿到的数据是(1,2),更新后生成了新版本的数据(1,3),这个新版本的row trx_id是101。

  所以,在执行事务B查询语句的时候,一看自己的版本号是101,最新数据的版本号也是101,可以直接使用,所以查询得到的k的值是3。

  其实,除了update语句外,select语句如果加锁,也是当前读(查询和读还是有区别的)。

  所以,如果把事务A的查询语句select * from t where id=1修改一下,加上lock in share mode 或 for update,也都可以读到版本号是101的数据,返回的k的值是3。下面这两个select语句,就是分别加了读锁(S锁,共享锁)和写锁(X锁,排他锁)。

select k from t where id=1 lock in share mode;
select k from t where id=1 for update;

更进一步讨论,假设事务C不是马上提交的,而是变成了下面的事务C’ img   事务C’的不同是,更新后并没有马上提交,在它提交前,事务B的更新语句先发起了。虽然事务C’还没提交,但是(1,2)这个版本也已经生成了,并且是当前的最新版本。

  这时,“两阶段锁协议”就要上场了。事务C’没提交,也就是说(1,2)这个版本上的写锁还没释放。而事务B是当前读,必须要读最新版本,而且必须加锁,因此就被锁住了,必须等到事务C’释放这个锁,才能继续它的当前读。 img 事务的可重复读的能力是怎么实现的?   可重复读的核心就是一致性读(consistent read);而事务更新数据的时候,只能用当前读。如果当前的记录的行锁被其他事务占用的话,就需要进入锁等待。

读提交的逻辑和可重复读的逻辑类似,它们最主要的区别是:

  • 在可重复读隔离级别下,只需要在事务开始的时候创建一致性视图,之后事务里的其他查询都共用这个一致性视图;
  • 在读提交隔离级别下,每一个语句执行前都会重新算出一个新的视图。

在读提交隔离级别下,事务A和事务B的查询语句查到的k,分别是多少?   说明:start transaction with consistent snapshot;的意思是从这个语句开始,创建一个持续整个事务的一致性快照。所以,在读提交隔离级别下,这个用法就没意义了,等效于普通的start transaction。 下面是读提交时的状态图,可以看到这两个查询语句的创建视图数组的时机发生了变化(read view)。(这里,用的还是事务C的逻辑直接提交,而不是事务C’) img   事务A的查询语句的视图数组是在执行这个语句的时候创建的,时序上(1,2)、(1,3)的生成时间都在创建这个视图数组的时刻之前。但是,在这个时刻:

  • (1,3)还没提交,属于情况1,不可见;
  • (1,2)提交了,属于情况3,可见。 所以,事务A查询语句返回的是k=2,事务B查询结果k=3。

2.3 数据无法修改的“诡异”场景

读提交情境下:

CREATE TABLE `t` (
  `id` int(11) NOT NULL,
  `c` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB;
insert into t(id, c) values(1,1),(2,2),(3,3),(4,4);

img 如果有两个session按照如下的顺序执行会出现上面的结果。 img 或者 img   这个实际场景还挺常见——所谓的“乐观锁”。时常我们会基于version字段对row进行cas式的更新,类似update ...set ... where id = xxx and version = xxx。如果version被其他事务抢先更新,则在自己事务中更新失败,同一个事务中再次select还是旧值,就会出现“异象”(anomaly)。   解决方案就是每次cas更新不管成功失败,结束当前事务。如果失败则重新起一个事务进行查询更新。   这里,判断是否成功的标准是 affected_rows 是不是等于预期值。比如这个例子里面预期值本来是4

本文为互联网自动采集或经作者授权后发布,本文观点不代表立场,若侵权下架请联系我们删帖处理!文章出自:https://wangjiawei.blog.csdn.net/article/details/108904814
-- 展开阅读全文 --
安全面试之XSS(跨站脚本攻击)
« 上一篇 07-24

发表评论

成为第一个评论的人

热门文章

标签TAG

最近回复