MySQL主要有两个层次组成:MySQL核心【MySQL服务器层】、插件式存储引擎
MySQL处理机制无论在核心上如何被解析,最后如果真正实现跟文件系统上的文件交互时,一定要经过存储引擎来完成。真正把MySQL操作接收下来并提交给底层文件上对应的数据完成操作,并将结果返回给上层MySQL核心的是MySQL存储引擎,各存储引擎通过统一的API向MySQL服务器提供一个统一的数据存取、加锁等操作。 MySQL内部表状态信息查看,使用 show table status like 'xxx'; 在表的属性信息当中,主要关注存储引擎类型,其下很多信息都是存储引擎决定的 存储引擎: 查看表状态信息: SHOW TABLE STATUS [{FROM | IN} db_name] [LIKE 'pattern' | WHERE expr] SHOW TABLE STATUS works likes SHOW TABLES, but provides a lot of information about each non-TEMPORARY table. You can also get this list using the mysqlshow --status db_name command. MariaDB [book]> desc yuwen; +-------+------------+------+-----+---------+-------+ | Field | Type | Null | Key | Default | Extra | +-------+------------+------+-----+---------+-------+ | name | char(10) | NO | | NULL | | | page | tinyint(4) | NO | | NULL | | +-------+------------+------+-----+---------+-------+ 2 rows in set (0.00 sec) MariaDB [book]> show table status like 'yuwen'\G *************************** 1. row *************************** Name: yuwen Engine: InnoDB Version: 10 Row_format: Compact Rows: 0 Avg_row_length: 0 Data_length: 16384 Max_data_length: 0 Index_length: 0 Data_free: 10485760 Auto_increment: NULL Create_time: 2015-04-01 10:25:46 Update_time: NULL Check_time: NULL Collation: latin1_swedish_ci Checksum: NULL Create_options: Comment: 1 row in set (0.00 sec) 表状态信息本身就是一张表,此时需要选择了库,不让可以加 from db_name来指定库 MariaDB [book]> show table status\G *************************** 1. row *************************** 1行 Name: yuwen Engine: InnoDB Version: 10 Row_format: Compact Rows: 0 Avg_row_length: 0 Data_length: 16384 Max_data_length: 0 Index_length: 0 Data_free: 10485760 Auto_increment: NULL Create_time: 2015-04-01 10:25:46 Update_time: NULL Check_time: NULL Collation: latin1_swedish_ci Checksum: NULL Create_options: Comment: 1 row in set (0.00 sec) 有多张表时,会显示多张表的信息 只查看指定的表可以使用where条件来对表的状态进行过滤 MariaDB [test]> show table status where Name='xxx'; Name可以是| Name | Engine | Version | Row_format | Rows | Avg_row_length | Data_length | Max_data_length | Index_length | Data_free | Auto_increment | Create_time | Update_time | Check_time | Collation | Checksum | Create_options | Comment |这些值 MariaDB [(none)]> show table status from hellodb where Name='students'\G 存储引擎:也称为表类型 定义了一个表在其内部的存储格式和所支持的特性,存储引擎是表级别的概念 真正存储引擎在其内部实现上是在表级别实现的,一个MySQL数据库可以有多张表,每一张都有其独有的存储引擎,但是建议在同一个库内所有的表尽可能使用相同的存储引擎,如:将来要执行多表操作时,如果说表的存储引擎不同,在数据库的某些表上启动事务时一旦某些数据不想提交想回滚,InnoDB中的表数据能回滚,myisam中的表数据不能回滚。 SHOW TABLE STATUS WHERE Name='students'\G *************************** 1. row *************************** Name: students 表名 Engine: InnoDB 表的存储引擎类型 Version: 10 版本 Row_format: Compact 行格式,对于myisam表来讲可选的只有dynamic【表示其行的长度是可变的】、fixed【表示其行的长度是固定定长的】(是dynamic还是fixed取决于字段类型,如果字段有varchar、varbinary则其长度是可变的,无text、blob、varchar、varbinary类型的话其长度就是固定的)、compressed【行是压缩存放的,数据是压缩后存放的,一旦压缩存放说明是myisam的压缩存放的压缩表】InnoDB: Compact【紧凑类型,表示表的数据内部也是压缩存放的】, Redundent【数据是冗余的】 Rows: 18 表中现有的行数,对于myisam而言此值是精确的,但是对于InnoDB是不确定的,因为支持事务的时候,有些行插入进来未必是看到的最终结果,仅是一个估计值 Avg_row_length: 910 平均每行所包含的字节数 Data_length: 16384 数据大小,当前表中所有数据的大小,单位字节 Max_data_length: 0 表的最大容量,0表示没有限制,但是此值与存储引擎相关,不同的存储引擎所支持的最大表存储空间是不一样的 Index_length: 32768 索引长度,单位是字节 Data_free: 0 空闲的数据空间,对于myisam表来讲表示已分配但尚未占用的空间,MySQL分配数据,数据表文件增长是渐进式的,一旦空间不够用时,额外申请一个盘区来存数据,但存数据时会有些多余的空间没有存完,存完后再申请一个,对于InnoDB来讲这是表空间文件的剩余空间 Auto_increment: 27 自动增长 Create_time: 2014-08-29 10:00:16 表创建时间 Update_time: NULL 表最后的修改时间,NULL没有实际值,没有定义 Check_time: NULL 使用check table命令或myisam check工具最近一次检查表的时间,主要对myisam表有用 Collation: utf8_general_ci 默认的排序规则,隐含了字符集信息 Checksum: NULL 校验和,在create table时可以指定启用校验和,启用的话,则会存储校验和 Create_options: 创建表时,额外指定的选项,如果为视图,则为 view Comment: 注释信息 Row_format: MyISAM: Dynamic, Fixed, Compressed InnoDB: Compact, Redundent Rows: 行数 Avg_row_length: 平均每行包含的字节数 Check_time: 使用CHECK TABLE或者myisamchk工具最近一次检查表的时间; MySQL存储引擎特性: 使用最多的InnoDB:【早期MySQL 5.1之前,默认存储引擎为myisam,从5.5开始默认存储引擎是InnoDB】 设计用于处理大量的短期事务;支持自动的崩溃恢复;【有自动的崩溃恢复的特性,因为存在事务日志,并且存储引擎能基于事务日志自我实现完成恢复】 早期属于innoBase公司,后来被oracle收购 查看MySQL下所支持的所有存储引擎 MariaDB [test]> show engines\G *************************** 1. row *************************** Engine: MyISAM Support: YES Comment: MyISAM storage engine Transactions: NO XA: NO Savepoints: NO *************************** 2. row *************************** Engine: CSV Support: YES Comment: CSV storage engine Transactions: NO XA: NO Savepoints: NO *************************** 3. row *************************** Engine: MRG_MYISAM Support: YES Comment: Collection of identical MyISAM tables Transactions: NO XA: NO Savepoints: NO *************************** 4. row *************************** Engine: BLACKHOLE Support: YES Comment: /dev/null storage engine (anything you write to it disappears) Transactions: NO XA: NO Savepoints: NO *************************** 5. row *************************** Engine: MEMORY Support: YES Comment: Hash based, stored in memory, useful for temporary tables Transactions: NO XA: NO Savepoints: NO *************************** 6. row *************************** Engine: PERFORMANCE_SCHEMA Support: YES Comment: Performance Schema Transactions: NO XA: NO Savepoints: NO *************************** 7. row *************************** Engine: ARCHIVE Support: YES Comment: Archive storage engine Transactions: NO XA: NO Savepoints: NO *************************** 8. row *************************** Engine: FEDERATED Support: YES Comment: FederatedX pluggable storage engine Transactions: YES XA: NO Savepoints: YES *************************** 9. row *************************** Engine: InnoDB Support: DEFAULT Comment: Percona-XtraDB, Supports transactions, row-level locking, and foreign keys Transactions: YES XA: YES Savepoints: YES *************************** 10. row *************************** Engine: Aria myisam的增强版 Support: YES Comment: Crash-safe tables with MyISAM heritage 增加了Crash-safe崩溃安全特性,是myisam兼容的存储引擎 Transactions: NO XA: NO Savepoints: NO 10 rows in set (0.00 sec) 查看当前默认存储引擎 MariaDB [test]> show global variables like '%engine%'; +---------------------------+--------+ | Variable_name | Value | +---------------------------+--------+ | default_storage_engine | InnoDB | 默认存储引擎 | engine_condition_pushdown | OFF | | storage_engine | InnoDB | +---------------------------+--------+ 3 rows in set (0.00 sec) MySQL 5.1当中基于plugin的方式来支持InnoDB,对于多核特性支持不是很优秀,在5.6以后已经弥补了这一特性,可以支持大量核心的。InnoDB存储的数据在表空间中, Table Space: 表空间可由一个或多个物理文件组成 【表空间相当于是一个黑盒,由InnoDB自行管理的黑盒,是一个文件,但是对于用户来讲看到的可能是一个文件,内部被分割成了多个文件,是一种比文件系统高级、位于工作在文件系统之上的、能够由存储引擎自我管理的更高层次的管理机制】但却属于同一个表空间 是一个文件管理机制:位于程序和文件系统之间的文件独立管理的中间层 表空间是InnoDB存储引擎在使用文件时,为了方便执行数据文件扩展,而特地实现的自我数据增长扩展管理的一种机制,为了避免表空间文件过大,对备份不方便,可以把表空间文件分成多个文件,可以实现自动增长。默认情况下,InnoDB将位于同一个数据库服务器上的所有的InnoDB格式的表数据放在同一个表空间中 在MySQL存放数据的文件下面有 [root@node3 ~]# ls /mysql/data/ibdata1 [root@node3 ~]# ls /mysql/data/ibdata1 -lh -rw-rw---- 1 mysql mysql 18M Apr 1 10:25 /mysql/data/ibdata1 ibdata1就是InnoDB的表空间文件,随着数据的存储,此文件会动态增长, [root@node3 ~]# ls /mysql/data/ib_* /mysql/data/ib_logfile0 /mysql/data/ib_logfile1 [root@node3 ~]# ls /mysql/data/ib_* -lh -rw-rw---- 1 mysql mysql 5.0M Apr 1 10:25 /mysql/data/ib_logfile0 -rw-rw---- 1 mysql mysql 5.0M Apr 1 03:53 /mysql/data/ib_logfile1 ib_logfile0|1是InnoDB的事务日志文件 [root@node3 ~]# ls /mysql/data/hellodb/ classes.frm coc.frm courses.frm db.opt scores.MYI students.MYI teachers.MYI toc.MYI classes.MYD coc.MYD courses.MYD scores.frm students.frm teachers.frm toc.frm classes.MYI coc.MYI courses.MYI scores.MYD students.MYD teachers.MYD toc.MYD 如果说创建一个数据库,而数据库内部存储引擎都使用InnoDB,则他们都没有数据文件,需要启动每表表空间文件的支持 没有MYD文件,数据文件在ibdata1中 [root@node3 ~]# ls /mysql/data/book/ db.opt yuwen.frm InnoDB存储支持两种使用风格: 1、将所有innodb表的数据放置同一个表空间中; 默认名字:数据目录下ibdata#; #是数字 2、每个表使用自己专用的表空间;【让MySQL支持每表表空间,启用】 默认名字:数据库目录下tb_name.ibd; 建议:为了使用InnoDB的高级特性,一般把innodb_file_per_table = 1启用即每表使用单独表空间机制,也可以编辑配置文件/etc/mysql/my.cnf下mysqld段添加innodb_file_per_table = 1 | ON MariaDB [test]> show global variables like '%innodb_file%'; +--------------------------+----------+ | Variable_name | Value | +--------------------------+----------+ | innodb_file_format | Antelope | | innodb_file_format_check | ON | | innodb_file_format_max | Antelope | | innodb_file_per_table | OFF | 这里是OFF,需要改为ON,MariaDB10是默认ON的 +--------------------------+----------+ 4 rows in set (0.00 sec) MariaDB [test]> set global innodb_file_per_table=1; Query OK, 0 rows affected (0.00 sec) MariaDB [test]> show global variables like '%innodb_file%'; +--------------------------+----------+ | Variable_name | Value | +--------------------------+----------+ | innodb_file_format | Antelope | | innodb_file_format_check | ON | | innodb_file_format_max | Antelope | | innodb_file_per_table | ON | +--------------------------+----------+ 4 rows in set (0.00 sec) MariaDB [test]> create database light; Query OK, 1 row affected (0.02 sec) MariaDB [test]> use light; Database changed MariaDB [light]> create table jieneng(size tinyint not null,name char(20) not null); Query OK, 0 rows affected (0.05 sec) MariaDB [light]> insert into jieneng (size,name) values (10,'baizhidong'),(9,'riguandong'); Query OK, 2 rows affected (0.00 sec) Records: 2 Duplicates: 0 Warnings: 0 [root@node3 ~]# ls /mysql/data/light/ db.opt jieneng.frm jieneng.ibd【单独的表空间文件】 db.opt是用来记录该库的默认字符集编码和字符集排序规则用的。 InnoDB基于聚簇索引【聚簇索引有利于基于主键查询时的性能】建立的:基于主键索引查询时,性能较好; 辅助索引中必须包含主键索引,不然辅助索引无法保存数据,因为辅助索引是指向主键的;因此,为了节约空间,尽可能使用较小的主键索引;可以自己创建具有自动增长特性的主键如id主键 InnoDB支持自适应hash索引;不是显示的,会自动维护 支持使用事务: 支持行级锁 支持MVCC 多版本并发控制 支持热备份 表存储格式: 1、将所有innodb表的数据放置同一个表空间中; 表结构定义:tb_name.frm (数据库目录下) 数据和索引:放在统一的表空间文件中 2、使用的单表表空间文件 表结构定义:tb_name.frm 数据和索引在单独的文件中:tb_name.ibd 由于InnoDB中间加了中间层跟存储相关,所以在实现备份恢复时,不能简单的把数据文件、结构文件复制到对应的数据目录下就能识别【备份恢复实现需要专用的工具】,但是myisam可以 MyISAM: 支持全文索引、压缩、空间函数(来实现空间索引); 不支持事务、行级锁 崩溃后无法安全恢复 支持延迟更新索引键(delayed_key_write)【修改表以后,不用立即更新索引,当更新完成后,再一并进行索引,使得其性能方面有所提升】 不支持热备份 表存储格式:每张表都有三个文件(位于数据库目录下) tb_name.frm: 表格式 tb_name.MYD: 数据 tb_name.MYI: 索引 其它存储引擎: Memory【内存存储引擎,数据不是放在磁盘上,而是放在内存中,memory比myisam至少快一个数量级(10倍),在更关注性能时,可以使用memory存储引擎,memory可以在很多场景下使用比如:用于查找和映射表、用于缓冲周期性的数据表和聚合数据等】: 早期叫HEAP表 显式支持hash索引 无法持久存储数据 CSV【可以将普通的逗号分隔作为MySQL表来处理】: 把表数据存储为文本文件,字段以逗号分隔;(主要功能是为了实现在数据库运行时,拷入或拷出文件的,而且能够方便的在各数据库导入数据比如:把MySQL数据保存为文本文件格式,如果Oracle支持就能够很容易的导入进去) 不支持索引 常用于数据交换的场景 Merge: MyISAM的变种 将多个MyISAM表合并表示为一个虚拟表;【表结构需要一样】 Federated:访问其它MySQL服务上数据的代理【客户端访问federated数据库服务器时,federated数据库服务器上没有数据,而是通过mysql协议到其他的数据库服务器查找数据并返回的,相当于代理】 MariaDB上用的FederatedX存储引擎 Engine: FEDERATED Support: YES Comment: FederatedX pluggable storage engine Blackhole: 没有任何存储机制,不会真正存储任何数据,所以会丢弃所有插入的数据;【在复制架构中会使用到,但是架构也有问题,此种存储引擎很少使用】 NDB:Cluster 集群存储引擎,能够联合多个节点上的存储引擎共同工作,是一种分布式的无共享的容灾的高可用存储引擎,生产环境下没在使用 第三方存储引擎: OLTP类【在线事务处理类】: XtraDB: InnoDB的改进版 PBXT:【支持引擎级别的复制、支持外键,适合固态硬盘上使用】支持ACID和MVCC TokuDB: 支持使用分形树的索引结构,是缓存无关的,即便索引数据超过内存的大小,性能上也不会下降,没有内存生命周期和内存碎片问题,适用存储大数据 MySQL中存储的数据都是以行为单位的 面向列的存储的引擎: 按列为单位进行存储,适合压缩等,适用于存储大数据 Infobright InfiniDB LucidDB 社区引擎: Aria: 改进的MyISAM 【支持崩溃后安全恢复】 OQGraph: 支持图操作 【地图数据】 SphinxSE: 为sphinx全文搜索引擎提供了SQL接口; Spider: 可以将数据切分成不同的分区,较透明实现分片功能; 存储引擎选择标准?考虑以下因素 是否需要事务 是否支持备份:热备 是否需要提供崩溃后恢复: 特有的特性: 存储大数据、是否支持数据分片 如果说大部分数据都是读的,则myisam可以是不错的选择或者Aria 如果是在线事务处理的比如订单处理,建议InnoDB 数据仓库最好使用Aria或myisam 论坛程序:发帖较多、用户讨论比较活跃 InnoDB InnoDB如何定义表空间的使用风格? InnoDB默认情况下将所有表空间数据都放在同一个位置,一般是数据目录下,可以更改为其他位置,并定义其工作特性。 InnoDB存储引擎的管理: innodb_data_file_path:表空间文件的文件名称及特性【表空间文件的文件名及文件的特性】 可使用相对(相对于innodb_data_home_dir而言)或绝对路径;而且可定义多个文件; 格式为:innodb_data_file_path = ibdata1:20G;ibdata2:10G;ibdata3:1G:autoextend;【先使用ibdata1文件,当达到20G时,使用ibdata2文件到10G后,使用ibdata3文件可以自动增长autoextend可以自动增长】 innodb_data_home_dir:表空间的数据文件的存储位置,省略时表示使用数据目录(datadir变量定义的位置); 建议设置innodb_file_per_table = ON 独立的表空间 缺点:DROP TABLE操作的性能较差;如果想降低DROP TABLE性能差的操作需要启用: innodb_lazy_drop_table = ON 不会立即删除,会一个一个慢慢删除 使用InnoDB存储引擎时,InnoDB存储引擎有一个重要的内部服务器变量来定义InnoDB使用的缓冲池。 InnoDB缓冲池: buffer pool 由InnoDB维护的内存空间:能够缓存索引及数据 如果某些表非常大,而且某些表访问的非常频繁,可以把数据放在内存中直接读取和写。 innodb_buffer_pool_size 定义InnoDB缓冲池的大小,应该设多大?通过观察可用内存值,以及数据是否被频繁的换进换出,来修改,建议较大,如果缓冲池很大的预热较慢,因为缓冲池中要缓冲数据,缓冲池启动以后,数据好长时间都没填满,所以缓冲时,发挥不了效应。如:MySQL平时正常运行,修改一个参数后,重启了MySQL,头几天性能特别差就是因为缓冲池预热没有完成。需要额外使用工具来完成预热。 如何观察innodb_buffer_pool_size是否是过大或过小需要通过SHOW ENGINE INNODB STATUS;来判定 显示当中有很多段组成,获得状态数据 MariaDB [light]> show engine innodb status\G *************************** 1. row *************************** Type: InnoDB Name: Status: ===================================== 150401 22:28:39 INNODB MONITOR OUTPUT ===================================== Per second averages calculated from the last 8 seconds ----------------- BACKGROUND THREAD ----------------- srv_master_thread loops: 16 1_second, 16 sleeps, 1 10_second, 9 background, 9 flush srv_master_thread log flush and writes: 16 ---------- SEMAPHORES ---------- OS WAIT ARRAY INFO: reservation count 14, signal count 14 Mutex spin waits 3, rounds 90, OS waits 3 RW-shared spins 10, rounds 300, OS waits 10 RW-excl spins 0, rounds 30, OS waits 1 Spin rounds per wait: 30.00 mutex, 30.00 RW-shared, 30.00 RW-excl -------- FILE I/O -------- I/O thread 0 state: waiting for completed aio requests (insert buffer thread) I/O thread 1 state: waiting for completed aio requests (log thread) I/O thread 2 state: waiting for completed aio requests (read thread) I/O thread 3 state: waiting for completed aio requests (read thread) I/O thread 4 state: waiting for completed aio requests (read thread) I/O thread 5 state: waiting for completed aio requests (read thread) I/O thread 6 state: waiting for completed aio requests (write thread) I/O thread 7 state: waiting for completed aio requests (write thread) I/O thread 8 state: waiting for completed aio requests (write thread) I/O thread 9 state: waiting for completed aio requests (write thread) Pending normal aio reads: 0 [0, 0, 0, 0] , aio writes: 0 [0, 0, 0, 0] , ibuf aio reads: 0, log i/o's: 0, sync i/o's: 0 Pending flushes (fsync) log: 0; buffer pool: 0 0 OS file reads, 402 OS file writes, 37 OS fsyncs 0.00 reads/s, 0 avg bytes/read, 0.00 writes/s, 0.00 fsyncs/s ------------------------------------- INSERT BUFFER AND ADAPTIVE HASH INDEX ------------------------------------- Ibuf: size 1, free list len 0, seg size 2, 0 merges merged operations: insert 0, delete mark 0, delete 0 discarded operations: insert 0, delete mark 0, delete 0 Hash table size 276671, node heap has 1 buffer(s) 0.00 hash searches/s, 0.00 non-hash searches/s --- LOG --- Log sequence number 1605285 Log flushed up to 1605285 Last checkpoint at 1605285 Max checkpoint age 7782360 Checkpoint age target 7539162 Modified age 0 Checkpoint age 0 0 pending log writes, 0 pending chkp writes 18 log i/o's done, 0.00 log i/o's/second ---------------------- BUFFER POOL AND MEMORY ---------------------- Total memory allocated 137756672; in additional pool allocated 0 Total memory allocated by read views 184 Internal hash tables (constant factor + variable factor) Adaptive hash index 2233968 (2213368 + 20600) Page hash 139112 (buffer pool 0 only) Dictionary cache 601997 (554768 + 47229) File system 83968 (82672 + 1296) Lock system 333248 (332872 + 376) Recovery system 0 (0 + 0) Dictionary memory allocated 47229 Buffer pool size 8191 Buffer pool size, bytes 134201344 Free buffers 7875 Database pages 315 Old database pages 0 Modified db pages 0 Pending reads 0 Pending writes: LRU 0, flush list 0, single page 0 Pages made young 0, not young 0 0.00 youngs/s, 0.00 non-youngs/s Pages read 0, created 315, written 347 0.00 reads/s, 0.00 creates/s, 0.00 writes/s No buffer pool page gets since the last printout Pages read ahead 0.00/s, evicted without access 0.00/s, Random read ahead 0.00/s 根据此处 LRU len: 315, unzip_LRU len: 0 此处 I/O sum[0]:cur[0], unzip sum[0]:cur[0] -------------- ROW OPERATIONS -------------- 0 queries inside InnoDB, 0 queries in queue 1 read views open inside InnoDB 0 transactions active inside InnoDB 0 out of 1000 descriptors used ---OLDEST VIEW--- Normal read view Read view low limit trx n:o 300 Read view up limit trx id 300 Read view low limit trx id 300 Read view individually stored trx ids: ----------------- Main thread process no. 24503, id 140154958231296, state: waiting for server activity Number of rows inserted 2, updated 0, deleted 0, read 0 0.00 inserts/s, 0.00 updates/s, 0.00 deletes/s, 0.00 reads/s ------------ TRANSACTIONS ------------ Trx id counter 305 Purge done for trx's n:o < 0 undo n:o < 0 History list length 0 LIST OF TRANSACTIONS FOR EACH SESSION: ---TRANSACTION 304, not started MySQL thread id 11, OS thread handle 0x7f788d68c700, query id 503 localhost root show engine innodb status ---------------------------- END OF INNODB MONITOR OUTPUT ============================ 1 row in set (0.01 sec)