Database JUNKY

MySQL,MariaDBを中心としたブログです

トップ > Engines > MySQL 異なるストレージエンジン間のレプリケーションをスムーズに行う

MySQL 異なるストレージエンジン間のレプリケーションをスムーズに行う

Engines federated FEDERATION innodb MySQL replication skip エラー スキップ ストレージエンジン レプリケーション 障害対応

どもです。InfiiDBの最終章は、色々とトラブルがあって検証中です。もすこしで解決しそうなので、その時になったらまた記載させていただきます。ごめんなさり・・。今回は、そのトラブルの一つであった、「異なるストレージエンジン間のレプリケーション」の部分の話をさせてください。

  • 異なるストレージエンジン間のレプリケーションって何？ つまり以下のような構成のレプリケーションのことです。 ちょっと前回の「InfiniDB でリアルタイムDWHを作る PART3 ～驚速DWHの構築」のBLACKBOXの部分の話の種明かしをしてしまうと、リアルタイムのしくみは、このフェデレーションによる透過的なテーブル更新を利用してDWHに書き込んでしまえ！という話だったのです。実は今のところ、この試みはさまざまな問題があり、うまいこと話が進まない状態なので今現在は、ちゃんと説明できる状態にはなっておりません。すみません。それはさておき、上記の図は InnoDBのTAB1 (MASTER）→ FederationのTAB1 (SLAVE）→MyISAMのTABとう連鎖的なデータ更新を実現している図です。基本的（INSERT,UPDATE,DELETE）なことであれば、これで問題なく動きます。しかも速い！です。じゃあここで説明する、基本的なこと以外って何？ですが、InnoDBのTAB1 (MASTER）のTAB1の定義が変更になった場合のことを言います。通常、InnoDB→InnoDBのレプリケーションであれば定義の変更も問題なく行われます。うーそうですね。たとえば、schema1（MASTER)のTAB1にカラムが１つ追加になった場合などですかね・・。 MySQLの良いところとしては、データの変更(DML）だけでなく定義の変更(DDL）もレプリケーションしてくれるというところだと思います。しかし、今回のように、InnoDB->Federationのレプリケーションの少し変わった構成でのレプリケーションなどを行った場合は、その便利な機能が災いします。・・で結果からいうとレプリケーションエラーになります。理由は、「Feaderation」ストレージエンジンは、ALTER TABLE等の定義変更をサポートしていないからです。Feaderationの定義変更は、基本、Drop & Create です。そういう仕様です。これはこれでしょうがない・・。
  • エラーでレプリケーションを止めないために このままの状態で運用のラインに乗せた場合、定義の変更の作業が入ったと同時に必ずレプリケーションエラーが発生してしまいます。ん？スレーブ側のレプリケーションを止めて（stop slave）、スレーブ→マスターの順で定義を変更すれば問題ないんじゃないの？んー無理無理、スレーブ側を再会（start slave）したと同時にマスターの定義変更がレプリケーションしてくるので結局レプリケーションエラーになってしまうのです。
  • 結局エラーになるんじゃん？ はい、残念ながら結局エラーになるのです・・。 もうエラーになるのがわかった以上、そのエラーはスルーしてレプリケーションを続けてくれ！という半ばやけくそ（でもないけど）な気分になってきます。
  • 結局どうするの？ そのエラーがきたら無視してレプリケーションを続行させればいいのです。どうすればいいのか？ [shell] --slave-skip-errors [/shell] を利用すればいいのです ^^; 荒業ではありますが、定義の変更毎にいちいち対応するよりましです。ちなみに、oracle 非推奨です また、上記図の話に戻りますが、マスターサーバの定義が変更になった場合、通常ではスレーブ側では以下のような状態になります。下記にて説明しているのは、innodbのストレージエンジンを利用したusersテーブル（MASTER）から、FEDERATEDストレージエンジンのusers（SLAVE)のレプリケーションの環境から、カラムを追加したときの挙動について説明しております。▼これがマスター側の設定 [shell] mysql> show create table users; +-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+ | Table | Create Table | +-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+ | users | CREATE TABLE `users` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT, `user_name` varchar(100) NOT NULL COMMENT 'ユーザー名', `user_mail` varchar(100) NOT NULL COMMENT 'メールアドレス', `last_update` datetime NOT NULL COMMENT '最終更新日', PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=7 DEFAULT CHARSET=utf8 | +-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+ 1 row in set (0.00 sec)[/shell] ▼これがスレーブ側の設定 [shell] mysql> show create table users; +-------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+ | Table | Create Table | +-------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+ | users | CREATE TABLE `users` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT, `user_name` varchar(100) NOT NULL COMMENT 'ユーザー名', `user_mail` varchar(100) NOT NULL COMMENT 'メールアドレス', `last_update` datetime NOT NULL COMMENT '最終更新日', PRIMARY KEY (`id`) ) ENGINE=FEDERATED DEFAULT CHARSET=utf8 CONNECTION='s' | +-------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+ 1 row in set (0.00 sec) [/shqll] ▼上記の構成で、マスター側のテーブルにcol1というカラムを追加する [shell] mysql> alter table users add column col1 char(10); Query OK, 6 rows affected (0.23 sec) Records: 6 Duplicates: 0 Warnings: 0 mysql> show create table users; +-------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+ | Table | Create Table | +-------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+ | users | CREATE TABLE `users` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT, `user_name` varchar(100) NOT NULL COMMENT 'ユーザー名', `user_mail` varchar(100) NOT NULL COMMENT 'メールアドレス', `last_update` datetime NOT NULL COMMENT '最終更新日', `col1` char(10) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=7 DEFAULT CHARSET=utf8 | +-------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+ 1 row in set (0.00 sec) [/shell] ▼この状態でスレーブの状態を確認してみます。当然エラーになります。ここで、エラーNOを覚えておいてください。Last_SQL_Errno:  1032 [shell] mysql> show slave status\G *************************** 1. row *************************** Slave_IO_State: Waiting for master to send event Master_Host: 192.168.0.42 Master_User: slave Master_Port: 3306 Connect_Retry: 60 Master_Log_File: mysql-bin.000006 Read_Master_Log_Pos: 542 Relay_Log_File: relay-bin.000006 Relay_Log_Pos: 474 Relay_Master_Log_File: mysql-bin.000006 Slave_IO_Running: Yes Slave_SQL_Running: No Replicate_Do_DB: Replicate_Ignore_DB: Replicate_Do_Table: Replicate_Ignore_Table: Replicate_Wild_Do_Table: Replicate_Wild_Ignore_Table: Last_Errno: 1031 Last_Error: Error 'Table storage engine for 'users' doesn't have this option' on query. Default database: 'sqorder'. Query: 'alter table users add column col1 char(10)' Skip_Counter: 0 Exec_Master_Log_Pos: 434 Relay_Log_Space: 878 Until_Condition: None Until_Log_File: Until_Log_Pos: 0 Master_SSL_Allowed: No Master_SSL_CA_File: Master_SSL_CA_Path: Master_SSL_Cert: Master_SSL_Cipher: Master_SSL_Key: Seconds_Behind_Master: NULL Master_SSL_Verify_Server_Cert: No Last_IO_Errno: 0 Last_IO_Error: Last_SQL_Errno: 1031 Last_SQL_Error: Error 'Table storage engine for 'users' doesn't have this option' on query. Default database: 'sqorder'. Query: 'alter table users add column col1 char(10)' Replicate_Ignore_Server_Ids: Master_Server_Id: 201 1 row in set (0.00 sec) [/shell] ▼ SLAVEのMySQLに以下の設定を追記して再度SLAVEを開始します。 [shell] # vi /etc/my.cnf --- # 下記のエラーコードはskipする slave-skip-errors=1032,1031 [/shell] ▼レプリケーションが稼動している状態で、マスターに対して、再度alter table 文を実行します。尚、先ほどの検証で、col1というカラムを追加してしまいましたので、今回はcol1を削除してみます。目的は、SLAVE側でエラーをSKIPするところの部分なので、replicationがどーたらこうたらとかFEDERATIONがあ＾でもないこーでもないという話は割愛いたします。 ▼今回は以下のSQLでFEDERATON表である、userのSLAVEがエラーにならないことを確認する作業です [shell] mysql> alter table users drop col1 ; [/shell] ▼結果、SLAVEのSTATUSはエラーになっていないのがわかるかと思います。 [shell] mysql> show slave status\G *************************** 1. row *************************** Slave_IO_State: Waiting for master to send event Master_Host: 192.168.0.42 Master_User: slave Master_Port: 3306 Connect_Retry: 60 Master_Log_File: mysql-bin.000006 Read_Master_Log_Pos: 836 Relay_Log_File: relay-bin.000012 Relay_Log_Pos: 346 Relay_Master_Log_File: mysql-bin.000006 Slave_IO_Running: Yes Slave_SQL_Running: Yes Replicate_Do_DB: Replicate_Ignore_DB: Replicate_Do_Table: Replicate_Ignore_Table: Replicate_Wild_Do_Table: Replicate_Wild_Ignore_Table: Last_Errno: 0 Last_Error: Skip_Counter: 0 Exec_Master_Log_Pos: 836 Relay_Log_Space: 496 Until_Condition: None Until_Log_File: Until_Log_Pos: 0 Master_SSL_Allowed: No Master_SSL_CA_File: Master_SSL_CA_Path: Master_SSL_Cert: Master_SSL_Cipher: Master_SSL_Key: Seconds_Behind_Master: 0 Master_SSL_Verify_Server_Cert: No Last_IO_Errno: 0 Last_IO_Error: Last_SQL_Errno: 0 Last_SQL_Error: Replicate_Ignore_Server_Ids: Master_Server_Id: 201 1 row in set (0.00 sec) [/shell] どうでしょうか？