[[378331]]

序文

通常、ある Redis インスタンスから別の Redis インスタンスにデータを同期または移行するにはどうすればよいでしょうか?

データ移行は一般的に簡単です。ソースRedisインスタンスからRDBファイルを直接エクスポートし、それをターゲットRedisインスタンスにインポートするだけです。しかし、リアルタイムの増分同期はより困難です。このニーズに対処するための良い方法は何でしょうか？ここでは、Alibaba Cloudのオープンソースツールであるredis-shakeをご紹介します。

• Redis-shake プロジェクトのアドレスは次のとおりです: https://github.com/alibaba/RedisShake

基本機能

redis-shakeは、redis-portをベースに改良した製品です。解析、リカバリ、バックアップ、同期の4つの機能をサポートしています。以下では、主に同期（sync）について紹介します。

• 復元: RDB ファイルを宛先の Redis データベースに復元します。
• バックアップ ダンプ: RDB ファイルを使用してソース Redis のデータ全体をバックアップします。
• 解析 (デコード): RDB ファイルを読み取り、保存のために JSON 形式に解析します。
• 同期：ソースと宛先のRedis間のデータ同期、完全および増分データ移行、オンプレミスからAlibaba Cloudへの同期、異なるオンプレミス環境間の同期をサポートします。また、単一ノード、マスタースレーブバージョン、クラスターバージョン間の同期もサポートします。ソースがクラスターバージョンの場合、RedisShakeインスタンスを起動して異なるデータベースノードからデータをプルすることは可能ですが、ソース側でスロット移動機能を有効にすることはできません。宛先がクラスターバージョンの場合、1つ以上のデータベースノードへの書き込みが可能です。
• 同期機能：ソースとターゲットのRedisインスタンス間のデータ同期をサポートしますが、完全な移行のみをサポートします。移行は「scan」コマンドと「restore」コマンドを使用して実行され、異なるクラウドプロバイダーやRedisバージョン間の移行をサポートします。

基本原則

redis-shakeの基本原理は、スレーブノードがソースRedisクラスターに参加する様子をシミュレートすることです。まず、フルフェッチとリプレイを実行し、次に増分フェッチ（psyncコマンドを使用）を実行します。下の図をご覧ください。

ソースがクラスターモードの場合、プルには1回のredis-shakeのみを起動する必要があります。ソース側のスロット移動操作は有効化しないでください。ターゲットがクラスターモードの場合、単一のノードに書き込み、その後スロットを移行できます。多対多の書き込みも可能です。

現在、redis-shakeは宛先へのシングルリンク実装を使用しています。通常の状況では、これはボトルネックにはなりません。しかし、QPSが高い極端なケースでは、このパフォーマンスがボトルネックになる可能性があり、将来的に最適化する予定です。また、redis-shakeから宛先へのデータ同期は非同期で行われ、読み取りと書き込みの操作は2つの別々のスレッドで実行されるため、ネットワーク遅延によるパフォーマンスの低下を軽減できます。

高効率

完全同期フェーズは並行して実行され、増分同期フェーズは非同期で実行されるため、ミリ秒レベルのレイテンシ（ネットワークレイテンシに依存）を実現します。さらに、大きなキーを一括で取得することで、同期パフォーマンスを最適化します。

モニター

ユーザーは RESTful API を使用して、redis-shake をリアルタイムで監視するためのメトリックを取得できます: curl 127.0.0.1:9320/metric。

チェック

同期の正確性を確認するにはどうすればいいでしょうか？オープンソースの redis-full-check を使用できます: https://github.com/aliyun/redis-full-check?spm=a2c6h.12873639.0.0.4b8974955p9YxV。

サポートされているバージョン

• バージョン 2.8 と 5.0 間の同期をサポートします。
• Codisがサポートされています。
• オンプレミスからクラウド、クラウドからクラウド、クラウドからオンプレミス (Alibaba Cloud は現在マスター/スレーブ バージョンをサポートしています)、およびその他のクラウドから Alibaba Cloud へのリンクをサポートし、ユーザーがハイブリッド クラウド シナリオを柔軟に構築できるようにします。

予防

• ターゲットデータベースのデータエビクションポリシー（maxmemory-policy）がnoeviction以外の値に設定されている場合、ターゲットデータベースとソースデータベース間で不整合が発生する可能性があります。データエビクションポリシーの詳細については、Redisのデータエビクションポリシーの概要を参照してください。
• ソース データベース内の一部のキーが有効期限メカニズムを使用している場合、期限切れのキーが時間内に削除されていない可能性があるため、ターゲット データベースに表示されるキーの数 (info コマンドなど) は、ソース データベース内のキーの数よりも少なくなります。

注: 有効期限メカニズムのないキー、または有効期限が切れていないキーの数は、ソース ライブラリとターゲット ライブラリの両方で同じです。

Redis-shakeをインストールする

# Redis-shakeインストールパッケージをダウンロードする
$ wget 'http://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/assets/attach/120287/cn_zh/1608173646665/redis-shake-v2.0.3.tar.gz'   
 
 # Redis-shakeインストールパッケージを解凍します
$ tar xzf redis-shake-v2.0.3.tar.gz 
 
 # 設定ファイルを変更する
$ cd redis-shake-v2.0.3/
 $ vim redis-shake.conf 
 
 # Redis-shake を起動し、データの移行を開始します。
 $ ./redis-shake.linux -type=sync -conf=redis-shake.conf

• 起動エラーが発生した場合は、関連する原因と解決策について、「一般的なエラーと解決策」を参照してください。

参考リンク

https://developer.aliyun.com/article/691794

https://help.aliyun.com/document_detail/117311.html?spm=a2c4g.11186623.6.651.57fc1516WTPTT9