現在、写真などのデータ保存用や、サーバのバックアップ先として、BUFFALOのTeraStationを複数台使用しています。
毎日レポートメールが送られてくるように設定し、状態やバックアップ状況などを確認していましたが、これまでは一度も問題が発生することはありませんでした。
ある日の朝。TeraStationの本体から聞き慣れない異音がしていました。
ジーカリカリカリ、ジーカリカリカリ。
すぐにPCを立ち上げ、その日のレポートメールを確認すると、「ディスク1に不良セクターを発見しました。」との文字が。
不良セクタだけでは済まず
不良セクタが発生したのは、TS5600D2406というTeraStation。4TBのディスクを6台積んでRAID6を構成し、全24TB中16TB程をデータ領域として使用できるモデルです。
とりあえず状況を確認するため、管理画面に入ろうと思ったのですが、なぜかログインできず。パスワードを入力しても、何事も無かったかのようにログイン画面に戻るだけ。
数分後、今後はこんなレポートメールが届きました。
ディスク1に書き込みができない、というエラーレポートが何通も。これはあまりよろしくない状態。
管理画面に入れなければ、ディスクの取り外し（マウント解除）もできないのですが、それよりもTeraStationが使えないと業務に支障が出てしまうので、とりあえずディスク1を捨てた状態で再起動をかけることにしました。
再起動後、こんなレポートメールが届きました。
どうやら、ディスク1は既にマウントできないほどひどい状況のようです。
ちなみに、syslogサーバに送られていたエラーログはこんな感じ。
xxx xx 00:00:00 TS5600DECE kernelmon: cmd=ioerr sda WRITE 10210456 1
xxx xx 00:00:00 TS5600DECE handle-mdadm-events: Fail, /dev/md1, /dev/sda2
xxx xx 00:00:00 TS5600DECE nas_status.sh: loadavg= 4.41 3.25 1.80 : CPU Utilization= 2%
xxx xx 00:00:00 TS5600DECE libsys: smartctl failed
xxx xx 00:00:00 TS5600DECE kernelmon: cmd=raiddegraded 1 8 2
xxx xx 00:00:00 TS5600DECE kernelmon: cmd=ioerr sda WRITE 10002448 2
xxx xx 00:00:00 TS5600DECE kernelmon: cmd=ioerr sda WRITE 10002448 3
xxx xx 00:00:00 TS5600DECE kernelmon: cmd=ioerr sda WRITE 15181968 4
xxx xx 00:00:00 TS5600DECE kernelmon: cmd=ioerr sda READ 42004480 5
xxx xx 00:00:00 TS5600DECE kernelmon: cmd=ioerr sda READ 42004480 6
xxx xx 00:00:00 TS5600DECE kernelmon: cmd=ioerr sda READ 42004480 7
xxx xx 00:00:00 TS5600DECE kernelmon: cmd=ioerr sda READ 42004480 8
xxx xx 00:00:00 TS5600DECE kernelmon: cmd=ioerr sda READ 42004480 9
xxx xx 00:00:00 TS5600DECE kernelmon: cmd=ioerr sda READ 42004480 10
：
：
：※日時は加工しています。
すぐに交換用ディスクを手配
交換用ディスクをストックしていなかったので、すぐに手配をかけました。手配と言ってもネット通販で注文しただけですが（笑）
どのショップも取り寄せで10営業日前後だったので焦りましたが、2つのサイトで"在庫あり"だったので、ストックもかねて双方で1台ずつ注文。どちらも翌日には発送され、3日後に手元に届きました。
ちなみに、TS5600Dで使用できる交換用ディスクはOP-HDSシリーズと呼ばれるもので、1TB/2TB/3TB/4TBのラインナップがあります。
TS5600D2406は4TBのディスクを使うので、OP-HD4.0Sというディスクを購入します。定価91,300円というとてもとても高価なディスクですが、お店によっては7万円台で購入することもできるようです。
ディスクの交換作業
TeraStationはホットスワップで交換（電源を入れたままディスク交換）ができますが、手順を間違えると取り返しのつかないことになってしまうので、作業は慎重に。
エラーが発生したTeraStationは、液晶ディスプレイのバックライトが赤くなり、エラーランプも点灯していると思います。
また、前面カバーを開けるとディスク毎にステータスランプがあるので、そちらで状況を確認します。
エラーが発生しているディスクのステータスランプは赤く光っていると思いますが、点滅している状態は、まだマウント解除ができていないので、絶対に取り外してはいけません。
マウント解除は管理画面から行います。
管理画面にログインし、左側のメニュー「ディスク」を開き、右側に表示されたメニューからさらに「ディスク」を開きます。
ディスク一覧画面が開くので、今回不良になってしまったディスク（ここではディスク1）を選択し、「ディスク取り出し」ボタンをクリックします。余談ですが、ディスク1はさらに悪化したのか、「未フォーマット」表示になっていますね。
しばらく待つと（1～2分程度？）管理画面のディスクの状態が「取り外し可能」になります。
この状態になると、ディスクのステータスランプも「赤の点滅」から「赤の点灯」に変わるので、点灯状態になったことを確認し、ディスクを取り外します。
ディスクを取り出すと、ディスクステータスランプが「緑の点灯」に変わります。
ディスクを取り外したら、交換用の新しいディスクを取り付けます。
新しいディスクを奥までしっかり押し込んだら、本体の前面にあるファンクションボタンを、ピッと鳴るまで長押しします。3秒くらいかな。
あとは自動でRAIDを再構築してくれるので、待つだけです。再構築中は、液晶ディスプレイに「I18」が表示されます。
また、管理画面でもリビルド中であることが表示されるようになります。
これで交換作業は完了です。RAID6のディスク構成を再構築するのは10分弱で終わりましたが、RAID6自体のリビルドは時間がかかります。保存されているデータ量によって完了までに必要な時間は変わると思いますが、今回は使用量が1.4TB程で、完了までに36時間ほどでした。
リビルド中も、処理速度などは落ちますが通常通り使用することができます。
ちなみに、TeraStationの電源をOFFにしてディスク交換をする場合は、電源ボタンを3秒以内に2回押してシャットダウンし、電源ケーブルを抜いた後にディスクを交換。交換後に電源を入れた後、ファンクションボタンを長押しするところから作業すればOKです。
さいごに
こういったトラブルは、じわじわと兆候が出てくる場合もあれば、今回のように唐突にダメになってしまう場合があります。どちらも最終的に行うべき作業は一緒だと思いますが、心の準備ができない分、唐突に来るのは勘弁してほしいものですね。
そして、交換用ディスクが手に入るまで、意外と日数がかかってしまうことも分かったので、できれば常に1台くらいは予備をストックしておきたいと思った次第です。
とは言え、4TBのディスクだと1台9万円ほどしますので、ストックとして余分に買っておけるか（会社なら稟議が通るかどうか）が問題かもしれません。今回はストック分も買っておけたので、一応安心かな。
ということで、TeraStation TS5600Dシリーズのディスク交換手順でした。いざというときは参考にしてみてください。
コメント