munin の壊れたグラフを修復

2015年12月27日にShuttle製ベアボーンDS57Uの２台目を購入し、それをルーター用として稼働させたのね。

１台目のDS57Uに munin をインストールして、モニタリングしとったんやけど、上述のルーター機交換時にこの１台目をシャットダウンさせた、っと。

それからmunin のグラフがこんなんなったのを修復させた、っちゅうお話。

/var/log/munin/munin-update.log にこんなログが出とった。

2016/01/16 07:45:01 [INFO]: Starting munin-update 2016/01/16 07:45:01 [INFO] starting work in 16183 for fender/127.0.0.1:4949. 2016/01/16 07:45:06 [ERROR] In RRD: Error updating /var/lib/munin/fender/fender-sensors_temp-temp8-g.rrd: '/var/lib/munin/fender/fender-sensors_temp-temp8-g.rrd' is not an RRD file 2016/01/16 07:45:06 [ERROR] In RRD: Error updating /var/lib/munin/fender/fender-sensors_temp-temp6-g.rrd: '/var/lib/munin/fender/fender-sensors_temp-temp6-g.rrd' is not an RRD file 2016/01/16 07:45:06 [ERROR] In RRD: Error updating /var/lib/munin/fender/fender-sensors_temp-temp7-g.rrd: '/var/lib/munin/fender/fender-sensors_temp-temp7-g.rrd' is not an RRD file 2016/01/16 07:45:10 [INFO]: Munin-update finished for node fender;fender (8.88 sec) 2016/01/16 07:45:10 [INFO] Reaping Munin::Master::UpdateWorker. Exit value/signal: 0/0 2016/01/16 07:45:10 [INFO]: Munin-update finished (9.00 sec)

RRDを更新できないねん、と言わはっとる。munin の更新が９秒もかかっとることに、ピンときた。

実は冒頭のルーター機交換のときに、シャットダウンしようとして、やけに時間がかかるなっと思い、無理やりPowerOffしたことを思い出した（これは素直に反省するねん）。

munin 更新中に Ubuntu を無理やり落として、RRDが壊れてしまったんだろうと推論して、以前の履歴が消えることを覚悟して、３つのRRDを消してみた。

５分後にこんなログが出て、RRDが作られたっと。

2016/01/16 11:40:01 [INFO]: Starting munin-update 2016/01/16 11:40:01 [INFO] starting work in 19375 for fender/127.0.0.1:4949. 2016/01/16 11:40:01 [INFO] creating rrd-file for sensors_temp->temp7: '/var/lib/munin/fender/fender-sensors_temp-temp7-g.rrd' 2016/01/16 11:40:01 [INFO] creating rrd-file for sensors_temp->temp8: '/var/lib/munin/fender/fender-sensors_temp-temp8-g.rrd' 2016/01/16 11:40:01 [INFO] creating rrd-file for sensors_temp->temp6: '/var/lib/munin/fender/fender-sensors_temp-temp6-g.rrd' 2016/01/16 11:40:10 [INFO]: Munin-update finished for node fender;fender (9.56 sec) 2016/01/16 11:40:10 [INFO] Reaping Munin::Master::UpdateWorker. Exit value/signal: 0/0 2016/01/16 11:40:10 [INFO]: Munin-update finished (9.66 sec)

munin のページを表示したら、あらら、ちゃんと出てきましたよっと。めでたしめでたし。

ちなみにこのマシンは昨年の構築時に4GBのメモリを搭載しとったけど、16GBに増やした。