Понятия не имею, что здесь происходит, но добавил новый узел Riak в кластер и зафиксировал изменения. Новый узел занял 0% членства в кластере, в то время как первый узел в кластере растет с членством более 37%. Вот график:
================================= Membership ==================================
Status Ring Pending Node
-------------------------------------------------------------------------------
valid 37.5% 25.0% 'riak@prod-riak-08'
valid 17.2% 25.0% 'riak@prod-riak-09'
valid 25.0% 25.0% 'riak@prod-riak-10'
valid 20.3% 25.0% 'riak@prod-riak-11'
valid 0.0% 0.0% 'riak@prod-riak-12'
А пока похоже, что некоторые данные недоступны. Есть идеи, что происходит? Использование Riak 1.4.8.
Последний журнал риак-12:
2014-06-24 09:00:11.142 [info] <0.347.0>@riak_kv_entropy_manager:perhaps_log_throttle_change:826 Changing AAE throttle from 10 -> 0 msec/key, based on maximum vnode mailbox size 53 from 'riak@prod-riak-09'
2014-06-24 09:02:41.150 [info] <0.347.0>@riak_kv_entropy_manager:perhaps_log_throttle_change:826 Changing AAE throttle from 0 -> 10 msec/key, based on maximum vnode mailbox size 319 from 'riak@prod-riak-10'
2014-06-24 09:02:56.152 [info] <0.347.0>@riak_kv_entropy_manager:perhaps_log_throttle_change:826 Changing AAE throttle from 10 -> 0 msec/key, based on maximum vnode mailbox size 1 from 'riak@prod-riak-10'
Хорошо, оказывается, это странная проблема с балансировкой данных в Riak. По сути, riak-08 все еще восстанавливался с узла, который был удален из кластера (вышел из строя, не поднялся).
После снижения riak-admin transfer-limit 30
все начало постепенно нормализоваться. Примерно через час Риак снова сбалансировал данные обратно на риак-12:
================================= Membership ==================================
Status Ring Pending Node
-------------------------------------------------------------------------------
valid 25.0% 18.8% 'riak@prod-riak-08'
valid 25.0% 18.8% 'riak@prod-riak-09'
valid 25.0% 18.8% 'riak@prod-riak-10'
valid 25.0% 25.0% 'riak@prod-riak-11'
valid 0.0% 18.8% 'riak@prod-riak-12'