TCF (0.9.0): truncate приводит к потере данных

[maryiaLichko]

GH repo: https://github.com/tarantool/cluster-federation
Dev ticket in Jira: https://jira.vk.team/browse/TNTP-1825 https://github.com/tarantool/cluster-federation/issues/123
Since: 0.9.0
Root documents:

• https://www.tarantool.io/ru/clustersfederation/doc/latest/admin_guide/
• https://www.tarantool.io/ru/clustersfederation/doc/latest/references/http_reference_tcf_replicator/

Details

в комментах

[DifferentialOrange]

Особенности обработки truncate

До версии TCF 0.9.0 реплицирование операций truncate между кластерами могло приводить к потере данных на пассивном кластере. В версии TCF 0.9.0 обработка truncate была исправлена. Вместе с тем был ограничен круг сценариев работы с truncate, которые поддерживаются репликацией.

truncate распределённой системы считается опасным сценарием, проблемы в котором (например, частичный успех из-за сетевых неполадок) могут привести к необходимости делать rebootstrap пассивного кластера. Не рекомендуется использовать данную операцию на production-системах.

Поддерживается репликация таких событий truncate, которые представляют собой одновременный вызов space:truncate на каждом шарде распределённого кластера (например, crud.truncate). Одновременность вызова определяется параметром конфигурации destination.truncate_collect_timeout (по умолчанию 1 минута). Не поддерживается сценарий, в котором space:truncate вызывается только на части шардов распределённого кластера. Каждая транзакция, содержащая space:truncate, должна состоять только из одного space:truncate. Вызов space:truncate во время холодной загрузки данных (стадия обработки snapshot) также может привести к ошибке репликации. В случае использования неподдерживаемой операции на активном кластере репликация завершается с ошибкой. Для её восстановления необходимо провести rebootstrap. Также стоит отметить, что наличие операций truncate негативно влияет на производительность системы, поскольку её обработка требует дополнительной синхронизации.

Новые параметры конфигурации

destination.truncate_collect_timeout
Тип: число в наносекундах или строковое выражение формата time.ParseDuration (1s, 5m)
Значение по умолчанию: 1m

Время, за которое ожидается получение на destination операции truncate от каждого шарда источника.

destination.truncate_buffer_size
Тип: число в количестве репликационных событий
Значение по умолчанию: 100000

Размер буфера для событий, полученных destination при ожидании получения truncate от каждого шарда источника. В буфер попадают события, которые должны быть обработаны строго после truncate.

Новые сообщения в логе конфигурации

post-truncate buffer overflow

Failed to replicate truncate: post-truncate buffer overflow. Beware that partial cluster truncate is not supported, rebootstrap is required in this case. If it's not the reason, consider increasing truncate_buffer_size (current value 100000)

Уровень: Error

Использована неподдерживаемая операция truncate или поддерживаемая операция truncate не может быть обработана при текущей конфигурации destination. В первом случае необходимо провести rebootstrap системы. Во втором необходимо увеличить параметр destination.truncate_buffer_size.

failed to collect truncate event from each shard

Failed to replicate truncate: failed to collect truncate event from each shard. Beware that partial cluster truncate is not supported, rebootstrap is required in this case. If it's not the reason, consider increasing truncate_collect_timeout (current value 1m)

Уровень: Error

Использована неподдерживаемая операция truncate или поддерживаемая операция truncate не может быть обработана при текущей конфигурации destination. В первом случае необходимо провести rebootstrap системы. Во втором необходимо увеличить параметр destination.truncate_collect_timeout.

failed to build a cluster truncate event

Failed to replicate truncate: failed to build a cluster truncate event: cannot mix space_1 and space_2 spaces truncates
Failed to replicate truncate: failed to build a cluster truncate event: truncate transaction must contain only truncate

Уровень: Error

Использована неподдерживаемая операция truncate. Необходимо провести rebootstrap системы.

full cluster truncate stages

Starting to collect full cluster truncate.

Finished collecting full cluster truncate.

Starting to process full cluster truncate.

Finished processing full cluster truncate.

Starting to push post-truncate buffer (len 1000).

Finished pushing post-truncate buffer.

Уровень: Info

Информация о этапах работы критической секции обработки truncate. Мы не рекомендуем использовать операции truncate на production-системах, см. раздел про ограничения truncate.

unfinished global operation

Unfinished global operation found, will try to reapply

Уровень: Warn

Предупреждение о восстановлении после прерывания во время применения truncate. Мы не рекомендуем использовать операции truncate на production-системах, см. раздел про ограничения truncate.