[internal] Renewal of expiring certs; go hook migration; cert alerts

.werf/bundle.yaml

@@ -14,9 +14,16 @@ import:
   add: /lib/python/dist
   to: /lib/python/dist
   after: setup
+# Rendering .werf/go-hooks.yaml is required!
+- image: go-hooks-artifact
+  add: /usr/local/bin/go-hooks
+  to: /hooks/go-hooks
+  after: setup  
 git:
 - add: /
   to: /
+  excludePaths:
+    - hooks/go  
   includePaths:
   - .helmignore
   - charts

.werf/consts.yaml

@@ -2,6 +2,7 @@
 {{- $_ := set $ "BASE_ALPINE_DEV"  "registry.deckhouse.io/base_images/dev-alpine:3.16.3@sha256:c706fa83cc129079e430480369a3f062b8178cac9ec89266ebab753a574aca8e" }}
 {{- $_ := set $ "BASE_ALT_P11"     "registry.deckhouse.io/base_images/alt:p11@sha256:c396cd7348a48f9236413e2ef5569223c15e554c0a3ca37f9d92fb787d4f1893" }}
 {{- $_ := set $ "BASE_GOLANG_1_22" "registry.deckhouse.io/base_images/golang:1.22.7-bullseye@sha256:e5dc67bf84590c008338a0e30f56a6ed2092a38e0d2895c797dd501db73a2330" }}
+{{- $_ := set $ "BASE_GOLANG_1_23" "registry.deckhouse.io/base_images/golang:1.23.6-alpine3.20@sha256:3058c63e0e2532881949c4186414baa24a0f9a8f9349b1853daa49be816f42e9" }}
 {{- $_ := set $ "BASE_PYTHON"      "registry.deckhouse.io/base_images/python:3.7.16-alpine3.16@sha256:054c898ee5eacb0b3d85bdb603d6229b93619964cc01be5274acdf3e451e5ef8" }}
 {{- $_ := set $ "BASE_SCRATCH"     "registry.deckhouse.io/base_images/scratch@sha256:653ae76965c98c8cd1c8c9ff7725316d2983986f896655b30e0f44d2f8b2dd7e" }}
 

docs/FAQ.md

@@ -672,3 +672,38 @@ DRBD with a replica count greater than 1 provides de facto network RAID. Using R
 ## Why do you recommend using local disks (and not NAS)?
 
 DRBD uses the network for data replication. When using NAS, network load will increase significantly because nodes will synchronize data not only with NAS but also between each other. Similarly, read/write latency will also increase. NAS typically involves using RAID on its side, which also adds overhead.
+
+
+## How to manually trigger the certificate renewal process?
+
+Although the certificate renewal process is automated, manual renewal might still be necessary because it can be performed during a convenient maintenance window when it is acceptable to restart the module's objects. The automated renewal does not restart any objects.
+
+To manually trigger the certificate renewal process, create a `ConfigMap` named `manualcertrenewal-trigger`:
+
+```yaml
+apiVersion: v1
+kind: ConfigMap
+metadata:
+  name: manualcertrenewal-trigger
+  namespace: d8-sds-replicated-volume
+```
+
+The system will stop all necessary module objects, update the certificates, and then restart them.
+
+You can check the operation status using the following command:
+
+```shell
+kubectl -n d8-sds-replicated-volume get cm manualcertrenewal-trigger -ojsonpath='{.data.step}'
+```
+  - `Prepared` — health checks have passed successfully, and the downtime window has started.
+  - `TurnedOffAndRenewedCerts` — the system has been stopped and certificates have been renewed.
+  - `TurnedOn` — the system has been restarted.
+  - `Done` — the operation is complete and ready to be repeated.
+
+Certificates are issued for a period of one year and are marked as expiring 30 days before their expiration date. The monitoring system alerts about expiring certificates (see the `D8LinstorCertificateExpiringIn30d` alert).
+
+To repeat the operation, simply remove the label from the trigger using the following command:
+
+```shell
+kubectl -n d8-sds-replicated-volume label cm manualcertrenewal-trigger storage.deckhouse.io/sds-replicated-volume-manualcertrenewal-completed-
+```

docs/FAQ_RU.md

@@ -704,3 +704,39 @@ DRBD с количеством реплик больше 1 предоставл
 
 DRBD использует сеть для репликации данных. При использовании NAS нагрузка на сеть будет расти кратно, так как узлы будут синхронизировать данные не только с NAS, но и между собой. Аналогично будет расти задержка на чтение или запись.
 NAS обычно предполагает использование RAID на своей стороны, что также увеличивает дополнительную нагрузку.
+
+## Как вручную инициировать процесс перевыпуска сертификатов?
+
+Несмотря на то, что процесс перевыпуска сертификатов автоматизирован, ручной перевыпуск всё ещё может понадобиться, так как его можно произвести в удобное временное окно, когда допустимо перезапустить объекты модуля. Автоматизированный перевыпуск не перезапускает объекты.
+
+Чтобы вручную инициировать процесс продления сертификатов, создайте `ConfigMap` с именем `manualcertrenewal-trigger`:
+
+```yaml
+apiVersion: v1
+kind: ConfigMap
+metadata:
+  name: manualcertrenewal-trigger
+  namespace: d8-sds-replicated-volume
+```
+
+Система остановит все необходимые объекты модуля, обновит сертификаты и затем снова их запустит.
+
+Статус операции можно определить с помощью команды:
+
+```shell
+kubectl -n d8-sds-replicated-volume get cm manualcertrenewal-trigger -ojsonpath='{.data.step}'
+```
+  - `Prepared` — проверки состояния успешно пройдены, начато время простоя.
+  - `TurnedOffAndRenewedCerts` — система остановлена, сертификаты обновлены.
+  - `TurnedOn` — система снова запущена.
+  - `Done` — операция завершена и готова к повторению.
+
+Сертификаты выдаются сроком на один год и помечаются как устаревающие за 30 дней до истечения срока действия. Система мониторинга оповещает о наличии устаревающих сертификатов (см. оповещение  `D8LinstorCertificateExpiringIn30d`)
+
+Чтобы повторить операцию, достаточно удалить метку с триггера, с помощью команды:
+
+```shell
+kubectl -n d8-sds-replicated-volume label cm manualcertrenewal-trigger storage.deckhouse.io/sds-replicated-volume-manualcertrenewal-completed-
+```
+
+

hooks/go/050-label-expiring-certs/label_expiring_certs.go

@@ -0,0 +1,79 @@
+package labelexpiringcerts
+
+import (
+	"context"
+	"errors"
+	"fmt"
+	"time"
+
+	"github.com/deckhouse/module-sdk/pkg"
+	"github.com/deckhouse/module-sdk/pkg/registry"
+	"github.com/deckhouse/sds-replicated-volume/hooks/go/consts"
+	"github.com/deckhouse/sds-replicated-volume/hooks/go/utils"
+	v1 "k8s.io/api/core/v1"
+	"sigs.k8s.io/controller-runtime/pkg/client"
+)
+
+const (
+	SecretCertExpire30dLabel  = "storage.deckhouse.io/sds-replicated-volume-cert-expire-in-30d"
+	SecretExpirationThreshold = time.Hour * 24 * 30
+)
+
+var _ = registry.RegisterFunc(
+	&pkg.HookConfig{
+		Schedule: []pkg.ScheduleConfig{
+			{Name: "daily", Crontab: "40 12 * * *"},
+		},
+		Queue: fmt.Sprintf("modules/%s", consts.ModuleName),
+	},
+	labelExpiringCerts,
+)
+
+func labelExpiringCerts(ctx context.Context, input *pkg.HookInput) error {
+	cl := input.DC.MustGetK8sClient()
+
+	secrets := &v1.SecretList{}
+	if err := cl.List(ctx, secrets, client.InNamespace(consts.ModuleNamespace)); err != nil {
+		return fmt.Errorf("listing secrets: %w", err)
+	}
+
+	var resultErr error
+	for _, secret := range secrets.Items {
+		log := input.Logger.With("name", secret.Name)
+
+		if expiring, err := utils.AnyCertIsExpiringSoon(log, &secret, SecretExpirationThreshold); err != nil {
+			// do not retry certificate errors, probably just a format problem
+			log.Error("error checking certificates", "err", err)
+			continue
+		} else if !expiring {
+			log.Info("no expiring certs found")
+
+			if secret.Labels[SecretCertExpire30dLabel] == "" {
+				continue
+			}
+
+			log.Info("secret have obsolete label, remove")
+
+			delete(secret.Labels, SecretCertExpire30dLabel)
+			if err := cl.Update(ctx, &secret); err != nil {
+				resultErr = errors.Join(resultErr, fmt.Errorf("error removing label from secret: %w", err))
+				log.Error("error removing label from secret", "err", err)
+			}
+
+			continue
+		}
+
+		if secret.Labels[SecretCertExpire30dLabel] != "" {
+			log.Info("cert already have label, skip")
+			continue
+		}
+
+		secret.Labels[SecretCertExpire30dLabel] = "true"
+		if err := cl.Update(ctx, &secret); err != nil {
+			resultErr = errors.Join(resultErr, fmt.Errorf("error adding label to secret: %w", err))
+			log.Error("error adding label to secret", "err", err)
+		}
+	}
+
+	return resultErr
+}