Przygotowanie Kubernetes

kkrolikowskiOkoło 2 minutGuide

Klaster Kubernetes Talosa po zakończeniu procesu bootstrap nie jest jeszcze gotowy do uruchamiania aplikacji. Brakuje w nim usług takich jak ingress, load balancer czy monitoring. Trzeba je zainstalować w kolejnym kroku.

Komponenty:

MetalLB
Metrics-server

Znajdują się w katalogu clusters/talos-dev. Logicznie traktowane są jako usługi systemowe, niezwiązane z regularnymi aplikacjami. Po skonfigurowaniu usług bazowych można wdrażać kolejno: repozytorium z appchart oraz poszczególne aplikacje.

FluxCD

Proces warto zacząć od bootstrapu FluxCD. Dzięki temu będzie można utworzyć część zasobów automatycznie.

Aby rozpocząć korzystanie z Fluxa należy wykonać operację bootstrap. W tym procesie Flux generuje i wdraża swoje manifesty na klastrze Kubernetes i publikuje je we wskazanym repozytorium. Miejscem przechowywania konfiguracji klastra mojego środowiska jest GitHub. Lista dostępnych opcji znajduje się w dokumentacji procesu bootstrap.

Kubernetes

Przed wykonaniem polecenia flux należy być zalogowanym do klastra Kubernetes, w którym chcemy mieć zainstalowanego Fluxa.

export GITHUB_TOKEN=gh-xxxxxxxxxxxxx
flux bootstrap github \
  --components-extra=image-reflector-controller,image-automation-controller \
  --token-auth \
  --owner=HomeDevopsLab \
  --repository=test-fluxrepo \
  --branch=main \
  --path=clusters/k3s-test \
  --personal

Powyższe polecenie publikuje w repozytorium manifesty Fluxa, jednocześnie instalując je w klastrze Kubernetes. W efekcie działania w repozytorium tworzony jest katalog clusters/k3s-test, zawierający obiekty Fluxa.

Kustomization

Wdrażanie aplikacji (oraz innych konfiguracji) z użyciem FluxCD zacznij od przygotowania manifestu Kustomization, którym wskażesz katalog apps.

apps

Aby uniknąć błędu Kustomization należy stworzyć katalog apps i opublikować go w repozytorium wraz z manifestem Kustomization.

cd test-fluxrepo
mkdir apps
touch apps/.gitkeep

clusters/k3s-test/apps.yaml
---
apiVersion: kustomize.toolkit.fluxcd.io/v1
kind: Kustomization
metadata:
  name: apps
  namespace: flux-system
spec:
  interval: 1m0s
  sourceRef:
    kind: GitRepository
    name: flux-system
  path: ./apps
  prune: true
  wait: true
  timeout: 1m0s

W tym momencie każdy manifest, który pojawi się w katalogu apps, zostanie automatycznie wdrożony przez Fluxa.

Więcej szczegółów dotyczących FluxCD: Kubernetes/FluxCD

SOPS

Instalacja klucza age

age-keygen -o age.agekey
cat age.agekey |
kubectl create secret generic sops-age \
--namespace=flux-system \
--from-file=age.agekey=/dev/stdin

Konfiguracja w repozytorium

Klucz age zawiera string będący kluczem publicznym age. Można go odczytać z utworzonego wcześniej secretu

🖥️ kubectl get secret sops-age -n flux-system -o json | jq '.data | map_values(@base64d)'
{
  "age.agekey": "# created: 2026-06-25T22:40:53+02:00\n# public key: agexxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx\nAGE-SECRET-KEY-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxZ\n"
}

W głównym katalogu repozytorium należy utworzyć plik .sops.yaml wykorzystując pozyskany we wcześniejszym kroku klucz publiczny.

creation_rules:
  - encrypted_regex: "^(data|stringData)$"
    age: agexxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

Konfigurację pliku clusters/raspberry/apps.yaml wzbogacamy o konfigurację dekrypcji

---
apiVersion: kustomize.toolkit.fluxcd.io/v1beta2
kind: Kustomization
metadata:
  name: apps-cl2
  namespace: flux-system
spec:
  interval: 1m0s
  sourceRef:
    kind: GitRepository
    name: flux-system
  decryption:
    provider: sops
    secretRef:
      name: sops-age
  path: ./apps-raspberry
  prune: true
  wait: true
  timeout: 1m0s

Klucz prywatny

Po zakończeniu konfiguracji można usunąć z dysku plik age.agekey. Cała infrastruktura szyfrowania secretów znajduje się już w klastrze Kubernetes: secret sops-age przechowuje klucz prywatny, a plik .sops.yaml — klucz publiczny.

Więcej szczegółów dotyczących SOPS: Kubernetes/SOPS

Load Balancer

Instalacja

kubectl apply -f https://raw.githubusercontent.com/metallb/metallb/v0.16.1/config/manifests/metallb-native.yaml

Konfiguracja

Trzeba skonfigurować rozgłaszanie adresów IP oraz pulę, z której może korzystać MetalLB. Konfiguracja zostanie zapisana w clusters/talos-dev/metallb. FluxCD zajmie się wdrożeniem w klastrze.

clusters/talos-dev/metallb/advertisement.yaml
apiVersion: metallb.io/v1beta1
kind: L2Advertisement
metadata:
  name: example
  namespace: metallb-system

clusters/talos-dev/metallb/addresspool.yaml
apiVersion: metallb.io/v1beta1
kind: IPAddressPool
metadata:
  name: metallb-ip-pool
  namespace: metallb-system
spec:
  addresses:
  - 192.0.2.170-192.0.2.179

Adresy z puli IPAddressPool nie mogą być używane przez żadne inne urządzenia ani usługi.

Ingress

Jako ingress klaster wykorzystuje Traefik instalowany za pomocą Helma.

W pierwszym kroku trzeba zainstalować wymagane CRD:

kubectl apply -f https://github.com/kubernetes-sigs/gateway-api/releases/download/v1.3.0/standard-install.yaml
kubectl apply -f https://raw.githubusercontent.com/traefik/traefik/v3.5/docs/content/reference/dynamic-configuration/kubernetes-gateway-rbac.yml

Następnie przygotowujemy plik values.yaml włączający obsługę Gateway API:

values.yaml
providers:
  kubernetesGateway:
    enabled: true

i instalujemy chart:

helm repo add traefik https://traefik.github.io/charts
helm repo update
helm upgrade --install traefik traefik/traefik \
  -n traefik --create-namespace \
  -f values.yaml

Metryki Kubernetes

Manifest metrics-server znajduje się w katalogu: clusters/talos-dev/metrics-server.

clusters/talos-dev/metrics-server/components.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
  labels:
    k8s-app: metrics-server
  name: metrics-server
  namespace: kube-system
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  labels:
    k8s-app: metrics-server
    rbac.authorization.k8s.io/aggregate-to-admin: "true"
    rbac.authorization.k8s.io/aggregate-to-edit: "true"
    rbac.authorization.k8s.io/aggregate-to-view: "true"
  name: system:aggregated-metrics-reader
rules:
- apiGroups:
  - metrics.k8s.io
  resources:
  - pods
  - nodes
  verbs:
  - get
  - list
  - watch
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  labels:
    k8s-app: metrics-server
  name: system:metrics-server
rules:
- apiGroups:
  - ""
  resources:
  - nodes/metrics
  verbs:
  - get
- apiGroups:
  - ""
  resources:
  - pods
  - nodes
  verbs:
  - get
  - list
  - watch
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  labels:
    k8s-app: metrics-server
  name: metrics-server-auth-reader
  namespace: kube-system
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: extension-apiserver-authentication-reader
subjects:
- kind: ServiceAccount
  name: metrics-server
  namespace: kube-system
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  labels:
    k8s-app: metrics-server
  name: metrics-server:system:auth-delegator
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: system:auth-delegator
subjects:
- kind: ServiceAccount
  name: metrics-server
  namespace: kube-system
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  labels:
    k8s-app: metrics-server
  name: system:metrics-server
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: system:metrics-server
subjects:
- kind: ServiceAccount
  name: metrics-server
  namespace: kube-system
---
apiVersion: v1
kind: Service
metadata:
  labels:
    k8s-app: metrics-server
  name: metrics-server
  namespace: kube-system
spec:
  ports:
  - appProtocol: https
    name: https
    port: 443
    protocol: TCP
    targetPort: https
  selector:
    k8s-app: metrics-server
---
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    k8s-app: metrics-server
  name: metrics-server
  namespace: kube-system
spec:
  selector:
    matchLabels:
      k8s-app: metrics-server
  strategy:
    rollingUpdate:
      maxUnavailable: 0
  template:
    metadata:
      labels:
        k8s-app: metrics-server
    spec:
      containers:
      - args:
        - --cert-dir=/tmp
        - --secure-port=10250
        - --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname
        - --kubelet-use-node-status-port
        - --metric-resolution=15s
        - --kubelet-insecure-tls
        image: registry.k8s.io/metrics-server/metrics-server:v0.9.0
        imagePullPolicy: IfNotPresent
        livenessProbe:
          failureThreshold: 3
          httpGet:
            path: /livez
            port: https
            scheme: HTTPS
          periodSeconds: 10
        name: metrics-server
        ports:
        - containerPort: 10250
          name: https
          protocol: TCP
        readinessProbe:
          failureThreshold: 3
          httpGet:
            path: /readyz
            port: https
            scheme: HTTPS
          initialDelaySeconds: 20
          periodSeconds: 10
        resources:
          requests:
            cpu: 100m
            memory: 200Mi
        securityContext:
          allowPrivilegeEscalation: false
          capabilities:
            drop:
            - ALL
          readOnlyRootFilesystem: true
          runAsNonRoot: true
          runAsUser: 1000
          seccompProfile:
            type: RuntimeDefault
        volumeMounts:
        - mountPath: /tmp
          name: tmp-dir
      nodeSelector:
        kubernetes.io/os: linux
      priorityClassName: system-cluster-critical
      serviceAccountName: metrics-server
      volumes:
      - emptyDir: {}
        name: tmp-dir
---
apiVersion: apiregistration.k8s.io/v1
kind: APIService
metadata:
  labels:
    k8s-app: metrics-server
  name: v1beta1.metrics.k8s.io
spec:
  group: metrics.k8s.io
  groupPriorityMinimum: 100
  insecureSkipTLSVerify: true
  service:
    name: metrics-server
    namespace: kube-system
  version: v1beta1
  versionPriority: 100