решение on OldTyT

решение on OldTyT https://oldtyt.xyz/ru/tags/%D1%80%D0%B5%D1%88%D0%B5%D0%BD%D0%B8%D0%B5/ Recent content in решение on OldTyT OldTyT https://oldtyt.xyz/papermod-cover.png https://oldtyt.xyz/papermod-cover.png Hugo -- gohugo.io Как я запускал minecraft в kubernetes Как я запускал minecraft в kubernetes https://oldtyt.xyz/ru/posts/minecraft_in_kubernetes/ https://oldtyt.xyz/ru/posts/minecraft_in_kubernetes/ Sat, 07 Oct 2023 00:00:00 +0000 https://oldtyt.xyz/ru/posts/minecraft_in_kubernetes/ Minecraft в kubernetes. Minecraft в kubernetes

Всем привет, в этой статье я поделюсь своим опытом запуска Minecraft в kubernetes.

Основная проблема, возникающая при попытке запустить Minecraft в Kubernetes, заключается в том, что во время работы Minecraft происходит работа с файлами на локальном диске, а такой подход в Kubernetes является нежелательным, поскольку в случае сбоя ноды (назовем его нода A), на которой развернут под - под не сможет быть создан на другой ноде (нода B), так как известно, что под ранее работал на ноде A и, соответственно, все его постоянные файлы находятся там.

Варианты решения проблем с использованием постоянных файлов

В поисках решения этой проблемы, я определил возможные методы решения:

отказ от постоянных файлов
использовать Persistent Volume
создать сетевой диск
использовать csi-s3

Давайте подробнее рассмотрим каждый из вариантов

Отказ от постоянных файлов

Плюсы:

Работает нативно
Это лучшее решение, т.к. не будет проблем с пересозданием пода на другой ноде в случае сбоя

Минусы:

Не применимо к текущему приложению

Использовать Persistent Volume

Плюсы:

Высокая скорость чтения/записи файлов

Минусы:

Все данные находятся на одной ноде, в случае его поломки pod не сможет подняться

Создать сетевой диск

Плюсы:

Данные реплицируются на несколько нод

Минусы:

Более низкая скорость чтения/записи файлов

Использовать csi-s3

Плюсы:

Данные не находятся в кластере

Минусы:

Более низкая скорость чтения/записи файлов
Из-за большого количества вызовов API может получиться высокая цена

Анализ вариантов

Основываясь на полученных данных, мы приходим к выводу, что на данный момент не существует решения, которое могло бы соответствовать нашим требованиям, а именно:

высокая скорость чтения/записи файлов
не должно быть привязки к определенной ноде
минимальные затраты на реализацию данного функционала

Решение проблемы с использованием постоянных данных

Чтобы решить эту проблему, был подготовлен docker контейнер.

Алгоритм работы контейнера

Добавляются SSH-ключи. Ключи берутся из значений переменных ENV
Репозиторий сервера клонируется из git с конфигурацией сервера в каталог - /app
Последовательности MYSQL_.+ заменяются во всех файлах в /app/plugins на их значение ENV
Игровой мир копируется из хранилища s3 и распаковывается
Игровые плагины и ядро копируются из хранилища s3
Начинается /task_manager.py - который отвечает за выполнение задач cron, работу сервера и вывод syslog

Cron задачи

В задачах cron в настоящее время настроены следующие задачи:

* * * * * root /git_pull.sh | logger
* * * * * root /git_commit.sh | logger
0 * * * * root /copy_worlds.sh | logger

Информация по каждой задаче:

/git_pull.sh - выполняет git pull в каталоге /app
/git_commit.sh - создает commit и отправляет его в репозиторий
/copy_worlds.sh - создает копию мира и загружает ее в хранилище s3 вместо существующей

Пример развертывания службы

Настройка `ingress` контроллера

Рассмотрим пример с traefik. Чтобы настроить ingres контроллер, вам нужно будет выполнить следующую команду:

$ helm upgrade --values traefik-values.yaml traefik traefik/traefik -n kube-system

Контент файла traefik-values.yaml:

ports:
  traefik:
    port: 9000
    expose: false
    exposedPort: 9000
    protocol: TCP
  web:
    port: 8000
    expose: true
    exposedPort: 80
    protocol: TCP
  minecraft:
    port: 22565
    expose: true
    exposedPort: 25565
    protocol: TCP
  websecure:
    port: 8443
    expose: true
    exposedPort: 443
    protocol: TCP
    http3:
      enabled: false
    tls:
      enabled: true
      options: ""
      certResolver: ""
      domains: []
    middlewares: []
  metrics:
    port: 9100
    expose: false
    exposedPort: 9100
    protocol: TCP

После этого подключения к LoadBalancer будут разрешены через порт 25565

$ kubectl get svc -n kube-system | grep -v "none"
NAME                 TYPE           CLUSTER-IP      EXTERNAL-IP   PORT(S)                                      AGE
traefik              LoadBalancer   10.43.2.50      100.10.0.11   25565:30224/TCP,80:31380/TCP,443:30226/TCP   2d21h

Deploy

Пример окончательного манифеста, содержащего требуемую конфигурацию:

---
apiVersion: v1
kind: Namespace
metadata:
  name: minecraft
---
apiVersion: v1
kind: Secret
metadata:
  name: minecraft-secret
  namespace: minecraft
type: Opaque
data:
  SSH_KEY_PUBLIC: "SECRET"
  SSH_KEY_PRIVATE: "SECRET"
  MYSQL_ROOT_PASSWORD: "SECRET"
  MYSQL_DBS: "SECRET"
  MYSQL_HOST: "SECRET"
  MYSQL_USER: "SECRET"
  MYSQL_PASSWORD: "SECRET"
  S3_BUCKET: "SECRET"
  S3_ACCESS_KEY: "SECRET"
  S3_ACCESS_KEY_ID: "SECRET"
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: some_worlds_name
  namespace: minecraft
spec:
  selector:
    matchLabels:
      app: some_worlds_name
  strategy:
    type: Recreate
  template:
    metadata:
      namespace: minecraft
      labels:
        app: some_worlds_name
    spec:
      imagePullSecrets:
      - name: github-registry
      containers:
      - image: ghcr.io/oldtyt/docker_minecraft
        imagePullPolicy: Always
        name: some_worlds_name
        resources:
          requests:
            cpu: 1000m
            memory: 5G
          limits:
            memory: 6G
            cpu: 1200m
        env:
          - name: XMX
            value: "5G"
          - name: "XMS"
            value: "512M"
          - name: MYSQL_HOST
            valueFrom:
              secretKeyRef:
                name: minecraft-secret
                key: MYSQL_HOST
          - name: MYSQL_USER
            valueFrom:
              secretKeyRef:
                name: minecraft-secret
                key: MYSQL_USER
          - name: MYSQL_DB
            valueFrom:
              secretKeyRef:
                name: minecraft-secret
                key: MYSQL_USER
          - name: MYSQL_PASSWORD
            valueFrom:
              secretKeyRef:
                name: minecraft-secret
                key: MYSQL_PASSWORD
          - name: S3_BUCKET
            valueFrom:
              secretKeyRef:
                name: minecraft-secret
                key: S3_BUCKET
          - name: S3_ACCESS_KEY
            valueFrom:
              secretKeyRef:
                name: minecraft-secret
                key: S3_ACCESS_KEY
          - name: S3_ACCESS_KEY_ID
            valueFrom:
              secretKeyRef:
                name: minecraft-secret
                key: S3_ACCESS_KEY_ID
          - name: SSH_KEY_PRIVATE
            valueFrom:
              secretKeyRef:
                name: minecraft-secret
                key: SSH_KEY_PRIVATE
          - name: SSH_KEY_PUBLIC
            valueFrom:
              secretKeyRef:
                name: minecraft-secret
                key: SSH_KEY_PUBLIC
          - name: PLUGINS_LIST
            value: "some,plugins,list"
          - name: GIT_REPO
            value: "git@github.com:USER/REPO.git"
          - name: KERNEL
            value: "KERNEL"
          - name: "WORLDS"
            value: "some_worlds_name"
---
apiVersion: v1
kind: Service
metadata:
  name: some_worlds_name
  namespace: minecraft
  labels:
    env: prod
    app: some_worlds_name
    owner: OldTyT
spec:
  ports:
  - name: minecraft
    targetPort: 25565
    port: 25565
    protocol: TCP
  selector:
    app: some_worlds_name

Команда для развертывания манифеста:

$ kubectl apply -f minecraft.yaml

]]>

Minecraft в kubernetes

Всем привет, в этой статье я поделюсь своим опытом запуска Minecraft в kubernetes.

Варианты решения проблем с использованием постоянных файлов

В поисках решения этой проблемы, я определил возможные методы решения:

отказ от постоянных файлов
использовать Persistent Volume
создать сетевой диск
использовать csi-s3

Давайте подробнее рассмотрим каждый из вариантов

Отказ от постоянных файлов

Плюсы:

Работает нативно
Это лучшее решение, т.к. не будет проблем с пересозданием пода на другой ноде в случае сбоя

Минусы:

Не применимо к текущему приложению

Использовать Persistent Volume

Плюсы:

Высокая скорость чтения/записи файлов

Минусы:

Все данные находятся на одной ноде, в случае его поломки pod не сможет подняться

Создать сетевой диск

Плюсы:

Данные реплицируются на несколько нод

Минусы:

Более низкая скорость чтения/записи файлов

Использовать csi-s3

Плюсы:

Данные не находятся в кластере

Минусы:

Более низкая скорость чтения/записи файлов
Из-за большого количества вызовов API может получиться высокая цена

Анализ вариантов

высокая скорость чтения/записи файлов
не должно быть привязки к определенной ноде
минимальные затраты на реализацию данного функционала

Решение проблемы с использованием постоянных данных

Чтобы решить эту проблему, был подготовлен docker контейнер.

Алгоритм работы контейнера

Добавляются SSH-ключи. Ключи берутся из значений переменных ENV
Репозиторий сервера клонируется из git с конфигурацией сервера в каталог - /app
Последовательности MYSQL_.+ заменяются во всех файлах в /app/plugins на их значение ENV
Игровой мир копируется из хранилища s3 и распаковывается
Игровые плагины и ядро копируются из хранилища s3
Начинается /task_manager.py - который отвечает за выполнение задач cron, работу сервера и вывод syslog

Cron задачи

В задачах cron в настоящее время настроены следующие задачи:

* * * * * root /git_pull.sh | logger
* * * * * root /git_commit.sh | logger
0 * * * * root /copy_worlds.sh | logger

Информация по каждой задаче:

/git_pull.sh - выполняет git pull в каталоге /app
/git_commit.sh - создает commit и отправляет его в репозиторий
/copy_worlds.sh - создает копию мира и загружает ее в хранилище s3 вместо существующей

Пример развертывания службы

Настройка `ingress` контроллера

Рассмотрим пример с traefik. Чтобы настроить ingres контроллер, вам нужно будет выполнить следующую команду:

$ helm upgrade --values traefik-values.yaml traefik traefik/traefik -n kube-system

Контент файла traefik-values.yaml:

ports:
  traefik:
    port: 9000
    expose: false
    exposedPort: 9000
    protocol: TCP
  web:
    port: 8000
    expose: true
    exposedPort: 80
    protocol: TCP
  minecraft:
    port: 22565
    expose: true
    exposedPort: 25565
    protocol: TCP
  websecure:
    port: 8443
    expose: true
    exposedPort: 443
    protocol: TCP
    http3:
      enabled: false
    tls:
      enabled: true
      options: ""
      certResolver: ""
      domains: []
    middlewares: []
  metrics:
    port: 9100
    expose: false
    exposedPort: 9100
    protocol: TCP

После этого подключения к LoadBalancer будут разрешены через порт 25565

$ kubectl get svc -n kube-system | grep -v "none"
NAME                 TYPE           CLUSTER-IP      EXTERNAL-IP   PORT(S)                                      AGE
traefik              LoadBalancer   10.43.2.50      100.10.0.11   25565:30224/TCP,80:31380/TCP,443:30226/TCP   2d21h

Deploy

Пример окончательного манифеста, содержащего требуемую конфигурацию:

---
apiVersion: v1
kind: Namespace
metadata:
  name: minecraft
---
apiVersion: v1
kind: Secret
metadata:
  name: minecraft-secret
  namespace: minecraft
type: Opaque
data:
  SSH_KEY_PUBLIC: "SECRET"
  SSH_KEY_PRIVATE: "SECRET"
  MYSQL_ROOT_PASSWORD: "SECRET"
  MYSQL_DBS: "SECRET"
  MYSQL_HOST: "SECRET"
  MYSQL_USER: "SECRET"
  MYSQL_PASSWORD: "SECRET"
  S3_BUCKET: "SECRET"
  S3_ACCESS_KEY: "SECRET"
  S3_ACCESS_KEY_ID: "SECRET"
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: some_worlds_name
  namespace: minecraft
spec:
  selector:
    matchLabels:
      app: some_worlds_name
  strategy:
    type: Recreate
  template:
    metadata:
      namespace: minecraft
      labels:
        app: some_worlds_name
    spec:
      imagePullSecrets:
      - name: github-registry
      containers:
      - image: ghcr.io/oldtyt/docker_minecraft
        imagePullPolicy: Always
        name: some_worlds_name
        resources:
          requests:
            cpu: 1000m
            memory: 5G
          limits:
            memory: 6G
            cpu: 1200m
        env:
          - name: XMX
            value: "5G"
          - name: "XMS"
            value: "512M"
          - name: MYSQL_HOST
            valueFrom:
              secretKeyRef:
                name: minecraft-secret
                key: MYSQL_HOST
          - name: MYSQL_USER
            valueFrom:
              secretKeyRef:
                name: minecraft-secret
                key: MYSQL_USER
          - name: MYSQL_DB
            valueFrom:
              secretKeyRef:
                name: minecraft-secret
                key: MYSQL_USER
          - name: MYSQL_PASSWORD
            valueFrom:
              secretKeyRef:
                name: minecraft-secret
                key: MYSQL_PASSWORD
          - name: S3_BUCKET
            valueFrom:
              secretKeyRef:
                name: minecraft-secret
                key: S3_BUCKET
          - name: S3_ACCESS_KEY
            valueFrom:
              secretKeyRef:
                name: minecraft-secret
                key: S3_ACCESS_KEY
          - name: S3_ACCESS_KEY_ID
            valueFrom:
              secretKeyRef:
                name: minecraft-secret
                key: S3_ACCESS_KEY_ID
          - name: SSH_KEY_PRIVATE
            valueFrom:
              secretKeyRef:
                name: minecraft-secret
                key: SSH_KEY_PRIVATE
          - name: SSH_KEY_PUBLIC
            valueFrom:
              secretKeyRef:
                name: minecraft-secret
                key: SSH_KEY_PUBLIC
          - name: PLUGINS_LIST
            value: "some,plugins,list"
          - name: GIT_REPO
            value: "git@github.com:USER/REPO.git"
          - name: KERNEL
            value: "KERNEL"
          - name: "WORLDS"
            value: "some_worlds_name"
---
apiVersion: v1
kind: Service
metadata:
  name: some_worlds_name
  namespace: minecraft
  labels:
    env: prod
    app: some_worlds_name
    owner: OldTyT
spec:
  ports:
  - name: minecraft
    targetPort: 25565
    port: 25565
    protocol: TCP
  selector:
    app: some_worlds_name

Команда для развертывания манифеста:

$ kubectl apply -f minecraft.yaml

]]>

Варианты решения проблем с использованием постоянных файлов

Отказ от постоянных файлов

Использовать Persistent Volume

Создать сетевой диск

Использовать csi-s3

Анализ вариантов

Решение проблемы с использованием постоянных данных

Алгоритм работы контейнера

Cron задачи

Пример развертывания службы

Настройка ingress контроллера

Deploy

Варианты решения проблем с использованием постоянных файлов

Отказ от постоянных файлов

Использовать Persistent Volume

Создать сетевой диск

Использовать csi-s3

Анализ вариантов

Решение проблемы с использованием постоянных данных

Алгоритм работы контейнера

Cron задачи

Пример развертывания службы

Настройка ingress контроллера

Deploy

Настройка `ingress` контроллера

Настройка `ingress` контроллера