Модули k3s не монтируют секреты, определенные в файле imagePullSecrets развертывания helm.

Я создаю развертывание в circlci, которое развертывает мое контейнерное приложение на настроенном мной сервере k3s. Я установил секрет с помощью команд, найденных здесь .

Секрет создается с помощью команды:

kubectl create secret docker-registry regkeyname --docker-server=https://index.docker.io/v1/ \
 --docker-username=username  \
 --docker-password=password  \
 [email protected] \
 --namespace=external

Мой секрет заключается в следующем при запуске kubectl get secret regkeyname --namespace=external --output=yaml:

apiVersion: v1
data:
  .dockerconfigjson: secretbase64stuff
kind: Secret
metadata:
  creationTimestamp: "2020-11-24T13:11:07Z"
  managedFields:
    - apiVersion: v1
      fieldsType: FieldsV1
      fieldsV1:
        f:data:
          .: {}
          f:.dockerconfigjson: {}
        f:type: {}
      manager: kubectl
      operation: Update
      time: "2020-11-24T13:11:07Z"
  name: regkeyname
  namespace: external
  resourceVersion: "16929381"
  selfLink: /api/v1/namespaces/external/secrets/regkeyname
  uid: 51b87508-9cf2-490b-b871-0b5a342ab64c
type: kubernetes.io/dockerconfigjson

Я использую helm для развертывания своего приложения, и развертывание выглядит так:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: {{ .Values.labels.app }}
  labels:
    app: {{ .Values.labels.app }}
spec:
  selector:
    matchLabels:
      app: {{ .Values.labels.app }}
  replicas: 3
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 1
  template:
    metadata:
      labels:
        app: {{ .Values.labels.app }}
        env: {{ .Values.labels.env }}
    spec:
      imagePullSecrets:
        - name: regkeyname
      containers:
        - name: my-service
          image: {{ .Values.image.repository }}:{{ .Values.image.tag }}
          imagePullPolicy: {{ .Values.image.imagePullPolicy }}
          readinessProbe:
            httpGet:
              path: /health
              port: 8080
            initialDelaySeconds: 10
            periodSeconds: 10
            failureThreshold: 5
            successThreshold: 1

однако после развертывания образы не загружаются, и кажется, что мое секретное имя regkeyname не используется/не монтируется в модулях. результат следующий:

Name:           my-service-856454c6cd-qcp7w
Namespace:      external
Priority:       0
Node:           worker-2/192.168.1.13
Start Time:     Tue, 24 Nov 2020 07:20:08 -0600
Labels: app=my-service
  env=development
  pod-template-hash=856454c6cd
Annotations:    <none>
Status:         Pending
IP:             10.42.2.196
Controlled By:  ReplicaSet/my-service-856454c6cd
Containers:
  auth-service:
    Container ID:
    Image:          my-repo/my-service:latest
    Image ID:
    Port:           <none>
    Host Port:      <none>
    State:          Waiting
      Reason:       ImagePullBackOff
    Ready:          False
    Restart Count:  0
    Readiness:      http-get http://:8080/health delay=10s timeout=1s period=10s #success=1 #failure=5
    Mounts:
      /var/run/secrets/kubernetes.io/serviceaccount from default-token-l9b4k (ro)
Conditions:
  Type              Status
  Initialized       True
  Ready             False
  ContainersReady   False
  PodScheduled      True
Volumes:
  default-token-l9b4k:
    Type:        Secret (a volume populated by a Secret)
    SecretName:  default-token-l9b4k
    Optional:    false
QoS Class:       BestEffort
Node-Selectors:  <none>
Tolerations:     node.kubernetes.io/not-ready:NoExecute for 300s
  node.kubernetes.io/unreachable:NoExecute for 300s
Events:
  Type     Reason     Age                    From                  Message
  ----     ------     ----                   ----                  -------
  Normal   Scheduled  <unknown>              default-scheduler     Successfully assigned external/auth-service-856454c6cd-qcp7w to worker-2
  Normal   Pulling    32m (x4 over 34m)      kubelet, worker-2  Pulling image "my-repo/my-service:latest"
  Warning  Failed     32m (x4 over 34m)      kubelet, worker-2  Failed to pull image "my-repo/my-service:latest": rpc error: code = Unknown desc = failed to pull and unpack image "docker.io/my-repo/my-service:latest": failed to resolve reference "docker.io/my-repo/my-service:latest": failed to do request: Head https://registry-1.docker.io/v2/my-repo/my-service/manifests/latest: dial tcp: lookup registry-1.docker.io: Try again
  Warning  Failed     32m (x4 over 34m)      kubelet, worker-2  Error: ErrImagePull
  Warning  Failed     31m (x6 over 34m)      kubelet, worker-2  Error: ImagePullBackOff
  Normal   BackOff    3m54s (x127 over 34m)  kubelet, worker-2  Back-off pulling image "my-repo/my-service:latest"

У меня это работало при локальной работе с kubernetes, поэтому я предполагаю, что проблема должна быть связана либо с k3s, либо с тем фактом, что теперь сервер удален, а не локален. Мы будем очень признательны за любое понимание. Заранее спасибо!


person Marcus Ruddick    schedule 24.11.2020    source источник


Ответы (1)


Контроллер пытается получить образ из официального реестра докеров:

не удалось разрешить ссылку docker.io/my-repo/my-service:latest

При создании imagePullSecret убедитесь, что вы указали правильный URL-адрес (например, URL-адрес вашего частного реестра) для выполнения аутентификации и получения изображения.

$ cat ~/.docker/config.json 
{
    "auths": {
        "https://index.docker.io/v1/": { # <------ change here
            "auth": "..........="
        }
    },
    "HttpHeaders": {
        "User-Agent": "Docker-Client/19.03.5 (linux)"
    }

person Kamol Hasan    schedule 24.11.2020
comment
Репо закрыто на dockerhub. Означает ли это, что мне нужно изменить сервер докеров на index.docker.io/v1/my- репозиторий? Я немного запутался в файле ~/.docker/config.json. Я думал, что секрет следует использовать вместо конфигурации докера, разве не так работает imagePullSecrets? - person Marcus Ruddick; 24.11.2020
comment
Да, секрет будет использован, но ошибка говорит о том, что в реестре нет образа с именем my-servic в репозитории my-repo. my-repo следует заменить на ваше имя пользователя Docker, если это учетная запись dockerhub. - person Kamol Hasan; 24.11.2020
comment
Вот откуда у меня основная путаница. Я могу запустить docker pull my-repo/my-service:latest локально, и он работает без проблем: он успешно загружается и печатает: Статус: загружен более новый образ для my-repo/my-service:latest и docker.io/my-repo /my-service:latest указывает, что репозиторий существует и без проблем обнаруживается локально. Почему он говорит, что не может найти репо только от k3s? - person Marcus Ruddick; 24.11.2020
comment
@MarcusRuddick Это потому, что вы создали образ с этим repo/name. Он находит образ локально, поэтому никогда не загружает образ с удаленного сервера. Попробуйте удалить (т.е. docker rmi ‹image-hash› ) образ с локальной машины, там вы тоже найдете ту же ошибку. - person Kamol Hasan; 24.11.2020