Nvidia Kubernetes Device Plugin

nvidia.com/gpu 자원

• Node의 capacity에 nvidia.com/gpu 자원이 표시되기 위해서는 nvidia-device-plugin을 설치해야합니다.
• Pod에 nvidia.com/gpu 자원을 설정하면 GPU 지원 컨테이너로 스케줄링됩니다.
  • nvidia-smi 명령어를 통해 GPU 정보를 확인할 수 있습니다.

설치

• https://github.com/NVIDIA/k8s-device-plugin

helm repo add nvdp https://nvidia.github.io/k8s-device-plugin

helm repo update nvdp \
&& helm search repo nvdp -l | head -n 10

helm show values nvdp/nvidia-device-plugin \
    --version 0.14.1 \
    > nvidia-device-plugin-values.yaml

nvidia-device-plugin-values.yaml

affinity:
  nodeAffinity:
    requiredDuringSchedulingIgnoredDuringExecution:
      nodeSelectorTerms:
        - matchExpressions:
            - key: karpenter.k8s.aws/instance-gpu-count
              operator: Exists
            - key: karpenter.k8s.aws/instance-gpu-manufacturer
              operator: In
              values:
                - nvidia

helm template nvidia-device-plugin nvdp/nvidia-device-plugin \
    --version 0.14.1 \
    -n provisioning \
    -f nvidia-device-plugin-values.yaml \
    > nvidia-device-plugin.yaml

helm upgrade nvidia-device-plugin nvdp/nvidia-device-plugin \
    --install \
    --version 0.14.1 \
    --history-max 5 \
    -n provisioning \
    -f nvidia-device-plugin-values.yaml