목록kubernetes (4)

더듬이

[kubernetes] k8s 클러스터에 gpu worker node 붙이기

일단 기본적으로 docker와 nvidia-driver가 설치되었다는 전제하에 설정을 진행하겠다. 1. worker-node에 nvidia-docker2를 설치 공식 사이트에 따라 아래 명령어들을 실행해보자 curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | \ sudo apt-key add - distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | \ sudo tee /etc/apt/sources.list.d/nvidia-docker.list sudo apt-..
Kubernetes 2021. 7. 1. 21:54
[kubernetes] gpu 노드에 gpu 없이 없이 pods 생성하기

실제로 gpu 노드를 gpu가 필요없는 pods 를 생성할때 사용 못하는 것은 너무나 비효율 적인것 같다. 실제로 https://github.com/NVIDIA/k8s-device-plugin 문서에 보면 아래와 같이 나와있습니다. apiVersion: v1 kind: Pod metadata: name: gpu-pod spec: containers: - name: cuda-container image: nvcr.io/nvidia/cuda:9.0-devel resources: limits: nvidia.com/gpu: 2 # requesting 2 GPUs - name: digits-container image: nvcr.io/nvidia/digits:20.12-tensorflow-py3 resources..
Kubernetes 2021. 7. 1. 21:35
[Kubernetes] gpu 장비 에러 nvidia-container-cli Error nvidia-device-plugin RunContinerError

상황 설명 master node는 얌전한데 gpu카드가 있는 worker node가 고장난 상황이였다. reaboot 한 이후에 gpu pods에 대한 생성,삭제 기능이 pending 걸리는 현상이 발생되었다. 자세히 확인해보니 nvidia-device-plugin pods에 RunContainerError 가 발생하였고 아래와 같은 로그를 확인할 수 있었다. Error: failed to start container "nvidia-device-plugin-ctr": Error response from daemon: OCI runtime create failed: container_linux.go:349: starting container process caused "process_linux.go:449..
Kubernetes 2021. 7. 1. 20:33
[Kubernetes] Pods Evicted error The node was low on resource 해결 방법

상황 설명 Message: The node was low on resource: ephemeral-storage. Container notebook was using 1704Ki, which exceeds its request of 0. 어느날 갑자기 kubernetes api 가 안되서 kubectl get pods -A를 해보니 아래와 같은 container 상태를 확인할 수 있었다. kube-system metrics-server-8bbd5674f-224lj 0/1 Evicted 0 17d kube-system metrics-server-8bbd5674f-22jk8 0/1 Evicted 0 18d kube-system metrics-server-8bbd5674f-25x5c 0/1 Evicted 0 ..
Kubernetes 2021. 5. 25. 14:02
이전 Prev 1 Next 다음