본문으로 건너뛰기

Kubespray로 Kubernetes 클러스터 생성하기

사전 작업​

  • 최소 필요 조건
    • 2 CPU
    • 2 GB memory
    • 모든 노드에 대한 고유한 호스트 이름, MAC 주소, prodcut_uuid
      • ip link
      • sudo cat /sys/class/dmi/id/product_uuid
    • cat /proc/cgroups | column -t 모두 enabled 상태

프로젝트 생성​

컨테이너 사용하기​

kubespray의 기본 기능만 사용하면서 인벤토리만 관리하면 된다면 컨테이너를 활용하는 것이 편리합니다.

podman run --rm -it \
  -v <path>:/mycluster \
  quay.io/kubespray/kubespray:v2.26.0 \
  cp -rfp /kubespray/inventory/sample /mycluster/inventory
./
└── inventory/
    ├── group_vars/
    │   └── ...
    ├── hosts.yaml
    └── patches/
        └── ...

아래 명령어로 컨테이너 내에서 작업을 하면 됩니다.

podman run --rm -it \
  -v $PWD/inventory:/kubespray/inventory \
  -e ANSIBLE_STDOUT_CALLBACK=yaml \
  quay.io/kubespray/kubespray:v2.26.0 \
  bash

git submodule 사용하기​

추가적인 플래이북을 만들어서 사용해야하는 경우 git submodule을 사용하는 것이 편리합니다.

git submodule add https://github.com/kubernetes-sigs/kubespray.git upstream \
&& pushd upstream \
&& git checkout v2.26.0 \
&& popd
cp -rfp upstream/inventory/sample inventory
cp upstream/ansible.cfg ansible.cfg \
&& sed -i \
  -e 's/\(^stdout_callback = \).*$/\1yaml/g' \
  -e 's/\(^library =.*\)/\1:upstream\/library/g' \
  -e 's/\(^roles_path =.*\)/\1:upstream\/roles/g' ansible.cfg
for playbook in cluster.yml recover-control-plane.yml remove-node.yml reset.yml scale.yml upgrade-cluster.yml; do
  cat <<EOF > $playbook
---
- name: Import upstream/$playbook
  ansible.builtin.import_playbook: upstream/$playbook
EOF
done
./
├── ansible.cfg
├── cluster.yml
├── inventory/
│   ├── group_vars/
│   │   └── ...
│   ├── hosts.yaml
│   └── patches/
│       └── ...
├── recover-control-plane.yml
├── remove-node.yml
├── reset.yml
├── scale.yml
├── upgrade-cluster.yml
└── upstream/
    └── ...

인벤토리 작성​

  • 인벤토리 작성은 Inventory를 참고하시면 됩니다.
inventory/hosts.yaml
all:
  hosts:
    <hostname>:
      ansible_host: <host> # ansible이 접근 가능한 주소
      ip: <ip> # Node IP
      access_ip: <ip>

etcd:
  hosts:
    <hostname>:

kube_control_plane:
  hosts:
    <hostname>:

kube_node:
  hosts:
    <hostname>:

bastion:
  hosts: {}

k8s_cluster:
  children:
    # 수정하지 마세요.
    kube_control_plane:
    kube_node:

클러스터 생성​

./
├── inventory/
│   ├── group_vars/
│   │   ├── all/
│   │   │   ├── all.yml
│   │   │   └── ...
│   │   ├── k8s_cluster/
│   │   │   ├── addons.yml
│   │   │   ├── k8s-cluster.yml
│   │   │   └── ...
│   │   └── etcd.yml
│   ├── hosts.yaml
│   └── patches/
│       └── ...
└── ...
  • group_vars/
    • k8s_cluster/
      • k8s-cluster.yml: 클러스터의 기본 구성을 설정합니다.
        • kube_owner: root: 일부 파일이나 디렉토리의 소유자를 설정합니다.
        • kube_oidc_*: kube-apiserver에 OIDC 관련 설정을 추가합니다.
        • kube_network_plugin: <cni>
          • calico: 기본값입니다.
          • cni: 기본적으로 필요한 cni 플러그인들만 설치합니다.
      • addons.yml: metrics-server, metallb 등 클러스터에 추가할 애드온을 설정합니다.
  • HA
  • 다운로드
  • 인증서 갱신
    • kubeadm 인증서 관리
    • auto_renew_certificates: false
    • auto_renew_certificates_systemd_calendar: "*-01,07-01 03:{{ groups['kube_control_plane'].index(inventory_hostname) }}0:00"
  • Audit 로그
  • 기타
    • kubelet_fail_swap_on: <bool>
    • kubelet_swap_behavior: UnlimitedSwap|LimitedSwap
    • kubelet_feature_gates: ["<key>=<value>"]
    • node_labels: {"<key>": "<value>"}
    • node_taints: ["<key>=<value>:<effect>"]
ansible-playbook -i <inventory> -b cluster.yml \
  -e kubeconfig_localhost=true \
  -e kubectl_localhost=true

클러스터 삭제​

ansible-playbook -i <inventory> -b reset.yml