본문으로 건너뛰기

OpenFabrics Enterprise Distribution

OFED Stack​

Reference

OFED Stack

  • HCA(Host Channel Adapter)
  • SRP(SCSI RDMA Protocol)
    • SCSI(Small Computer System Interface)(skʌzi)
  • iSER(iSCSI Extensions for RDMA)
    • iSCSI(internet Small Computer System Interface)
  • IPoIB(IP over InfiniBand)

설치​

Reference

NVIDIA Networking / Adapter IB/VPI SW / Linux Drivers에서 설치 파일을 다운로드 받고, 압축을 해제합니다.

sudo su
./mlnxofedinstall <flags>
  • -k|--kernel <kernel>: $(uname -r)가 기본값으로 설정됩니다.
  • -s|--kernel-source <kernelSource>: /lib/modules/$(uname -r)/build 디렉토리가 기본값으로 설정됩니다.
  • 펌웨어
    • --without-fw-update
  • 패키지 선택
    • --all
  • 추가 패키지 필터
    • --kernel-only
    • --user-space-only: container에서 관련 파일을 설치할 때 유용합니다.
    • --without-<package>
    • --with-<package>
      • openmpi
      • ucx
      • perftest
        • ib_write_bw
      • infiniband-diags
        • ibstat
  • 기타
    • -p|--print-available
/etc/init.d/openibd restart
lspci -v | grep -i Mellanox
ibdev2netdev -v
정보

network interface 이름을 변경하고싶은 경우 udev 규칙을 작성합니다.

/etc/udev/rules.d/10-ib0.rules
SUBSYSTEMS=="pci", KERNELS=="0000:<bus>:<device>.<function>", DRIVERS=="mlx5_core", NAME="ib0"
udevadm trigger --action=add

Kubernetes를 위한 최소 설치​

./mlnxofedinstall \
    --without-fw-update \
    --kernel-only \
    --without-iser-dkms \
    --without-isert-dkms \
    --without-srp-dkms \
    --without-kernel-mft-dkms
ofed-scripts
mlnx-tools
mlnx-ofed-kernel-utils
mlnx-ofed-kernel-dkms
knem-dkms
knem

성능 테스트​

Bandwidth​

서버와 클라이언트에서 아래 명령어를 각각 실행합니다.

ib_write_bw -F --report_gbits -a
ib_write_bw -F --report_gbits -a <ip>

Latency​

서버와 클라이언트에서 아래 명령어를 각각 실행합니다.

ib_write_lat -F --report_gbits -a
ib_write_lat -F --report_gbits -a <ip>

삭제​

Reference
/usr/sbin/ofed_uninstall.sh