OpenFabrics Enterprise Distribution

OFED Stack

Reference

NVIDIA DOCS HUB / Adapter Software / NLNX_OFED

HCA(Host Channel Adapter)
SRP(SCSI RDMA Protocol)
- SCSI(Small Computer System Interface)(skʌzi)
iSER(iSCSI Extensions for RDMA)
- iSCSI(internet Small Computer System Interface)
IPoIB(IP over InfiniBand)

설치

Mellanox
DOCA

위험

MLNX_OFED는 2024년 10월 LTS 이후 지원이 종료됩니다. DOCA Profile의 DOCA-OFED를 사용하시길 권장드립니다.

Reference

NVIDIA DOCS HUB / Adapter Software / NLNX_OFED / Installing the Driver

Debian

sudo apt-get install -y perl pkg-config

NVIDIA Networking / Adapter IB/VPI SW / Linux Drivers에서 설치 파일을 다운로드 받고, 압축을 해제합니다.

sudo su

./mlnxofedinstall <flags>

-k|--kernel <kernel>: $(uname -r)가 기본값으로 설정됩니다.
-s|--kernel-source <kernelSource>: /lib/modules/$(uname -r)/build 디렉토리가 기본값으로 설정됩니다.
펌웨어
- --without-fw-update
패키지 선택
- --all
- --basic
추가 패키지 필터
- --kernel-only
- --user-space-only: container에서 관련 파일을 설치할 때 유용합니다.
- --without-<package>
- --with-<package>
  - openmpi
  - ucx
  - perftest
    - ib_write_bw
  - infiniband-diags
    - ibstat
    - ibnetdiscover
기타
- -p|--print-available

/etc/init.d/openibd restart

ibstat

정보

network interface 이름을 변경하고싶은 경우 udev 규칙을 작성합니다.

ibdev2netdev -v

/etc/udev/rules.d/10-ib0.rules
SUBSYSTEMS=="pci", KERNELS=="0000:<bus>:<device>.<function>", DRIVERS=="mlx5_core", NAME="ib0"

udevadm trigger --action=add

팁

Kubernetes를 위한 최소 설치 예시입니다.

Host OS

./mlnxofedinstall \
    --without-fw-update \
    --kernel-only \
    --without-iser-dkms \
    --without-isert-dkms \
    --without-srp-dkms \
    --without-kernel-mft-dkms

container

FROM ubuntu:24.04

RUN apt-get update \
    && DEBIAN_FRONTEND=noninteractive apt-get install -y --no-install-recommends \
    wget \
    ca-certificates \
    perl \
    pkg-config \
    && rm -rf /var/lib/apt/lists/*

RUN wget -q https://content.mellanox.com/ofed/MLNX_OFED-24.10-3.2.5.0/MLNX_OFED_LINUX-24.10-3.2.5.0-ubuntu24.04-x86_64.tgz \
    && tar -xzf MLNX_OFED_LINUX-24.10-3.2.5.0-ubuntu24.04-x86_64.tgz \
    && cd MLNX_OFED_LINUX-24.10-3.2.5.0-ubuntu24.04-x86_64 \
    && ./mlnxofedinstall \
    --force \
    --without-fw-update \
    --user-space-only \
    --basic \
    --with-perftest \
    && cd .. \
    && rm -rf MLNX_OFED_LINUX-24.10-3.2.5.0-ubuntu24.04-x86_64*

성능 테스트

Bandwidth

서버와 클라이언트에서 아래 명령어를 각각 실행합니다.

ib_write_bw -F --report_gbits -a

ib_write_bw -F --report_gbits -a <ip>

Latency

서버와 클라이언트에서 아래 명령어를 각각 실행합니다.

ib_write_lat -F --report_gbits -a

ib_write_lat -F --report_gbits -a <ip>

삭제

Reference

NVIDIA DOCS HUB / Adapter Software / NLNX_OFED / Uninstalling the Driver

/usr/sbin/ofed_uninstall.sh

OFED Stack​

설치​

성능 테스트​

Bandwidth​

Latency​

삭제​

OFED Stack

설치

성능 테스트

Bandwidth

Latency

삭제