doc: add ThunderX nicvf
Updated doc/guides/nics/overview.rst, doc/guides/nics/thunderx.rst and release notes Changed "*" to "P" in overview.rst to capture the partially supported feature as "*" creating alignment issues with Sphinx table Signed-off-by: Jerin Jacob <jerin.jacob@caviumnetworks.com> Signed-off-by: Slawomir Rosek <slawomir.rosek@semihalf.com> Signed-off-by: Maciej Czekaj <maciej.czekaj@caviumnetworks.com> Acked-by: John McNamara <john.mcnamara@intel.com>
This commit is contained in:
Jerin Jacob
Bruce Richardson
parent
7413feee66
commit
f994cecafd
@ -274,6 +274,12 @@ M: Stephen Hurd <stephen.hurd@broadcom.com>
|
||||
F: drivers/net/bnxt/
|
||||
F: doc/guides/nics/bnxt.rst
|
||||
|
||||
Cavium ThunderX nicvf
|
||||
M: Jerin Jacob <jerin.jacob@caviumnetworks.com>
|
||||
M: Maciej Czekaj <maciej.czekaj@caviumnetworks.com>
|
||||
F: drivers/net/thunderx/
|
||||
F: doc/guides/nics/thunderx.rst
|
||||
|
||||
Chelsio cxgbe
|
||||
M: Rahul Lakkireddy <rahul.lakkireddy@chelsio.com>
|
||||
F: drivers/net/cxgbe/
|
||||
|
||||
@ -51,6 +51,7 @@ Network Interface Controller Drivers
|
||||
nfp
|
||||
qede
|
||||
szedata2
|
||||
thunderx
|
||||
virtio
|
||||
vhost
|
||||
vmxnet3
|
||||
|
||||
@ -74,40 +74,40 @@ Most of these differences are summarized below.
|
||||
|
||||
.. table:: Features availability in networking drivers
|
||||
|
||||
==================== = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =
|
||||
Feature a b b b b c e e e i i i i i i i i i i f f f f m m m n n p q q r s v v v v x
|
||||
f n n n o x 1 n n 4 4 4 4 g g x x x x m m m m l l p f u c e e i z h i i m e
|
||||
p x x x n g 0 a i 0 0 0 0 b b g g g g 1 1 1 1 x x i p l a d d n e o r r x n
|
||||
a 2 2 t d b 0 c e e e e v b b b b 0 0 0 0 4 5 p l p e e g d s t t n v
|
||||
c x x i e 0 . v v f e e e e k k k k e v a t i i e i
|
||||
k v n . f f . v v . v v f t o o t r
|
||||
e f g . . . f f . f f a . 3 t
|
||||
t v v v v v v 2 v
|
||||
e e e e e e e
|
||||
c c c c c c c
|
||||
==================== = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =
|
||||
==================== = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =
|
||||
Feature a b b b b c e e e i i i i i i i i i i f f f f m m m n n p q q r s t v v v v x
|
||||
f n n n o x 1 n n 4 4 4 4 g g x x x x m m m m l l p f u c e e i z h h i i m e
|
||||
p x x x n g 0 a i 0 0 0 0 b b g g g g 1 1 1 1 x x i p l a d d n e u o r r x n
|
||||
a 2 2 t d b 0 c e e e e v b b b b 0 0 0 0 4 5 p l p e e g d n s t t n v
|
||||
c x x i e 0 . v v f e e e e k k k k e v a d t i i e i
|
||||
k v n . f f . v v . v v f t e o o t r
|
||||
e f g . . . f f . f f a r . 3 t
|
||||
t v v v v v v 2 x v
|
||||
e e e e e e e
|
||||
c c c c c c c
|
||||
==================== = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =
|
||||
Speed capabilities
|
||||
Link status Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Link status event Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Queue status event Y
|
||||
Link status Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Link status event Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Queue status event Y
|
||||
Rx interrupt Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Queue start/stop Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
MTU update Y Y Y Y Y Y Y Y Y Y
|
||||
Jumbo frame Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Scattered Rx Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Queue start/stop Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
MTU update Y Y Y Y Y Y Y Y Y Y Y
|
||||
Jumbo frame Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Scattered Rx Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
LRO Y Y Y Y
|
||||
TSO Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Promiscuous mode Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Allmulticast mode Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Unicast MAC filter Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Multicast MAC filter Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
RSS hash Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
RSS key update Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
RSS reta update Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Promiscuous mode Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Allmulticast mode Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Unicast MAC filter Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Multicast MAC filter Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
RSS hash Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
RSS key update Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
RSS reta update Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
VMDq Y Y Y Y Y Y Y
|
||||
SR-IOV Y Y Y Y Y Y Y Y Y Y
|
||||
SR-IOV Y Y Y Y Y Y Y Y Y Y Y
|
||||
DCB Y Y Y Y Y
|
||||
VLAN filter Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
VLAN filter Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Ethertype filter Y Y Y Y Y
|
||||
N-tuple filter Y Y Y
|
||||
SYN filter Y Y Y
|
||||
@ -118,37 +118,37 @@ Most of these differences are summarized below.
|
||||
Flow control Y Y Y Y Y Y Y Y Y
|
||||
Rate limitation Y Y
|
||||
Traffic mirroring Y Y Y Y
|
||||
CRC offload Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
VLAN offload Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
CRC offload Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
VLAN offload Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y P
|
||||
QinQ offload Y Y Y Y Y Y Y
|
||||
L3 checksum offload Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
L4 checksum offload Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
L3 checksum offload Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
L4 checksum offload Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Inner L3 checksum Y Y Y Y Y Y
|
||||
Inner L4 checksum Y Y Y Y Y Y
|
||||
Packet type parsing Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Packet type parsing Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Timesync Y Y Y Y Y
|
||||
Basic stats Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Extended stats Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Stats per queue Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Basic stats Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Extended stats Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Stats per queue Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
EEPROM dump Y Y Y Y
|
||||
Registers dump Y Y Y Y Y Y Y
|
||||
Multiprocess aware Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
BSD nic_uio Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Linux UIO Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Linux VFIO Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Registers dump Y Y Y Y Y Y Y Y
|
||||
Multiprocess aware Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
BSD nic_uio Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Linux UIO Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Linux VFIO Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Other kdrv Y Y Y
|
||||
ARMv7 Y Y Y
|
||||
ARMv8 Y Y Y Y Y Y Y
|
||||
ARMv7 Y Y Y
|
||||
ARMv8 Y Y Y Y Y Y Y Y
|
||||
Power8 Y Y Y
|
||||
TILE-Gx Y
|
||||
x86-32 Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
x86-64 Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Usage doc Y Y Y Y Y Y Y Y Y Y Y
|
||||
x86-32 Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
x86-64 Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Usage doc Y Y Y Y Y Y Y Y Y Y Y Y
|
||||
Design doc
|
||||
Perf doc
|
||||
==================== = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =
|
||||
==================== = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =
|
||||
|
||||
.. Note::
|
||||
|
||||
Features marked with "*" are partially supported. Refer to the appropriate
|
||||
Features marked with "P" are partially supported. Refer to the appropriate
|
||||
NIC guide in the following sections for details.
|
||||
|
||||
354
doc/guides/nics/thunderx.rst
Normal file
354
doc/guides/nics/thunderx.rst
Normal file
@ -0,0 +1,354 @@
|
||||
.. BSD LICENSE
|
||||
Copyright (C) Cavium networks Ltd. 2016.
|
||||
All rights reserved.
|
||||
|
||||
Redistribution and use in source and binary forms, with or without
|
||||
modification, are permitted provided that the following conditions
|
||||
are met:
|
||||
|
||||
* Redistributions of source code must retain the above copyright
|
||||
notice, this list of conditions and the following disclaimer.
|
||||
* Redistributions in binary form must reproduce the above copyright
|
||||
notice, this list of conditions and the following disclaimer in
|
||||
the documentation and/or other materials provided with the
|
||||
distribution.
|
||||
* Neither the name of Cavium networks nor the names of its
|
||||
contributors may be used to endorse or promote products derived
|
||||
from this software without specific prior written permission.
|
||||
|
||||
THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
|
||||
"AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
|
||||
LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
|
||||
A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
|
||||
OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
|
||||
SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
|
||||
LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
|
||||
DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
|
||||
THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
|
||||
(INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
|
||||
OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
|
||||
|
||||
ThunderX NICVF Poll Mode Driver
|
||||
===============================
|
||||
|
||||
The ThunderX NICVF PMD (**librte_pmd_thunderx_nicvf**) provides poll mode driver
|
||||
support for the inbuilt NIC found in the **Cavium ThunderX** SoC family
|
||||
as well as their virtual functions (VF) in SR-IOV context.
|
||||
|
||||
More information can be found at `Cavium Networks Official Website
|
||||
<http://www.cavium.com/ThunderX_ARM_Processors.html>`_.
|
||||
|
||||
Features
|
||||
--------
|
||||
|
||||
Features of the ThunderX PMD are:
|
||||
|
||||
- Multiple queues for TX and RX
|
||||
- Receive Side Scaling (RSS)
|
||||
- Packet type information
|
||||
- Checksum offload
|
||||
- Promiscuous mode
|
||||
- Multicast mode
|
||||
- Port hardware statistics
|
||||
- Jumbo frames
|
||||
- Link state information
|
||||
- Scattered and gather for TX and RX
|
||||
- VLAN stripping
|
||||
- SR-IOV VF
|
||||
- NUMA support
|
||||
|
||||
Supported ThunderX SoCs
|
||||
-----------------------
|
||||
- CN88xx
|
||||
|
||||
Prerequisites
|
||||
-------------
|
||||
- Follow the DPDK :ref:`Getting Started Guide for Linux <linux_gsg>` to setup the basic DPDK environment.
|
||||
|
||||
Pre-Installation Configuration
|
||||
------------------------------
|
||||
|
||||
Config File Options
|
||||
~~~~~~~~~~~~~~~~~~~
|
||||
|
||||
The following options can be modified in the ``config`` file.
|
||||
Please note that enabling debugging options may affect system performance.
|
||||
|
||||
- ``CONFIG_RTE_LIBRTE_THUNDERX_NICVF_PMD`` (default ``n``)
|
||||
|
||||
By default it is enabled only for defconfig_arm64-thunderx-* config.
|
||||
Toggle compilation of the ``librte_pmd_thunderx_nicvf`` driver.
|
||||
|
||||
- ``CONFIG_RTE_LIBRTE_THUNDERX_NICVF_DEBUG_INIT`` (default ``n``)
|
||||
|
||||
Toggle display of initialization related messages.
|
||||
|
||||
- ``CONFIG_RTE_LIBRTE_THUNDERX_NICVF_DEBUG_RX`` (default ``n``)
|
||||
|
||||
Toggle display of receive fast path run-time message
|
||||
|
||||
- ``CONFIG_RTE_LIBRTE_THUNDERX_NICVF_DEBUG_TX`` (default ``n``)
|
||||
|
||||
Toggle display of transmit fast path run-time message
|
||||
|
||||
- ``CONFIG_RTE_LIBRTE_THUNDERX_NICVF_DEBUG_DRIVER`` (default ``n``)
|
||||
|
||||
Toggle display of generic debugging messages
|
||||
|
||||
- ``CONFIG_RTE_LIBRTE_THUNDERX_NICVF_DEBUG_MBOX`` (default ``n``)
|
||||
|
||||
Toggle display of PF mailbox related run-time check messages
|
||||
|
||||
Driver Compilation
|
||||
~~~~~~~~~~~~~~~~~~
|
||||
|
||||
To compile the ThunderX NICVF PMD for Linux arm64 gcc target, run the
|
||||
following “make” command:
|
||||
|
||||
.. code-block:: console
|
||||
|
||||
cd <DPDK-source-directory>
|
||||
make config T=arm64-thunderx-linuxapp-gcc install
|
||||
|
||||
Linux
|
||||
-----
|
||||
|
||||
.. _thunderx_testpmd_example:
|
||||
|
||||
Running testpmd
|
||||
~~~~~~~~~~~~~~~
|
||||
|
||||
This section demonstrates how to launch ``testpmd`` with ThunderX NIC VF device
|
||||
managed by ``librte_pmd_thunderx_nicvf`` in the Linux operating system.
|
||||
|
||||
#. Load ``vfio-pci`` driver:
|
||||
|
||||
.. code-block:: console
|
||||
|
||||
modprobe vfio-pci
|
||||
|
||||
.. _thunderx_vfio_noiommu:
|
||||
|
||||
#. Enable **VFIO-NOIOMMU** mode (optional):
|
||||
|
||||
.. code-block:: console
|
||||
|
||||
echo 1 > /sys/module/vfio/parameters/enable_unsafe_noiommu_mode
|
||||
|
||||
.. note::
|
||||
|
||||
**VFIO-NOIOMMU** is required only when running in VM context and should not be enabled otherwise.
|
||||
See also :ref:`SR-IOV: Prerequisites and sample Application Notes <thunderx_sriov_example>`.
|
||||
|
||||
#. Bind the ThunderX NIC VF device to ``vfio-pci`` loaded in the previous step:
|
||||
|
||||
Setup VFIO permissions for regular users and then bind to ``vfio-pci``:
|
||||
|
||||
.. code-block:: console
|
||||
|
||||
./tools/dpdk_nic_bind.py --bind vfio-pci 0002:01:00.2
|
||||
|
||||
#. Start ``testpmd`` with basic parameters:
|
||||
|
||||
.. code-block:: console
|
||||
|
||||
./arm64-thunderx-linuxapp-gcc/app/testpmd -c 0xf -n 4 -w 0002:01:00.2 \
|
||||
-- -i --disable-hw-vlan-filter --crc-strip --no-flush-rx \
|
||||
--port-topology=loop
|
||||
|
||||
Example output:
|
||||
|
||||
.. code-block:: console
|
||||
|
||||
...
|
||||
|
||||
PMD: rte_nicvf_pmd_init(): librte_pmd_thunderx nicvf version 1.0
|
||||
|
||||
...
|
||||
EAL: probe driver: 177d:11 rte_nicvf_pmd
|
||||
EAL: using IOMMU type 1 (Type 1)
|
||||
EAL: PCI memory mapped at 0x3ffade50000
|
||||
EAL: Trying to map BAR 4 that contains the MSI-X table.
|
||||
Trying offsets: 0x40000000000:0x0000, 0x10000:0x1f0000
|
||||
EAL: PCI memory mapped at 0x3ffadc60000
|
||||
PMD: nicvf_eth_dev_init(): nicvf: device (177d:11) 2:1:0:2
|
||||
PMD: nicvf_eth_dev_init(): node=0 vf=1 mode=tns-bypass sqs=false
|
||||
loopback_supported=true
|
||||
PMD: nicvf_eth_dev_init(): Port 0 (177d:11) mac=a6:c6:d9:17:78:01
|
||||
Interactive-mode selected
|
||||
Configuring Port 0 (socket 0)
|
||||
...
|
||||
|
||||
PMD: nicvf_dev_configure(): Configured ethdev port0 hwcap=0x0
|
||||
Port 0: A6:C6:D9:17:78:01
|
||||
Checking link statuses...
|
||||
Port 0 Link Up - speed 10000 Mbps - full-duplex
|
||||
Done
|
||||
testpmd>
|
||||
|
||||
.. _thunderx_sriov_example:
|
||||
|
||||
SR-IOV: Prerequisites and sample Application Notes
|
||||
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
|
||||
|
||||
Current ThunderX NIC PF/VF kernel modules maps each physical Ethernet port
|
||||
automatically to virtual function (VF) and presented them as PCIe-like SR-IOV device.
|
||||
This section provides instructions to configure SR-IOV with Linux OS.
|
||||
|
||||
#. Verify PF devices capabilities using ``lspci``:
|
||||
|
||||
.. code-block:: console
|
||||
|
||||
lspci -vvv
|
||||
|
||||
Example output:
|
||||
|
||||
.. code-block:: console
|
||||
|
||||
0002:01:00.0 Ethernet controller: Cavium Networks Device a01e (rev 01)
|
||||
...
|
||||
Capabilities: [100 v1] Alternative Routing-ID Interpretation (ARI)
|
||||
...
|
||||
Capabilities: [180 v1] Single Root I/O Virtualization (SR-IOV)
|
||||
...
|
||||
Kernel driver in use: thunder-nic
|
||||
...
|
||||
|
||||
.. note::
|
||||
|
||||
Unless ``thunder-nic`` driver is in use make sure your kernel config includes ``CONFIG_THUNDER_NIC_PF`` setting.
|
||||
|
||||
#. Verify VF devices capabilities and drivers using ``lspci``:
|
||||
|
||||
.. code-block:: console
|
||||
|
||||
lspci -vvv
|
||||
|
||||
Example output:
|
||||
|
||||
.. code-block:: console
|
||||
|
||||
0002:01:00.1 Ethernet controller: Cavium Networks Device 0011 (rev 01)
|
||||
...
|
||||
Capabilities: [100 v1] Alternative Routing-ID Interpretation (ARI)
|
||||
...
|
||||
Kernel driver in use: thunder-nicvf
|
||||
...
|
||||
|
||||
0002:01:00.2 Ethernet controller: Cavium Networks Device 0011 (rev 01)
|
||||
...
|
||||
Capabilities: [100 v1] Alternative Routing-ID Interpretation (ARI)
|
||||
...
|
||||
Kernel driver in use: thunder-nicvf
|
||||
...
|
||||
|
||||
.. note::
|
||||
|
||||
Unless ``thunder-nicvf`` driver is in use make sure your kernel config includes ``CONFIG_THUNDER_NIC_VF`` setting.
|
||||
|
||||
#. Verify PF/VF bind using ``dpdk_nic_bind.py``:
|
||||
|
||||
.. code-block:: console
|
||||
|
||||
./tools/dpdk_nic_bind.py --status
|
||||
|
||||
Example output:
|
||||
|
||||
.. code-block:: console
|
||||
|
||||
...
|
||||
0002:01:00.0 'Device a01e' if= drv=thunder-nic unused=vfio-pci
|
||||
0002:01:00.1 'Device 0011' if=eth0 drv=thunder-nicvf unused=vfio-pci
|
||||
0002:01:00.2 'Device 0011' if=eth1 drv=thunder-nicvf unused=vfio-pci
|
||||
...
|
||||
|
||||
#. Load ``vfio-pci`` driver:
|
||||
|
||||
.. code-block:: console
|
||||
|
||||
modprobe vfio-pci
|
||||
|
||||
#. Bind VF devices to ``vfio-pci`` using ``dpdk_nic_bind.py``:
|
||||
|
||||
.. code-block:: console
|
||||
|
||||
./tools/dpdk_nic_bind.py --bind vfio-pci 0002:01:00.1
|
||||
./tools/dpdk_nic_bind.py --bind vfio-pci 0002:01:00.2
|
||||
|
||||
#. Verify VF bind using ``dpdk_nic_bind.py``:
|
||||
|
||||
.. code-block:: console
|
||||
|
||||
./tools/dpdk_nic_bind.py --status
|
||||
|
||||
Example output:
|
||||
|
||||
.. code-block:: console
|
||||
|
||||
...
|
||||
0002:01:00.1 'Device 0011' drv=vfio-pci unused=
|
||||
0002:01:00.2 'Device 0011' drv=vfio-pci unused=
|
||||
...
|
||||
0002:01:00.0 'Device a01e' if= drv=thunder-nic unused=vfio-pci
|
||||
...
|
||||
|
||||
#. Pass VF device to VM context (PCIe Passthrough):
|
||||
|
||||
The VF devices may be passed through to the guest VM using qemu or
|
||||
virt-manager or virsh etc.
|
||||
``librte_pmd_thunderx_nicvf`` or ``thunder-nicvf`` should be used to bind
|
||||
the VF devices in the guest VM in :ref:`VFIO-NOIOMMU <thunderx_vfio_noiommu>` mode.
|
||||
|
||||
Example qemu guest launch command:
|
||||
|
||||
.. code-block:: console
|
||||
|
||||
sudo qemu-system-aarch64 -name vm1 \
|
||||
-machine virt,gic_version=3,accel=kvm,usb=off \
|
||||
-cpu host -m 4096 \
|
||||
-smp 4,sockets=1,cores=8,threads=1 \
|
||||
-nographic -nodefaults \
|
||||
-kernel <kernel image> \
|
||||
-append "root=/dev/vda console=ttyAMA0 rw hugepagesz=512M hugepages=3" \
|
||||
-device vfio-pci,host=0002:01:00.1 \
|
||||
-drive file=<rootfs.ext3>,if=none,id=disk1,format=raw \
|
||||
-device virtio-blk-device,scsi=off,drive=disk1,id=virtio-disk1,bootindex=1 \
|
||||
-netdev tap,id=net0,ifname=tap0,script=/etc/qemu-ifup_thunder \
|
||||
-device virtio-net-device,netdev=net0 \
|
||||
-serial stdio \
|
||||
-mem-path /dev/huge
|
||||
|
||||
#. Refer to section :ref:`Running testpmd <thunderx_testpmd_example>` for instruction
|
||||
how to launch ``testpmd`` application.
|
||||
|
||||
Limitations
|
||||
-----------
|
||||
|
||||
CRC striping
|
||||
~~~~~~~~~~~~
|
||||
|
||||
The ThunderX SoC family NICs strip the CRC for every packets coming into the
|
||||
host interface. So, CRC will be stripped even when the
|
||||
``rxmode.hw_strip_crc`` member is set to 0 in ``struct rte_eth_conf``.
|
||||
|
||||
Maximum packet length
|
||||
~~~~~~~~~~~~~~~~~~~~~
|
||||
|
||||
The ThunderX SoC family NICs support a maximum of a 9K jumbo frame. The value
|
||||
is fixed and cannot be changed. So, even when the ``rxmode.max_rx_pkt_len``
|
||||
member of ``struct rte_eth_conf`` is set to a value lower than 9200, frames
|
||||
up to 9200 bytes can still reach the host interface.
|
||||
|
||||
Maximum packet segments
|
||||
~~~~~~~~~~~~~~~~~~~~~~~
|
||||
|
||||
The ThunderX SoC family NICs support up to 12 segments per packet when working
|
||||
in scatter/gather mode. So, setting MTU will result with ``EINVAL`` when the
|
||||
frame size does not fit in the maximum number of segments.
|
||||
|
||||
Limited VFs
|
||||
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
|
||||
|
||||
The ThunderX SoC family NICs has 128VFs and each VF has 8/8 queues
|
||||
for RX/TX respectively. Current driver implementation has one to one mapping
|
||||
between physical port and VF hence only limited VFs can be used.
|
||||
@ -53,6 +53,8 @@ New Features
|
||||
"Network Interface Controller Drivers" document for more details on this
|
||||
new driver.
|
||||
|
||||
* **Added new driver for ThunderX nicvf device.**
|
||||
|
||||
* **Added mailbox interrupt support for ixgbe and igb VFs.**
|
||||
|
||||
When the physical NIC link comes down or up, the PF driver will send a
|
||||
|
||||
Loading…
Reference in New Issue
Block a user