LCOV - code coverage report
Current view: top level - spdk/test/unit/lib/nvme/nvme_pcie_common.c - nvme_pcie_common_ut.c (source / functions) Hit Total Coverage
Test: Combined Lines: 403 416 96.9 %
Date: 2024-07-15 17:40:54 Functions: 11 33 33.3 %
Legend: Lines: hit not hit | Branches: + taken - not taken # not executed Branches: 41 94 43.6 %

           Branch data     Line data    Source code
       1                 :            : /*   SPDX-License-Identifier: BSD-3-Clause
       2                 :            :  *   Copyright (C) 2021 Intel Corporation.
       3                 :            :  *   All rights reserved.
       4                 :            :  *   Copyright (c) 2022 NVIDIA CORPORATION & AFFILIATES. All rights reserved.
       5                 :            :  */
       6                 :            : 
       7                 :            : #include "spdk/stdinc.h"
       8                 :            : #include "spdk_internal/cunit.h"
       9                 :            : #include "nvme/nvme_pcie_common.c"
      10                 :            : #include "common/lib/test_env.c"
      11                 :            : 
      12                 :          3 : SPDK_LOG_REGISTER_COMPONENT(nvme)
      13                 :            : 
      14                 :            : pid_t g_spdk_nvme_pid;
      15         [ #  # ]:          0 : DEFINE_STUB(nvme_ctrlr_get_process, struct spdk_nvme_ctrlr_process *,
      16                 :            :             (struct spdk_nvme_ctrlr *ctrlr, pid_t pid), NULL);
      17                 :            : 
      18         [ -  + ]:         36 : DEFINE_STUB(nvme_ctrlr_submit_admin_request, int, (struct spdk_nvme_ctrlr *ctrlr,
      19                 :            :                 struct nvme_request *req), 0);
      20                 :            : 
      21                 :          0 : DEFINE_STUB_V(nvme_completion_poll_cb, (void *arg, const struct spdk_nvme_cpl *cpl));
      22                 :            : 
      23         [ #  # ]:          0 : DEFINE_STUB(nvme_wait_for_completion, int,
      24                 :            :             (struct spdk_nvme_qpair *qpair,
      25                 :            :              struct nvme_completion_poll_status *status), 0);
      26                 :            : 
      27   [ #  #  #  # ]:          0 : DEFINE_STUB(nvme_completion_is_retry, bool, (const struct spdk_nvme_cpl *cpl), false);
      28                 :            : 
      29                 :          0 : DEFINE_STUB_V(spdk_nvme_qpair_print_command, (struct spdk_nvme_qpair *qpair,
      30                 :            :                 struct spdk_nvme_cmd *cmd));
      31                 :            : 
      32                 :          0 : DEFINE_STUB_V(spdk_nvme_qpair_print_completion, (struct spdk_nvme_qpair *qpair,
      33                 :            :                 struct spdk_nvme_cpl *cpl));
      34                 :            : 
      35                 :         12 : DEFINE_STUB_V(nvme_qpair_deinit, (struct spdk_nvme_qpair *qpair));
      36                 :            : 
      37         [ #  # ]:          0 : DEFINE_STUB(nvme_ctrlr_get_current_process, struct spdk_nvme_ctrlr_process *,
      38                 :            :             (struct spdk_nvme_ctrlr *ctrlr), NULL);
      39                 :            : 
      40         [ #  # ]:          0 : DEFINE_STUB(spdk_nvme_qpair_process_completions, int32_t,
      41                 :            :             (struct spdk_nvme_qpair *qpair, uint32_t max_completions), 0);
      42                 :            : 
      43         [ #  # ]:          0 : DEFINE_STUB(nvme_request_check_timeout, int, (struct nvme_request *req, uint16_t cid,
      44                 :            :                 struct spdk_nvme_ctrlr_process *active_proc, uint64_t now_tick), 0);
      45         [ #  # ]:          0 : DEFINE_STUB(spdk_strerror, const char *, (int errnum), NULL);
      46                 :            : 
      47                 :          0 : DEFINE_STUB_V(nvme_ctrlr_disable, (struct spdk_nvme_ctrlr *ctrlr));
      48                 :            : 
      49         [ #  # ]:          0 : DEFINE_STUB(nvme_ctrlr_disable_poll, int, (struct spdk_nvme_ctrlr *ctrlr), 0);
      50                 :            : 
      51                 :          0 : DEFINE_STUB_V(nvme_transport_ctrlr_disconnect_qpair_done, (struct spdk_nvme_qpair *qpair));
      52                 :            : 
      53                 :            : int
      54                 :          3 : nvme_qpair_init(struct spdk_nvme_qpair *qpair, uint16_t id,
      55                 :            :                 struct spdk_nvme_ctrlr *ctrlr,
      56                 :            :                 enum spdk_nvme_qprio qprio,
      57                 :            :                 uint32_t num_requests, bool async)
      58                 :            : {
      59                 :          3 :         qpair->id = id;
      60                 :          3 :         qpair->qprio = qprio;
      61                 :          3 :         qpair->ctrlr = ctrlr;
      62                 :          3 :         qpair->async = async;
      63                 :            : 
      64                 :          3 :         return 0;
      65                 :            : }
      66                 :            : 
      67                 :            : static void
      68                 :          3 : test_nvme_pcie_ctrlr_alloc_cmb(void)
      69                 :            : {
      70                 :            : 
      71                 :          3 :         struct nvme_pcie_ctrlr pctrlr = {};
      72                 :          3 :         void *vaddr = NULL;
      73                 :            :         uint64_t alignment;
      74                 :          3 :         uint64_t phys_addr_var;
      75                 :            :         uint64_t size;
      76                 :            : 
      77                 :          3 :         size = 64;
      78                 :          3 :         alignment = 4096;
      79                 :          3 :         pctrlr.cmb.mem_register_addr = NULL;
      80                 :          3 :         pctrlr.cmb.bar_va = (void *)0xF9000000;
      81                 :          3 :         pctrlr.cmb.bar_pa = 0xF8000000;
      82                 :          3 :         pctrlr.cmb.current_offset = 0x10;
      83                 :          3 :         pctrlr.cmb.size = 1 << 16;
      84                 :            : 
      85                 :            :         /* Allocate CMB */
      86                 :          3 :         vaddr = nvme_pcie_ctrlr_alloc_cmb(&pctrlr.ctrlr, size, alignment, &phys_addr_var);
      87                 :          3 :         CU_ASSERT(vaddr == (void *)0xF9001000);
      88                 :          3 :         CU_ASSERT(phys_addr_var == 0xF8001000);
      89                 :          3 :         CU_ASSERT(pctrlr.cmb.current_offset == 4160);
      90                 :            : 
      91                 :            :         /* CMB size overload */
      92                 :          3 :         size = 0x1000000;
      93                 :            : 
      94                 :          3 :         vaddr = nvme_pcie_ctrlr_alloc_cmb(&pctrlr.ctrlr, size, alignment, &phys_addr_var);
      95         [ -  + ]:          3 :         SPDK_CU_ASSERT_FATAL(vaddr == NULL);
      96                 :            : 
      97                 :            :         /* BAR is mapped for data */
      98                 :          3 :         pctrlr.cmb.mem_register_addr = (void *)0xF0000000;
      99                 :            : 
     100                 :          3 :         vaddr = nvme_pcie_ctrlr_alloc_cmb(&pctrlr.ctrlr, size, alignment, &phys_addr_var);
     101                 :          3 :         CU_ASSERT(vaddr == NULL);
     102                 :          3 : }
     103                 :            : 
     104                 :            : static void
     105                 :          3 : test_nvme_pcie_qpair_construct_destroy(void)
     106                 :            : {
     107                 :          3 :         struct spdk_nvme_io_qpair_opts opts = {};
     108                 :          3 :         struct nvme_pcie_ctrlr pctrlr = {};
     109                 :          3 :         struct spdk_nvme_cpl cpl[2] = {};
     110                 :          3 :         struct nvme_pcie_qpair *pqpair = NULL;
     111                 :          3 :         size_t page_align = sysconf(_SC_PAGESIZE);
     112                 :            :         uint64_t cmb_offset;
     113                 :            :         int rc;
     114                 :            : 
     115                 :          3 :         opts.sq.paddr = 0xDEADBEEF;
     116                 :          3 :         opts.cq.paddr = 0xDBADBEEF;
     117                 :          3 :         opts.sq.vaddr = (void *)0xDCADBEEF;
     118                 :          3 :         opts.cq.vaddr = cpl;
     119                 :            : 
     120                 :          3 :         pctrlr.ctrlr.trid.trtype = SPDK_NVME_TRANSPORT_PCIE;
     121                 :          3 :         pctrlr.ctrlr.opts.transport_retry_count = 1;
     122                 :          3 :         pctrlr.cmb.mem_register_addr = NULL;
     123                 :          3 :         pctrlr.cmb.bar_va = (void *)0xF9000000;
     124                 :          3 :         pctrlr.cmb.bar_pa = 0xF8000000;
     125                 :          3 :         pctrlr.cmb.current_offset = 0x10;
     126                 :          3 :         cmb_offset = pctrlr.cmb.current_offset;
     127                 :            :         /* Make sure that CMB size is big enough and includes page alignment */
     128                 :          3 :         pctrlr.cmb.size = (1 << 16) + page_align;
     129                 :          3 :         pctrlr.doorbell_base = (void *)0xF7000000;
     130                 :          3 :         pctrlr.doorbell_stride_u32 = 1;
     131                 :            : 
     132                 :            :         /* Allocate memory for destroying. */
     133                 :          3 :         pqpair = spdk_zmalloc(sizeof(*pqpair), 64, NULL,
     134                 :            :                               SPDK_ENV_SOCKET_ID_ANY, SPDK_MALLOC_SHARE);
     135         [ -  + ]:          3 :         SPDK_CU_ASSERT_FATAL(pqpair != NULL);
     136                 :          3 :         pqpair->qpair.ctrlr = &pctrlr.ctrlr;
     137                 :          3 :         pqpair->num_entries = 2;
     138                 :          3 :         pqpair->qpair.id = 1;
     139                 :          3 :         pqpair->cpl = cpl;
     140                 :            : 
     141                 :            :         /* Enable submission queue in controller memory buffer. */
     142                 :          3 :         pctrlr.ctrlr.opts.use_cmb_sqs = true;
     143                 :            : 
     144                 :          3 :         rc = nvme_pcie_qpair_construct(&pqpair->qpair, &opts);
     145                 :          3 :         CU_ASSERT(rc == 0);
     146                 :          3 :         CU_ASSERT(pqpair->sq_vaddr == (void *)0xDCADBEEF);
     147                 :          3 :         CU_ASSERT(pqpair->cq_vaddr == cpl);
     148                 :          3 :         CU_ASSERT(pqpair->retry_count == 1);
     149                 :          3 :         CU_ASSERT(pqpair->max_completions_cap == 1);
     150         [ -  + ]:          3 :         CU_ASSERT(pqpair->sq_in_cmb == true);
     151   [ +  -  +  - ]:          3 :         CU_ASSERT(pqpair->cmd != NULL && pqpair->cmd != (void *)0xDCADBEEF);
     152                 :          3 :         CU_ASSERT(pqpair->cmd_bus_addr == (((pctrlr.cmb.bar_pa + cmb_offset) + page_align - 1) & ~
     153                 :            :                                            (page_align - 1)));
     154                 :          3 :         CU_ASSERT(pqpair->sq_tdbl == (void *)0xF7000008);
     155                 :          3 :         CU_ASSERT(pqpair->cq_hdbl == (void *)0xF700000C);
     156                 :          3 :         CU_ASSERT(pqpair->flags.phase = 1);
     157                 :          3 :         CU_ASSERT(pqpair->tr != NULL);
     158                 :          3 :         CU_ASSERT(pqpair->tr == TAILQ_FIRST(&pqpair->free_tr));
     159                 :          3 :         CU_ASSERT(pctrlr.cmb.current_offset == (uintptr_t)pqpair->cmd + (pqpair->num_entries * sizeof(
     160                 :            :                                 struct spdk_nvme_cmd)) - (uintptr_t)pctrlr.cmb.bar_va);
     161                 :          3 :         cmb_offset = pctrlr.cmb.current_offset;
     162                 :          3 :         nvme_pcie_qpair_destroy(&pqpair->qpair);
     163                 :            : 
     164                 :            :         /* Disable submission queue in controller memory buffer. */
     165                 :          3 :         pctrlr.ctrlr.opts.use_cmb_sqs = false;
     166                 :          3 :         pqpair = spdk_zmalloc(sizeof(*pqpair), 64, NULL,
     167                 :            :                               SPDK_ENV_SOCKET_ID_ANY, SPDK_MALLOC_SHARE);
     168         [ -  + ]:          3 :         SPDK_CU_ASSERT_FATAL(pqpair != NULL);
     169                 :          3 :         pqpair->qpair.ctrlr = &pctrlr.ctrlr;
     170                 :          3 :         pqpair->num_entries = 2;
     171                 :          3 :         pqpair->qpair.id = 1;
     172                 :          3 :         pqpair->cpl = cpl;
     173                 :            : 
     174                 :          3 :         rc = nvme_pcie_qpair_construct(&pqpair->qpair, &opts);
     175                 :          3 :         CU_ASSERT(rc == 0);
     176                 :          3 :         CU_ASSERT(pqpair->sq_vaddr == (void *)0xDCADBEEF);
     177                 :          3 :         CU_ASSERT(pqpair->cq_vaddr == cpl);
     178                 :          3 :         CU_ASSERT(pqpair->retry_count == 1);
     179                 :          3 :         CU_ASSERT(pqpair->max_completions_cap == 1);
     180         [ -  + ]:          3 :         CU_ASSERT(pqpair->sq_in_cmb == false);
     181                 :          3 :         CU_ASSERT(pqpair->cmd == (void *)0xDCADBEEF);
     182                 :          3 :         CU_ASSERT(pqpair->cmd_bus_addr == 0xDEADBEEF);
     183                 :          3 :         CU_ASSERT(pqpair->sq_tdbl == (void *)0xF7000008);
     184                 :          3 :         CU_ASSERT(pqpair->cq_hdbl == (void *)0xF700000C);
     185                 :          3 :         CU_ASSERT(pqpair->flags.phase = 1);
     186                 :          3 :         CU_ASSERT(pqpair->tr != NULL);
     187                 :          3 :         CU_ASSERT(pqpair->tr == TAILQ_FIRST(&pqpair->free_tr));
     188                 :          3 :         nvme_pcie_qpair_destroy(&pqpair->qpair);
     189                 :            : 
     190                 :            :         /* Disable submission queue in controller memory buffer, sq_vaddr and cq_vaddr invalid. */
     191                 :          3 :         pctrlr.ctrlr.opts.use_cmb_sqs = false;
     192                 :          3 :         pqpair = spdk_zmalloc(sizeof(*pqpair), 64, NULL,
     193                 :            :                               SPDK_ENV_SOCKET_ID_ANY, SPDK_MALLOC_SHARE);
     194         [ -  + ]:          3 :         SPDK_CU_ASSERT_FATAL(pqpair != NULL);
     195                 :          3 :         pqpair->qpair.ctrlr = &pctrlr.ctrlr;
     196                 :          3 :         pqpair->num_entries = 2;
     197                 :          3 :         pqpair->qpair.id = 1;
     198                 :          3 :         pqpair->cpl = cpl;
     199                 :          3 :         MOCK_SET(spdk_vtophys, 0xDAADBEEF);
     200                 :            : 
     201                 :          3 :         rc = nvme_pcie_qpair_construct(&pqpair->qpair, NULL);
     202                 :          3 :         CU_ASSERT(rc == 0);
     203                 :          3 :         CU_ASSERT(pqpair->retry_count == 1);
     204                 :          3 :         CU_ASSERT(pqpair->max_completions_cap == 1);
     205   [ +  -  +  - ]:          3 :         CU_ASSERT(pqpair->cmd != NULL && pqpair->cmd != (void *)0xDCADBEEF);
     206         [ -  + ]:          3 :         CU_ASSERT(pqpair->sq_in_cmb == false);
     207                 :          3 :         CU_ASSERT(pqpair->cmd_bus_addr == 0xDAADBEEF);
     208                 :          3 :         CU_ASSERT(pqpair->sq_tdbl == (void *)0xF7000008);
     209                 :          3 :         CU_ASSERT(pqpair->cq_hdbl == (void *)0xF700000c);
     210                 :          3 :         CU_ASSERT(pqpair->flags.phase = 1);
     211                 :          3 :         CU_ASSERT(pqpair->tr != NULL);
     212                 :          3 :         CU_ASSERT(pqpair->tr == TAILQ_FIRST(&pqpair->free_tr));
     213                 :          3 :         nvme_pcie_qpair_destroy(&pqpair->qpair);
     214   [ -  -  -  + ]:          3 :         MOCK_CLEAR(spdk_vtophys);
     215                 :          3 : }
     216                 :            : 
     217                 :            : static void
     218                 :          3 : test_nvme_pcie_ctrlr_cmd_create_delete_io_queue(void)
     219                 :            : {
     220                 :          3 :         struct spdk_nvme_ctrlr ctrlr = {};
     221                 :          3 :         struct nvme_pcie_qpair pqpair = {};
     222                 :          3 :         struct spdk_nvme_qpair adminq = {};
     223                 :          3 :         struct nvme_request req = {};
     224                 :            :         int rc;
     225                 :            : 
     226                 :          3 :         ctrlr.adminq = &adminq;
     227                 :          3 :         STAILQ_INIT(&ctrlr.adminq->free_req);
     228         [ +  - ]:          3 :         STAILQ_INSERT_HEAD(&ctrlr.adminq->free_req, &req, stailq);
     229                 :          3 :         pqpair.qpair.id = 1;
     230                 :          3 :         pqpair.num_entries = 1;
     231                 :          3 :         pqpair.cpl_bus_addr = 0xDEADBEEF;
     232                 :          3 :         pqpair.cmd_bus_addr = 0xDDADBEEF;
     233                 :          3 :         pqpair.qpair.qprio = SPDK_NVME_QPRIO_HIGH;
     234                 :            : 
     235                 :          3 :         rc = nvme_pcie_ctrlr_cmd_create_io_cq(&ctrlr, &pqpair.qpair, NULL, NULL);
     236                 :          3 :         CU_ASSERT(rc == 0);
     237                 :          3 :         CU_ASSERT(req.cmd.opc == SPDK_NVME_OPC_CREATE_IO_CQ);
     238                 :          3 :         CU_ASSERT(req.cmd.cdw10_bits.create_io_q.qid == 1);
     239                 :          3 :         CU_ASSERT(req.cmd.cdw10_bits.create_io_q.qsize == 0);
     240                 :          3 :         CU_ASSERT(req.cmd.cdw11_bits.create_io_cq.pc == 1);
     241                 :          3 :         CU_ASSERT(req.cmd.dptr.prp.prp1 == 0xDEADBEEF);
     242                 :          3 :         CU_ASSERT(STAILQ_EMPTY(&ctrlr.adminq->free_req));
     243                 :            : 
     244         [ -  + ]:          3 :         memset(&req, 0, sizeof(req));
     245         [ +  - ]:          3 :         STAILQ_INSERT_HEAD(&ctrlr.adminq->free_req, &req, stailq);
     246                 :            : 
     247                 :          3 :         rc = nvme_pcie_ctrlr_cmd_create_io_sq(&ctrlr, &pqpair.qpair, NULL, NULL);
     248                 :          3 :         CU_ASSERT(rc == 0);
     249                 :          3 :         CU_ASSERT(req.cmd.opc == SPDK_NVME_OPC_CREATE_IO_SQ);
     250                 :          3 :         CU_ASSERT(req.cmd.cdw10_bits.create_io_q.qid == 1);
     251                 :          3 :         CU_ASSERT(req.cmd.cdw10_bits.create_io_q.qsize == 0);
     252                 :          3 :         CU_ASSERT(req.cmd.cdw11_bits.create_io_sq.pc == 1);
     253                 :          3 :         CU_ASSERT(req.cmd.cdw11_bits.create_io_sq.qprio == SPDK_NVME_QPRIO_HIGH);
     254                 :          3 :         CU_ASSERT(req.cmd.cdw11_bits.create_io_sq.cqid = 1);
     255                 :          3 :         CU_ASSERT(req.cmd.dptr.prp.prp1 == 0xDDADBEEF);
     256                 :          3 :         CU_ASSERT(STAILQ_EMPTY(&ctrlr.adminq->free_req));
     257                 :            : 
     258                 :            :         /* No free request available */
     259                 :          3 :         rc = nvme_pcie_ctrlr_cmd_create_io_cq(&ctrlr, &pqpair.qpair, NULL, NULL);
     260                 :          3 :         CU_ASSERT(rc == -ENOMEM);
     261                 :            : 
     262                 :          3 :         rc = nvme_pcie_ctrlr_cmd_create_io_sq(&ctrlr, &pqpair.qpair, NULL, NULL);
     263                 :          3 :         CU_ASSERT(rc == -ENOMEM);
     264                 :            : 
     265                 :            :         /* Delete cq or sq */
     266         [ -  + ]:          3 :         memset(&req, 0, sizeof(req));
     267         [ +  - ]:          3 :         STAILQ_INSERT_HEAD(&ctrlr.adminq->free_req, &req, stailq);
     268                 :            : 
     269                 :          3 :         rc = nvme_pcie_ctrlr_cmd_delete_io_cq(&ctrlr, &pqpair.qpair, NULL, NULL);
     270                 :          3 :         CU_ASSERT(rc == 0);
     271                 :          3 :         CU_ASSERT(req.cmd.opc == SPDK_NVME_OPC_DELETE_IO_CQ);
     272                 :          3 :         CU_ASSERT(req.cmd.cdw10_bits.delete_io_q.qid == 1);
     273                 :          3 :         CU_ASSERT(STAILQ_EMPTY(&ctrlr.adminq->free_req));
     274                 :            : 
     275         [ -  + ]:          3 :         memset(&req, 0, sizeof(req));
     276         [ +  - ]:          3 :         STAILQ_INSERT_HEAD(&ctrlr.adminq->free_req, &req, stailq);
     277                 :            : 
     278                 :          3 :         rc = nvme_pcie_ctrlr_cmd_delete_io_sq(&ctrlr, &pqpair.qpair, NULL, NULL);
     279                 :          3 :         CU_ASSERT(rc == 0);
     280                 :          3 :         CU_ASSERT(req.cmd.opc == SPDK_NVME_OPC_DELETE_IO_SQ);
     281                 :          3 :         CU_ASSERT(req.cmd.cdw10_bits.delete_io_q.qid == 1);
     282                 :          3 :         CU_ASSERT(STAILQ_EMPTY(&ctrlr.adminq->free_req));
     283                 :            : 
     284                 :            :         /* No free request available */
     285                 :          3 :         rc = nvme_pcie_ctrlr_cmd_delete_io_cq(&ctrlr, &pqpair.qpair, NULL, NULL);
     286                 :          3 :         CU_ASSERT(rc == -ENOMEM);
     287                 :            : 
     288                 :          3 :         rc = nvme_pcie_ctrlr_cmd_delete_io_sq(&ctrlr, &pqpair.qpair, NULL, NULL);
     289                 :          3 :         CU_ASSERT(rc == -ENOMEM);
     290                 :          3 : }
     291                 :            : 
     292                 :            : static void
     293                 :          3 : test_nvme_pcie_ctrlr_connect_qpair(void)
     294                 :            : {
     295                 :          3 :         struct nvme_pcie_ctrlr  pctrlr = {};
     296                 :          3 :         struct nvme_pcie_qpair  pqpair = {};
     297                 :          3 :         struct spdk_nvme_transport_poll_group poll_group = {};
     298                 :          3 :         struct spdk_nvme_cpl cpl = {};
     299                 :          3 :         struct spdk_nvme_qpair adminq = {};
     300                 :          3 :         struct nvme_request req[3] = {};
     301                 :            :         int rc;
     302                 :            : 
     303                 :          3 :         pqpair.cpl = &cpl;
     304                 :          3 :         pqpair.num_entries = 1;
     305                 :          3 :         pqpair.qpair.ctrlr = &pctrlr.ctrlr;
     306                 :          3 :         pqpair.qpair.id = 1;
     307                 :          3 :         pqpair.num_entries = 1;
     308                 :          3 :         pqpair.cpl_bus_addr = 0xDEADBEEF;
     309                 :          3 :         pqpair.cmd_bus_addr = 0xDDADBEEF;
     310                 :          3 :         pqpair.qpair.qprio = SPDK_NVME_QPRIO_HIGH;
     311                 :          3 :         pqpair.stat = NULL;
     312                 :          3 :         pqpair.qpair.poll_group = &poll_group;
     313                 :          3 :         pctrlr.ctrlr.page_size = 4096;
     314                 :            : 
     315                 :            :         /* Shadow doorbell available */
     316                 :          3 :         pctrlr.doorbell_stride_u32 = 1;
     317                 :          3 :         pctrlr.ctrlr.shadow_doorbell = spdk_zmalloc(pctrlr.ctrlr.page_size, pctrlr.ctrlr.page_size,
     318                 :            :                                        NULL, SPDK_ENV_LCORE_ID_ANY,
     319                 :            :                                        SPDK_MALLOC_DMA | SPDK_MALLOC_SHARE);
     320                 :          3 :         pctrlr.ctrlr.eventidx = spdk_zmalloc(pctrlr.ctrlr.page_size, pctrlr.ctrlr.page_size,
     321                 :            :                                              NULL, SPDK_ENV_LCORE_ID_ANY,
     322                 :            :                                              SPDK_MALLOC_DMA | SPDK_MALLOC_SHARE);
     323                 :          3 :         pctrlr.ctrlr.adminq = &adminq;
     324                 :          3 :         STAILQ_INIT(&pctrlr.ctrlr.adminq->free_req);
     325         [ +  + ]:          9 :         for (int i = 0; i < 2; i++) {
     326                 :          6 :                 STAILQ_INSERT_TAIL(&pctrlr.ctrlr.adminq->free_req, &req[i], stailq);
     327                 :            :         }
     328                 :            : 
     329                 :          3 :         rc = nvme_pcie_ctrlr_connect_qpair(&pctrlr.ctrlr, &pqpair.qpair);
     330                 :          3 :         CU_ASSERT(rc == 0);
     331                 :          3 :         CU_ASSERT(req[0].cmd.opc == SPDK_NVME_OPC_CREATE_IO_CQ);
     332                 :          3 :         CU_ASSERT(req[0].cmd.cdw10_bits.create_io_q.qid == 1);
     333                 :          3 :         CU_ASSERT(req[0].cmd.cdw10_bits.create_io_q.qsize == 0);
     334                 :          3 :         CU_ASSERT(req[0].cmd.cdw11_bits.create_io_cq.pc == 1);
     335                 :          3 :         CU_ASSERT(req[0].cmd.dptr.prp.prp1 == 0xDEADBEEF);
     336                 :            : 
     337                 :            :         /* Complete the first request, which triggers the second. */
     338                 :          3 :         req[0].cb_fn(req[0].cb_arg, &cpl);
     339                 :          3 :         CU_ASSERT(req[1].cmd.opc == SPDK_NVME_OPC_CREATE_IO_SQ);
     340                 :          3 :         CU_ASSERT(req[1].cmd.cdw10_bits.create_io_q.qid == 1);
     341                 :          3 :         CU_ASSERT(req[1].cmd.cdw10_bits.create_io_q.qsize == 0);
     342                 :          3 :         CU_ASSERT(req[1].cmd.cdw11_bits.create_io_sq.pc == 1);
     343                 :          3 :         CU_ASSERT(req[1].cmd.cdw11_bits.create_io_sq.qprio == SPDK_NVME_QPRIO_HIGH);
     344                 :          3 :         CU_ASSERT(req[1].cmd.cdw11_bits.create_io_sq.cqid = 1);
     345                 :          3 :         CU_ASSERT(req[1].cmd.dptr.prp.prp1 == 0xDDADBEEF);
     346                 :            : 
     347                 :          3 :         pqpair.qpair.state = NVME_QPAIR_CONNECTING;
     348                 :            :         /* Complete the second request */
     349                 :          3 :         req[1].cb_fn(req[1].cb_arg, &cpl);
     350                 :          3 :         CU_ASSERT(pqpair.pcie_state == NVME_PCIE_QPAIR_READY);
     351                 :            :         /* State is still CONNECTING until the thread is polled again. */
     352                 :          3 :         CU_ASSERT(pqpair.qpair.state == NVME_QPAIR_CONNECTING);
     353                 :            : 
     354                 :            :         /* doorbell stride and qid are 1 */
     355                 :          3 :         CU_ASSERT(pqpair.shadow_doorbell.sq_tdbl == pctrlr.ctrlr.shadow_doorbell + 2);
     356                 :          3 :         CU_ASSERT(pqpair.shadow_doorbell.cq_hdbl == pctrlr.ctrlr.shadow_doorbell + 3);
     357                 :          3 :         CU_ASSERT(pqpair.shadow_doorbell.sq_eventidx == pctrlr.ctrlr.eventidx + 2);
     358                 :          3 :         CU_ASSERT(pqpair.shadow_doorbell.cq_eventidx == pctrlr.ctrlr.eventidx + 3);
     359                 :          3 :         CU_ASSERT(pqpair.flags.has_shadow_doorbell == 1);
     360                 :          3 :         CU_ASSERT(STAILQ_EMPTY(&pctrlr.ctrlr.adminq->free_req));
     361                 :            : 
     362                 :          3 :         spdk_free(pctrlr.ctrlr.shadow_doorbell);
     363                 :          3 :         spdk_free(pctrlr.ctrlr.eventidx);
     364                 :          3 :         pctrlr.ctrlr.shadow_doorbell = NULL;
     365                 :          3 :         pctrlr.ctrlr.eventidx = NULL;
     366                 :            : 
     367                 :            :         /* Shadow doorbell 0 */
     368         [ -  + ]:          3 :         memset(req, 0, sizeof(struct nvme_request) * 2);
     369         [ -  + ]:          3 :         memset(&pqpair, 0, sizeof(pqpair));
     370                 :          3 :         pqpair.cpl = &cpl;
     371                 :          3 :         pqpair.qpair.ctrlr = &pctrlr.ctrlr;
     372                 :          3 :         pqpair.qpair.id = 1;
     373                 :          3 :         pqpair.num_entries = 1;
     374                 :          3 :         pqpair.cpl_bus_addr = 0xDEADBEEF;
     375                 :          3 :         pqpair.cmd_bus_addr = 0xDDADBEEF;
     376                 :          3 :         pqpair.qpair.qprio = SPDK_NVME_QPRIO_HIGH;
     377                 :          3 :         pqpair.stat = NULL;
     378                 :          3 :         pqpair.qpair.poll_group = &poll_group;
     379         [ +  + ]:          9 :         for (int i = 0; i < 2; i++) {
     380                 :          6 :                 STAILQ_INSERT_TAIL(&pctrlr.ctrlr.adminq->free_req, &req[i], stailq);
     381                 :            :         }
     382                 :            : 
     383                 :          3 :         rc = nvme_pcie_ctrlr_connect_qpair(&pctrlr.ctrlr, &pqpair.qpair);
     384                 :          3 :         CU_ASSERT(rc == 0);
     385                 :          3 :         CU_ASSERT(req[0].cmd.opc == SPDK_NVME_OPC_CREATE_IO_CQ);
     386                 :          3 :         CU_ASSERT(req[0].cmd.cdw10_bits.create_io_q.qid == 1);
     387                 :          3 :         CU_ASSERT(req[0].cmd.cdw10_bits.create_io_q.qsize == 0);
     388                 :          3 :         CU_ASSERT(req[0].cmd.cdw11_bits.create_io_cq.pc == 1);
     389                 :          3 :         CU_ASSERT(req[0].cmd.dptr.prp.prp1 == 0xDEADBEEF);
     390                 :            : 
     391                 :            :         /* Complete the first request, which triggers the second. */
     392                 :          3 :         req[0].cb_fn(req[0].cb_arg, &cpl);
     393                 :          3 :         CU_ASSERT(req[1].cmd.opc == SPDK_NVME_OPC_CREATE_IO_SQ);
     394                 :          3 :         CU_ASSERT(req[1].cmd.cdw10_bits.create_io_q.qid == 1);
     395                 :          3 :         CU_ASSERT(req[1].cmd.cdw10_bits.create_io_q.qsize == 0);
     396                 :          3 :         CU_ASSERT(req[1].cmd.cdw11_bits.create_io_sq.pc == 1);
     397                 :          3 :         CU_ASSERT(req[1].cmd.cdw11_bits.create_io_sq.qprio == SPDK_NVME_QPRIO_HIGH);
     398                 :          3 :         CU_ASSERT(req[1].cmd.cdw11_bits.create_io_sq.cqid = 1);
     399                 :          3 :         CU_ASSERT(req[1].cmd.dptr.prp.prp1 == 0xDDADBEEF);
     400                 :            : 
     401                 :          3 :         pqpair.qpair.state = NVME_QPAIR_CONNECTING;
     402                 :            :         /* Complete the second request */
     403                 :          3 :         req[1].cb_fn(req[1].cb_arg, &cpl);
     404                 :          3 :         CU_ASSERT(pqpair.pcie_state == NVME_PCIE_QPAIR_READY);
     405                 :            :         /* State is still CONNECTING until the thread is polled again. */
     406                 :          3 :         CU_ASSERT(pqpair.qpair.state == NVME_QPAIR_CONNECTING);
     407                 :            : 
     408                 :          3 :         CU_ASSERT(pqpair.shadow_doorbell.sq_tdbl == NULL);
     409                 :          3 :         CU_ASSERT(pqpair.shadow_doorbell.sq_eventidx == NULL);
     410                 :          3 :         CU_ASSERT(pqpair.flags.has_shadow_doorbell == 0);
     411                 :          3 :         CU_ASSERT(STAILQ_EMPTY(&pctrlr.ctrlr.adminq->free_req));
     412                 :            : 
     413                 :            :         /* Completion error for CQ */
     414         [ -  + ]:          3 :         memset(req, 0, sizeof(struct nvme_request) * 2);
     415         [ -  + ]:          3 :         memset(&pqpair, 0, sizeof(pqpair));
     416                 :          3 :         pqpair.cpl = &cpl;
     417                 :          3 :         pqpair.qpair.ctrlr = &pctrlr.ctrlr;
     418                 :          3 :         pqpair.qpair.id = 1;
     419                 :          3 :         pqpair.num_entries = 1;
     420                 :          3 :         pqpair.cpl_bus_addr = 0xDEADBEEF;
     421                 :          3 :         pqpair.cmd_bus_addr = 0xDDADBEEF;
     422                 :          3 :         pqpair.qpair.qprio = SPDK_NVME_QPRIO_HIGH;
     423                 :          3 :         pqpair.stat = NULL;
     424                 :          3 :         pqpair.qpair.poll_group = &poll_group;
     425                 :            :         /* Modify cpl such that CQ fails */
     426                 :          3 :         pqpair.cpl->status.sc = SPDK_NVME_SC_INVALID_FIELD;
     427                 :          3 :         pqpair.cpl->status.sct = SPDK_NVME_SCT_GENERIC;
     428         [ +  + ]:          9 :         for (int i = 0; i < 2; i++) {
     429                 :          6 :                 STAILQ_INSERT_TAIL(&pctrlr.ctrlr.adminq->free_req, &req[i], stailq);
     430                 :            :         }
     431                 :            : 
     432                 :          3 :         rc = nvme_pcie_ctrlr_connect_qpair(&pctrlr.ctrlr, &pqpair.qpair);
     433                 :          3 :         CU_ASSERT(rc == 0);
     434                 :          3 :         CU_ASSERT(req[0].cmd.opc == SPDK_NVME_OPC_CREATE_IO_CQ);
     435                 :            : 
     436                 :            :         /* Request to complete callback in async operation */
     437                 :          3 :         req[0].cb_fn(req[0].cb_arg, &cpl);
     438                 :          3 :         CU_ASSERT(pqpair.pcie_state == NVME_PCIE_QPAIR_FAILED);
     439                 :          3 :         CU_ASSERT(pqpair.qpair.state == NVME_QPAIR_DISCONNECTED);
     440                 :            : 
     441                 :            :         /* Remove unused request */
     442         [ +  - ]:          3 :         STAILQ_REMOVE_HEAD(&pctrlr.ctrlr.adminq->free_req, stailq);
     443                 :          3 :         CU_ASSERT(STAILQ_EMPTY(&pctrlr.ctrlr.adminq->free_req));
     444                 :            : 
     445                 :            :         /* Completion error for SQ */
     446         [ -  + ]:          3 :         memset(req, 0, sizeof(struct nvme_request) * 3);
     447         [ -  + ]:          3 :         memset(&pqpair, 0, sizeof(pqpair));
     448                 :          3 :         pqpair.cpl = &cpl;
     449                 :          3 :         pqpair.qpair.ctrlr = &pctrlr.ctrlr;
     450                 :          3 :         pqpair.qpair.id = 1;
     451                 :          3 :         pqpair.num_entries = 1;
     452                 :          3 :         pqpair.cpl_bus_addr = 0xDEADBEEF;
     453                 :          3 :         pqpair.cmd_bus_addr = 0xDDADBEEF;
     454                 :          3 :         pqpair.qpair.qprio = SPDK_NVME_QPRIO_HIGH;
     455                 :          3 :         pqpair.stat = NULL;
     456                 :          3 :         pqpair.cpl->status.sc = SPDK_NVME_SC_SUCCESS;
     457                 :          3 :         pqpair.cpl->status.sct = SPDK_NVME_SCT_GENERIC;
     458                 :          3 :         pqpair.qpair.poll_group = &poll_group;
     459         [ +  + ]:         12 :         for (int i = 0; i < 3; i++) {
     460                 :          9 :                 STAILQ_INSERT_TAIL(&pctrlr.ctrlr.adminq->free_req, &req[i], stailq);
     461                 :            :         }
     462                 :            : 
     463                 :          3 :         rc = nvme_pcie_ctrlr_connect_qpair(&pctrlr.ctrlr, &pqpair.qpair);
     464                 :          3 :         CU_ASSERT(rc == 0);
     465                 :          3 :         CU_ASSERT(req[0].cmd.opc == SPDK_NVME_OPC_CREATE_IO_CQ);
     466                 :          3 :         CU_ASSERT(pqpair.pcie_state == NVME_PCIE_QPAIR_WAIT_FOR_CQ);
     467                 :            : 
     468                 :            :         /* Request to complete cq callback in async operation */
     469                 :          3 :         req[0].cb_fn(req[0].cb_arg, &cpl);
     470                 :          3 :         CU_ASSERT(req[1].cmd.opc == SPDK_NVME_OPC_CREATE_IO_SQ);
     471                 :          3 :         CU_ASSERT(pqpair.pcie_state == NVME_PCIE_QPAIR_WAIT_FOR_SQ);
     472                 :            :         /* Modify cpl such that SQ fails */
     473                 :          3 :         pqpair.cpl->status.sc = SPDK_NVME_SC_INVALID_FIELD;
     474                 :          3 :         pqpair.cpl->status.sct = SPDK_NVME_SCT_GENERIC;
     475                 :            : 
     476                 :            :         /* Request to complete sq callback in async operation */
     477                 :          3 :         req[1].cb_fn(req[1].cb_arg, &cpl);
     478                 :          3 :         CU_ASSERT(req[2].cmd.opc == SPDK_NVME_OPC_DELETE_IO_CQ);
     479                 :            :         /* Modify cpl back to success */
     480                 :          3 :         pqpair.cpl->status.sc = SPDK_NVME_SC_SUCCESS;
     481                 :          3 :         pqpair.cpl->status.sct = SPDK_NVME_SCT_GENERIC;
     482                 :          3 :         req[2].cb_fn(req[2].cb_arg, &cpl);
     483                 :          3 :         CU_ASSERT(pqpair.pcie_state == NVME_PCIE_QPAIR_FAILED);
     484                 :          3 :         CU_ASSERT(pqpair.qpair.state == NVME_QPAIR_DISCONNECTED);
     485                 :            :         /* No need to remove unused requests here */
     486                 :          3 :         CU_ASSERT(STAILQ_EMPTY(&pctrlr.ctrlr.adminq->free_req));
     487                 :            : 
     488                 :            : 
     489                 :            :         /* No available request used */
     490         [ -  + ]:          3 :         memset(req, 0, sizeof(struct nvme_request) * 2);
     491         [ -  + ]:          3 :         memset(&pqpair, 0, sizeof(pqpair));
     492                 :          3 :         pqpair.cpl = &cpl;
     493                 :          3 :         pqpair.qpair.ctrlr = &pctrlr.ctrlr;
     494                 :          3 :         pqpair.qpair.id = 1;
     495                 :          3 :         pqpair.num_entries = 1;
     496                 :          3 :         pqpair.cpl_bus_addr = 0xDEADBEEF;
     497                 :          3 :         pqpair.cmd_bus_addr = 0xDDADBEEF;
     498                 :          3 :         pqpair.qpair.qprio = SPDK_NVME_QPRIO_HIGH;
     499                 :          3 :         pqpair.stat = NULL;
     500                 :          3 :         pqpair.qpair.poll_group = &poll_group;
     501                 :            : 
     502                 :          3 :         rc = nvme_pcie_ctrlr_connect_qpair(&pctrlr.ctrlr, &pqpair.qpair);
     503                 :          3 :         CU_ASSERT(rc == -ENOMEM);
     504                 :          3 : }
     505                 :            : 
     506                 :            : static void
     507                 :          3 : test_nvme_pcie_ctrlr_construct_admin_qpair(void)
     508                 :            : {
     509                 :          3 :         struct nvme_pcie_ctrlr pctrlr = {};
     510                 :          3 :         struct nvme_pcie_qpair *pqpair = NULL;
     511                 :          3 :         int rc = 0;
     512                 :            : 
     513                 :          3 :         pctrlr.ctrlr.trid.trtype = SPDK_NVME_TRANSPORT_PCIE;
     514                 :          3 :         pctrlr.ctrlr.opts.admin_queue_size = 32;
     515                 :          3 :         pctrlr.doorbell_base = (void *)0xF7000000;
     516                 :          3 :         pctrlr.doorbell_stride_u32 = 1;
     517                 :          3 :         pctrlr.ctrlr.flags = 0;
     518                 :          3 :         pctrlr.ctrlr.free_io_qids = NULL;
     519                 :          3 :         pctrlr.ctrlr.is_resetting = false;
     520                 :          3 :         pctrlr.ctrlr.is_failed = false;
     521                 :          3 :         pctrlr.ctrlr.is_destructed = false;
     522                 :          3 :         pctrlr.ctrlr.outstanding_aborts = 0;
     523                 :          3 :         pctrlr.ctrlr.ana_log_page = NULL;
     524                 :          3 :         pctrlr.ctrlr.ana_log_page_size = 0;
     525                 :            : 
     526                 :          3 :         TAILQ_INIT(&pctrlr.ctrlr.active_io_qpairs);
     527                 :          3 :         STAILQ_INIT(&pctrlr.ctrlr.queued_aborts);
     528                 :          3 :         TAILQ_INIT(&pctrlr.ctrlr.active_procs);
     529                 :            : 
     530                 :          3 :         rc = nvme_pcie_ctrlr_construct_admin_qpair(&pctrlr.ctrlr, 32);
     531                 :          3 :         CU_ASSERT(rc == 0);
     532                 :          3 :         pqpair = nvme_pcie_qpair(pctrlr.ctrlr.adminq);
     533         [ -  + ]:          3 :         SPDK_CU_ASSERT_FATAL(pqpair != NULL);
     534                 :          3 :         CU_ASSERT(pqpair->num_entries == 32);
     535                 :          3 :         CU_ASSERT(pqpair->flags.delay_cmd_submit == 0);
     536                 :          3 :         CU_ASSERT(pqpair->qpair.id == 0);
     537                 :          3 :         CU_ASSERT(pqpair->qpair.qprio == SPDK_NVME_QPRIO_URGENT);
     538                 :          3 :         CU_ASSERT(pqpair->qpair.ctrlr == &pctrlr.ctrlr);
     539                 :          3 :         CU_ASSERT(pqpair->stat != NULL);
     540                 :            : 
     541                 :          3 :         rc = nvme_pcie_qpair_destroy(pctrlr.ctrlr.adminq);
     542                 :          3 :         CU_ASSERT(rc == 0);
     543                 :          3 : }
     544                 :            : 
     545                 :            : static void
     546                 :          3 : test_nvme_pcie_poll_group_get_stats(void)
     547                 :            : {
     548                 :          3 :         int rc = 0;
     549                 :          3 :         struct nvme_pcie_poll_group *pgroup = NULL;
     550                 :          3 :         struct spdk_nvme_transport_poll_group *tgroup = NULL;
     551                 :          3 :         struct spdk_nvme_transport_poll_group_stat *tgroup_stat = NULL;
     552                 :            : 
     553                 :          3 :         tgroup = nvme_pcie_poll_group_create();
     554                 :          3 :         CU_ASSERT(tgroup != NULL);
     555                 :          3 :         pgroup = SPDK_CONTAINEROF(tgroup, struct nvme_pcie_poll_group, group);
     556                 :          3 :         CU_ASSERT(pgroup != NULL);
     557                 :            : 
     558                 :            :         /* Invalid group pointer, expect fail and return -EINVAL */
     559                 :          3 :         rc = nvme_pcie_poll_group_get_stats(NULL, &tgroup_stat);
     560                 :          3 :         CU_ASSERT(rc == -EINVAL);
     561                 :          3 :         CU_ASSERT(tgroup_stat == NULL);
     562                 :            : 
     563                 :            :         /* Invalid stats, expect fail and return -EINVAL */
     564                 :          3 :         rc = nvme_pcie_poll_group_get_stats(tgroup, NULL);
     565                 :          3 :         CU_ASSERT(rc == -EINVAL);
     566                 :            : 
     567                 :            :         /* Get state success */
     568                 :          3 :         rc = nvme_pcie_poll_group_get_stats(tgroup, &tgroup_stat);
     569         [ -  + ]:          3 :         SPDK_CU_ASSERT_FATAL(rc == 0);
     570                 :          3 :         CU_ASSERT(tgroup_stat != NULL);
     571                 :          3 :         CU_ASSERT(tgroup_stat->trtype == SPDK_NVME_TRANSPORT_PCIE);
     572   [ -  +  -  + ]:          3 :         CU_ASSERT(memcmp(&tgroup_stat->pcie, &pgroup->stats, sizeof(struct spdk_nvme_pcie_stat)) == 0);
     573                 :            : 
     574                 :          3 :         nvme_pcie_poll_group_free_stats(tgroup, tgroup_stat);
     575                 :          3 :         rc = nvme_pcie_poll_group_destroy(tgroup);
     576                 :          3 :         CU_ASSERT(rc == 0);
     577                 :          3 : }
     578                 :            : 
     579                 :            : int
     580                 :          3 : main(int argc, char **argv)
     581                 :            : {
     582                 :          3 :         CU_pSuite       suite = NULL;
     583                 :            :         unsigned int    num_failures;
     584                 :            : 
     585                 :          3 :         CU_initialize_registry();
     586                 :            : 
     587                 :          3 :         suite = CU_add_suite("nvme_pcie_common", NULL, NULL);
     588                 :          3 :         CU_ADD_TEST(suite, test_nvme_pcie_ctrlr_alloc_cmb);
     589                 :          3 :         CU_ADD_TEST(suite, test_nvme_pcie_qpair_construct_destroy);
     590                 :          3 :         CU_ADD_TEST(suite, test_nvme_pcie_ctrlr_cmd_create_delete_io_queue);
     591                 :          3 :         CU_ADD_TEST(suite, test_nvme_pcie_ctrlr_connect_qpair);
     592                 :          3 :         CU_ADD_TEST(suite, test_nvme_pcie_ctrlr_construct_admin_qpair);
     593                 :          3 :         CU_ADD_TEST(suite, test_nvme_pcie_poll_group_get_stats);
     594                 :            : 
     595                 :          3 :         num_failures = spdk_ut_run_tests(argc, argv, NULL);
     596                 :          3 :         CU_cleanup_registry();
     597                 :          3 :         return num_failures;
     598                 :            : }

Generated by: LCOV version 1.14