LCOV - code coverage report
Current view: top level - spdk/lib/nvme - nvme_io_msg.c (source / functions) Hit Total Coverage
Test: Combined Lines: 83 100 83.0 %
Date: 2024-07-10 18:23:29 Functions: 7 7 100.0 %
Legend: Lines: hit not hit | Branches: + taken - not taken # not executed Branches: 55 86 64.0 %

           Branch data     Line data    Source code
       1                 :            : /*   SPDX-License-Identifier: BSD-3-Clause
       2                 :            :  *   Copyright (C) 2019 Intel Corporation.
       3                 :            :  *   All rights reserved.
       4                 :            :  */
       5                 :            : 
       6                 :            : #include "nvme_internal.h"
       7                 :            : #include "nvme_io_msg.h"
       8                 :            : 
       9                 :            : #define SPDK_NVME_MSG_IO_PROCESS_SIZE 8
      10                 :            : 
      11                 :            : /**
      12                 :            :  * Send message to IO queue.
      13                 :            :  */
      14                 :            : int
      15                 :        101 : nvme_io_msg_send(struct spdk_nvme_ctrlr *ctrlr, uint32_t nsid, spdk_nvme_io_msg_fn fn,
      16                 :            :                  void *arg)
      17                 :            : {
      18                 :            :         int rc;
      19                 :         45 :         struct spdk_nvme_io_msg *io;
      20                 :            : 
      21                 :            :         /* Protect requests ring against preemptive producers */
      22         [ -  + ]:        101 :         pthread_mutex_lock(&ctrlr->external_io_msgs_lock);
      23                 :            : 
      24                 :        101 :         io = (struct spdk_nvme_io_msg *)calloc(1, sizeof(struct spdk_nvme_io_msg));
      25         [ -  + ]:        101 :         if (!io) {
      26                 :          0 :                 SPDK_ERRLOG("IO msg allocation failed.");
      27         [ #  # ]:          0 :                 pthread_mutex_unlock(&ctrlr->external_io_msgs_lock);
      28                 :          0 :                 return -ENOMEM;
      29                 :            :         }
      30                 :            : 
      31                 :        101 :         io->ctrlr = ctrlr;
      32                 :        101 :         io->nsid = nsid;
      33                 :        101 :         io->fn = fn;
      34                 :        101 :         io->arg = arg;
      35                 :            : 
      36                 :        101 :         rc = spdk_ring_enqueue(ctrlr->external_io_msgs, (void **)&io, 1, NULL);
      37         [ -  + ]:        101 :         if (rc != 1) {
      38                 :          0 :                 assert(false);
      39                 :            :                 free(io);
      40                 :            :                 pthread_mutex_unlock(&ctrlr->external_io_msgs_lock);
      41                 :            :                 return -ENOMEM;
      42                 :            :         }
      43                 :            : 
      44         [ -  + ]:        101 :         pthread_mutex_unlock(&ctrlr->external_io_msgs_lock);
      45                 :            : 
      46                 :        101 :         return 0;
      47                 :            : }
      48                 :            : 
      49                 :            : int
      50                 :   31106017 : nvme_io_msg_process(struct spdk_nvme_ctrlr *ctrlr)
      51                 :            : {
      52                 :            :         int i;
      53                 :            :         int count;
      54                 :            :         struct spdk_nvme_io_msg *io;
      55                 :   13958400 :         void *requests[SPDK_NVME_MSG_IO_PROCESS_SIZE];
      56                 :            : 
      57         [ +  + ]:   31106017 :         if (!spdk_process_is_primary()) {
      58                 :   24993205 :                 return 0;
      59                 :            :         }
      60                 :            : 
      61   [ +  +  +  -  :    6112807 :         if (!ctrlr->external_io_msgs || !ctrlr->external_io_msgs_qpair || ctrlr->prepare_for_reset) {
             -  +  +  + ]
      62                 :            :                 /* Not ready or pending reset */
      63                 :    6109782 :                 return 0;
      64                 :            :         }
      65                 :            : 
      66   [ -  +  +  + ]:       3025 :         if (ctrlr->needs_io_msg_update) {
      67                 :          5 :                 ctrlr->needs_io_msg_update = false;
      68                 :          5 :                 nvme_io_msg_ctrlr_update(ctrlr);
      69                 :            :         }
      70                 :            : 
      71                 :       3025 :         spdk_nvme_qpair_process_completions(ctrlr->external_io_msgs_qpair, 0);
      72                 :            : 
      73                 :       3025 :         count = spdk_ring_dequeue(ctrlr->external_io_msgs, requests,
      74                 :            :                                   SPDK_NVME_MSG_IO_PROCESS_SIZE);
      75         [ +  + ]:       3025 :         if (count == 0) {
      76                 :       2972 :                 return 0;
      77                 :            :         }
      78                 :            : 
      79         [ +  + ]:        148 :         for (i = 0; i < count; i++) {
      80                 :         95 :                 io = requests[i];
      81                 :            : 
      82         [ -  + ]:         95 :                 assert(io != NULL);
      83                 :            : 
      84                 :         95 :                 io->fn(io->ctrlr, io->nsid, io->arg);
      85                 :         95 :                 free(io);
      86                 :            :         }
      87                 :            : 
      88                 :         53 :         return count;
      89                 :            : }
      90                 :            : 
      91                 :            : static bool
      92                 :         82 : nvme_io_msg_is_producer_registered(struct spdk_nvme_ctrlr *ctrlr,
      93                 :            :                                    struct nvme_io_msg_producer *io_msg_producer)
      94                 :            : {
      95                 :            :         struct nvme_io_msg_producer *tmp;
      96                 :            : 
      97         [ +  + ]:         88 :         STAILQ_FOREACH(tmp, &ctrlr->io_producers, link) {
      98         [ +  + ]:         48 :                 if (tmp == io_msg_producer) {
      99                 :         42 :                         return true;
     100                 :            :                 }
     101                 :            :         }
     102                 :         40 :         return false;
     103                 :            : }
     104                 :            : 
     105                 :            : int
     106                 :         47 : nvme_io_msg_ctrlr_register(struct spdk_nvme_ctrlr *ctrlr,
     107                 :            :                            struct nvme_io_msg_producer *io_msg_producer)
     108                 :            : {
     109         [ -  + ]:         47 :         if (io_msg_producer == NULL) {
     110                 :          0 :                 SPDK_ERRLOG("io_msg_producer cannot be NULL\n");
     111                 :          0 :                 return -EINVAL;
     112                 :            :         }
     113                 :            : 
     114                 :         47 :         nvme_ctrlr_lock(ctrlr);
     115         [ +  + ]:         47 :         if (nvme_io_msg_is_producer_registered(ctrlr, io_msg_producer)) {
     116                 :          7 :                 nvme_ctrlr_unlock(ctrlr);
     117                 :          7 :                 return -EEXIST;
     118                 :            :         }
     119                 :            : 
     120   [ +  +  -  +  :         40 :         if (!STAILQ_EMPTY(&ctrlr->io_producers) || ctrlr->is_resetting) {
                   -  + ]
     121                 :            :                 /* There are registered producers - IO messaging already started */
     122                 :          6 :                 STAILQ_INSERT_TAIL(&ctrlr->io_producers, io_msg_producer, link);
     123                 :          6 :                 nvme_ctrlr_unlock(ctrlr);
     124                 :          6 :                 return 0;
     125                 :            :         }
     126                 :            : 
     127         [ -  + ]:         34 :         pthread_mutex_init(&ctrlr->external_io_msgs_lock, NULL);
     128                 :            : 
     129                 :            :         /**
     130                 :            :          * Initialize ring and qpair for controller
     131                 :            :          */
     132                 :         34 :         ctrlr->external_io_msgs = spdk_ring_create(SPDK_RING_TYPE_MP_SC, 65536, SPDK_ENV_SOCKET_ID_ANY);
     133         [ -  + ]:         34 :         if (!ctrlr->external_io_msgs) {
     134                 :          0 :                 SPDK_ERRLOG("Unable to allocate memory for message ring\n");
     135                 :          0 :                 nvme_ctrlr_unlock(ctrlr);
     136                 :          0 :                 return -ENOMEM;
     137                 :            :         }
     138                 :            : 
     139                 :         34 :         ctrlr->external_io_msgs_qpair = spdk_nvme_ctrlr_alloc_io_qpair(ctrlr, NULL, 0);
     140         [ -  + ]:         34 :         if (ctrlr->external_io_msgs_qpair == NULL) {
     141                 :          0 :                 SPDK_ERRLOG("spdk_nvme_ctrlr_alloc_io_qpair() failed\n");
     142                 :          0 :                 spdk_ring_free(ctrlr->external_io_msgs);
     143                 :          0 :                 ctrlr->external_io_msgs = NULL;
     144                 :          0 :                 nvme_ctrlr_unlock(ctrlr);
     145                 :          0 :                 return -ENOMEM;
     146                 :            :         }
     147                 :            : 
     148                 :         34 :         STAILQ_INSERT_TAIL(&ctrlr->io_producers, io_msg_producer, link);
     149                 :         34 :         nvme_ctrlr_unlock(ctrlr);
     150                 :            : 
     151                 :         34 :         return 0;
     152                 :            : }
     153                 :            : 
     154                 :            : void
     155                 :        117 : nvme_io_msg_ctrlr_update(struct spdk_nvme_ctrlr *ctrlr)
     156                 :            : {
     157                 :            :         struct nvme_io_msg_producer *io_msg_producer;
     158                 :            : 
     159         [ +  + ]:        117 :         if (!spdk_process_is_primary()) {
     160                 :          5 :                 ctrlr->needs_io_msg_update = true;
     161                 :          5 :                 return;
     162                 :            :         }
     163                 :            : 
     164                 :            :         /* Update all producers */
     165                 :        112 :         nvme_ctrlr_lock(ctrlr);
     166         [ +  + ]:        120 :         STAILQ_FOREACH(io_msg_producer, &ctrlr->io_producers, link) {
     167                 :          8 :                 io_msg_producer->update(ctrlr);
     168                 :            :         }
     169                 :        112 :         nvme_ctrlr_unlock(ctrlr);
     170                 :            : }
     171                 :            : 
     172                 :            : void
     173                 :       2226 : nvme_io_msg_ctrlr_detach(struct spdk_nvme_ctrlr *ctrlr)
     174                 :            : {
     175                 :            :         struct nvme_io_msg_producer *io_msg_producer, *tmp;
     176                 :            : 
     177         [ -  + ]:       2226 :         if (!spdk_process_is_primary()) {
     178                 :          0 :                 return;
     179                 :            :         }
     180                 :            : 
     181                 :            :         /* Stop all producers */
     182         [ +  + ]:       2231 :         STAILQ_FOREACH_SAFE(io_msg_producer, &ctrlr->io_producers, link, tmp) {
     183                 :          5 :                 io_msg_producer->stop(ctrlr);
     184   [ +  -  +  -  :          5 :                 STAILQ_REMOVE(&ctrlr->io_producers, io_msg_producer, nvme_io_msg_producer, link);
             -  -  -  - ]
     185                 :            :         }
     186                 :            : 
     187         [ +  + ]:       2226 :         if (ctrlr->external_io_msgs) {
     188                 :         34 :                 spdk_ring_free(ctrlr->external_io_msgs);
     189                 :         34 :                 ctrlr->external_io_msgs = NULL;
     190                 :            :         }
     191                 :            : 
     192         [ +  + ]:       2226 :         if (ctrlr->external_io_msgs_qpair) {
     193                 :         34 :                 spdk_nvme_ctrlr_free_io_qpair(ctrlr->external_io_msgs_qpair);
     194                 :         34 :                 ctrlr->external_io_msgs_qpair = NULL;
     195                 :            :         }
     196                 :            : 
     197         [ -  + ]:       2226 :         pthread_mutex_destroy(&ctrlr->external_io_msgs_lock);
     198                 :            : }
     199                 :            : 
     200                 :            : void
     201                 :         35 : nvme_io_msg_ctrlr_unregister(struct spdk_nvme_ctrlr *ctrlr,
     202                 :            :                              struct nvme_io_msg_producer *io_msg_producer)
     203                 :            : {
     204         [ -  + ]:         35 :         assert(io_msg_producer != NULL);
     205                 :            : 
     206                 :         35 :         nvme_ctrlr_lock(ctrlr);
     207         [ -  + ]:         35 :         if (!nvme_io_msg_is_producer_registered(ctrlr, io_msg_producer)) {
     208                 :          0 :                 nvme_ctrlr_unlock(ctrlr);
     209                 :          0 :                 return;
     210                 :            :         }
     211                 :            : 
     212   [ +  -  +  +  :         35 :         STAILQ_REMOVE(&ctrlr->io_producers, io_msg_producer, nvme_io_msg_producer, link);
             -  -  -  - ]
     213         [ +  + ]:         35 :         if (STAILQ_EMPTY(&ctrlr->io_producers)) {
     214                 :         29 :                 nvme_io_msg_ctrlr_detach(ctrlr);
     215                 :            :         }
     216                 :         35 :         nvme_ctrlr_unlock(ctrlr);
     217                 :            : }

Generated by: LCOV version 1.14