Branch data Line data Source code
1 : : /* SPDX-License-Identifier: BSD-3-Clause
2 : : * Copyright (C) 2017 Intel Corporation.
3 : : * All rights reserved.
4 : : * Copyright (c) 2021 NVIDIA CORPORATION & AFFILIATES. All rights reserved.
5 : : */
6 : :
7 : : #include "spdk/stdinc.h"
8 : :
9 : : #include "bdev_malloc.h"
10 : : #include "spdk/endian.h"
11 : : #include "spdk/env.h"
12 : : #include "spdk/accel.h"
13 : : #include "spdk/dma.h"
14 : : #include "spdk/likely.h"
15 : : #include "spdk/string.h"
16 : :
17 : : #include "spdk/log.h"
18 : :
19 : : struct malloc_disk {
20 : : struct spdk_bdev disk;
21 : : void *malloc_buf;
22 : : void *malloc_md_buf;
23 : : TAILQ_ENTRY(malloc_disk) link;
24 : : };
25 : :
26 : : struct malloc_task {
27 : : struct iovec iov;
28 : : int num_outstanding;
29 : : enum spdk_bdev_io_status status;
30 : : TAILQ_ENTRY(malloc_task) tailq;
31 : : };
32 : :
33 : : struct malloc_channel {
34 : : struct spdk_io_channel *accel_channel;
35 : : struct spdk_poller *completion_poller;
36 : : TAILQ_HEAD(, malloc_task) completed_tasks;
37 : : };
38 : :
39 : : static int
40 : 1639806 : _malloc_verify_pi(struct spdk_bdev_io *bdev_io, struct iovec *iovs, int iovcnt,
41 : : void *md_buf)
42 : : {
43 [ # # # # ]: 1639806 : struct spdk_bdev *bdev = bdev_io->bdev;
44 : 917312 : struct spdk_dif_ctx dif_ctx;
45 : 917312 : struct spdk_dif_error err_blk;
46 : : int rc;
47 : 917312 : struct spdk_dif_ctx_init_ext_opts dif_opts;
48 : :
49 [ + + # # : 1639806 : assert(bdev_io->u.bdev.memory_domain == NULL);
# # # # #
# # # ]
50 : 1639806 : dif_opts.size = SPDK_SIZEOF(&dif_opts, dif_pi_format);
51 [ # # # # : 1639806 : dif_opts.dif_pi_format = bdev->dif_pi_format;
# # ]
52 : 2162465 : rc = spdk_dif_ctx_init(&dif_ctx,
53 [ # # # # ]: 570331 : bdev->blocklen,
54 [ # # # # ]: 570331 : bdev->md_len,
55 [ - + # # : 1639806 : bdev->md_interleave,
# # ]
56 [ - + # # : 1639806 : bdev->dif_is_head_of_md,
# # ]
57 [ # # # # ]: 570331 : bdev->dif_type,
58 [ # # # # : 570331 : bdev_io->u.bdev.dif_check_flags,
# # # # ]
59 [ # # # # : 1639806 : bdev_io->u.bdev.offset_blocks & 0xFFFFFFFF,
# # # # ]
60 : : 0xFFFF, 0, 0, 0, &dif_opts);
61 [ - + ]: 1639806 : if (rc != 0) {
62 : 0 : SPDK_ERRLOG("Failed to initialize DIF/DIX context\n");
63 : 0 : return rc;
64 : : }
65 : :
66 [ + - ]: 1639806 : if (spdk_bdev_is_md_interleaved(bdev)) {
67 : 2210137 : rc = spdk_dif_verify(iovs,
68 : 570331 : iovcnt,
69 [ # # # # : 1639806 : bdev_io->u.bdev.num_blocks,
# # # # ]
70 : : &dif_ctx,
71 : : &err_blk);
72 : 570331 : } else {
73 : 0 : struct iovec md_iov = {
74 : 0 : .iov_base = md_buf,
75 [ # # # # : 0 : .iov_len = bdev_io->u.bdev.num_blocks * bdev->md_len,
# # # # #
# # # ]
76 : : };
77 : :
78 [ # # # # : 0 : if (bdev_io->u.bdev.md_buf == NULL) {
# # # # #
# ]
79 : 0 : return 0;
80 : : }
81 : :
82 : 0 : rc = spdk_dix_verify(iovs,
83 : 0 : iovcnt,
84 : : &md_iov,
85 [ # # # # : 0 : bdev_io->u.bdev.num_blocks,
# # # # ]
86 : : &dif_ctx,
87 : : &err_blk);
88 : : }
89 : :
90 [ + + ]: 1639806 : if (rc != 0) {
91 [ # # # # : 0 : SPDK_ERRLOG("DIF/DIX verify failed: lba %" PRIu64 ", num_blocks %" PRIu64 ", "
# # # # #
# # # # #
# # # # #
# # # ]
92 : : "err_type %u, expected %lu, actual %lu, err_offset %u\n",
93 : : bdev_io->u.bdev.offset_blocks,
94 : : bdev_io->u.bdev.num_blocks,
95 : : err_blk.err_type,
96 : : err_blk.expected,
97 : : err_blk.actual,
98 : : err_blk.err_offset);
99 : 0 : }
100 : :
101 : 1639806 : return rc;
102 : 570331 : }
103 : :
104 : : static int
105 : 1636560 : malloc_verify_pi(struct spdk_bdev_io *bdev_io)
106 : : {
107 : 2203645 : return _malloc_verify_pi(bdev_io,
108 [ # # # # : 567085 : bdev_io->u.bdev.iovs,
# # # # ]
109 [ # # # # : 567085 : bdev_io->u.bdev.iovcnt,
# # # # ]
110 [ # # # # : 567085 : bdev_io->u.bdev.md_buf);
# # # # ]
111 : : }
112 : :
113 : : static int
114 : 0 : malloc_unmap_write_zeroes_generate_pi(struct spdk_bdev_io *bdev_io)
115 : : {
116 [ # # # # ]: 0 : struct spdk_bdev *bdev = bdev_io->bdev;
117 [ # # # # : 0 : struct malloc_disk *mdisk = bdev_io->bdev->ctxt;
# # # # ]
118 [ # # # # : 0 : uint32_t block_size = bdev_io->bdev->blocklen;
# # # # ]
119 : : uint32_t dif_check_flags;
120 : 0 : struct spdk_dif_ctx dif_ctx;
121 : 0 : struct spdk_dif_ctx_init_ext_opts dif_opts;
122 : : int rc;
123 : :
124 : 0 : dif_opts.size = SPDK_SIZEOF(&dif_opts, dif_pi_format);
125 [ # # # # : 0 : dif_opts.dif_pi_format = bdev->dif_pi_format;
# # ]
126 [ # # # # ]: 0 : dif_check_flags = bdev->dif_check_flags | SPDK_DIF_CHECK_TYPE_REFTAG |
127 [ # # ]: 0 : SPDK_DIF_FLAGS_APPTAG_CHECK;
128 : 0 : rc = spdk_dif_ctx_init(&dif_ctx,
129 [ # # # # ]: 0 : bdev->blocklen,
130 [ # # # # ]: 0 : bdev->md_len,
131 [ # # # # : 0 : bdev->md_interleave,
# # ]
132 [ # # # # : 0 : bdev->dif_is_head_of_md,
# # ]
133 [ # # # # ]: 0 : bdev->dif_type,
134 : 0 : dif_check_flags,
135 : : SPDK_DIF_REFTAG_IGNORE,
136 : : 0xFFFF, SPDK_DIF_APPTAG_IGNORE,
137 : : 0, 0, &dif_opts);
138 [ # # ]: 0 : if (rc != 0) {
139 : 0 : SPDK_ERRLOG("Initialization of DIF/DIX context failed\n");
140 : 0 : return rc;
141 : : }
142 : :
143 [ # # # # : 0 : if (bdev->md_interleave) {
# # # # ]
144 : 0 : struct iovec iov = {
145 [ # # # # : 0 : .iov_base = mdisk->malloc_buf + bdev_io->u.bdev.offset_blocks * block_size,
# # # # #
# # # ]
146 [ # # # # : 0 : .iov_len = bdev_io->u.bdev.num_blocks * block_size,
# # # # ]
147 : : };
148 : :
149 [ # # # # : 0 : rc = spdk_dif_generate(&iov, 1, bdev_io->u.bdev.num_blocks, &dif_ctx);
# # # # ]
150 : 0 : } else {
151 : 0 : struct iovec iov = {
152 [ # # # # : 0 : .iov_base = mdisk->malloc_buf + bdev_io->u.bdev.offset_blocks * block_size,
# # # # #
# # # ]
153 [ # # # # : 0 : .iov_len = bdev_io->u.bdev.num_blocks * block_size,
# # # # ]
154 : : };
155 : :
156 : 0 : struct iovec md_iov = {
157 [ # # # # : 0 : .iov_base = mdisk->malloc_md_buf + bdev_io->u.bdev.offset_blocks * bdev->md_len,
# # # # #
# # # # #
# # ]
158 [ # # # # : 0 : .iov_len = bdev_io->u.bdev.num_blocks * bdev->md_len,
# # # # #
# # # ]
159 : : };
160 : :
161 [ # # # # : 0 : rc = spdk_dix_generate(&iov, 1, &md_iov, bdev_io->u.bdev.num_blocks, &dif_ctx);
# # # # ]
162 : : }
163 : :
164 [ # # ]: 0 : if (rc != 0) {
165 : 0 : SPDK_ERRLOG("Formatting by DIF/DIX failed\n");
166 : 0 : }
167 : :
168 : :
169 : 0 : return rc;
170 : 0 : }
171 : :
172 : : static void
173 : 119823108 : malloc_done(void *ref, int status)
174 : : {
175 : 119823108 : struct malloc_task *task = (struct malloc_task *)ref;
176 : 119823108 : struct spdk_bdev_io *bdev_io = spdk_bdev_io_from_ctx(task);
177 : : int rc;
178 : :
179 [ + + ]: 119823108 : if (status != 0) {
180 [ + - ]: 22289 : if (status == -ENOMEM) {
181 [ + - # # : 22289 : if (task->status == SPDK_BDEV_IO_STATUS_SUCCESS) {
# # ]
182 [ # # # # ]: 22289 : task->status = SPDK_BDEV_IO_STATUS_NOMEM;
183 : 0 : }
184 : 0 : } else {
185 [ # # # # ]: 0 : task->status = SPDK_BDEV_IO_STATUS_FAILED;
186 : : }
187 : 0 : }
188 : :
189 [ + + + - : 119823108 : if (--task->num_outstanding != 0) {
- + ]
190 : 134 : return;
191 : : }
192 : :
193 [ + + + + : 119822974 : if (bdev_io->bdev->dif_type != SPDK_DIF_DISABLE &&
+ - + - -
+ # # ]
194 [ + - # # ]: 1633977 : task->status == SPDK_BDEV_IO_STATUS_SUCCESS) {
195 [ + + + # : 1640510 : switch (bdev_io->type) {
# # # ]
196 : 534064 : case SPDK_BDEV_IO_TYPE_READ:
197 : 819753 : rc = malloc_verify_pi(bdev_io);
198 : 819753 : break;
199 : 0 : case SPDK_BDEV_IO_TYPE_UNMAP:
200 : : case SPDK_BDEV_IO_TYPE_WRITE_ZEROES:
201 : 0 : rc = malloc_unmap_write_zeroes_generate_pi(bdev_io);
202 : 0 : break;
203 : 535411 : default:
204 : 820757 : rc = 0;
205 : 820757 : break;
206 : : }
207 : :
208 [ + + ]: 1640510 : if (rc != 0) {
209 [ # # # # ]: 0 : task->status = SPDK_BDEV_IO_STATUS_FAILED;
210 : 0 : }
211 : 571035 : }
212 : :
213 [ + + + - : 119836040 : assert(!bdev_io->u.bdev.accel_sequence || task->status == SPDK_BDEV_IO_STATUS_NOMEM);
+ - + - -
+ # # # #
# # # # ]
214 [ + - + - ]: 119836040 : spdk_bdev_io_complete(spdk_bdev_io_from_ctx(task), task->status);
215 : 36651020 : }
216 : :
217 : : static void
218 : 6689333 : malloc_complete_task(struct malloc_task *task, struct malloc_channel *mch,
219 : : enum spdk_bdev_io_status status)
220 : : {
221 [ # # # # ]: 6689333 : task->status = status;
222 [ # # # # : 6689333 : TAILQ_INSERT_TAIL(&mch->completed_tasks, task, tailq);
# # # # #
# # # # #
# # # # #
# # # # #
# # # # #
# # # # #
# # ]
223 : 6689333 : }
224 : :
225 : : static TAILQ_HEAD(, malloc_disk) g_malloc_disks = TAILQ_HEAD_INITIALIZER(g_malloc_disks);
226 : :
227 : : int malloc_disk_count = 0;
228 : :
229 : : static int bdev_malloc_initialize(void);
230 : : static void bdev_malloc_deinitialize(void);
231 : :
232 : : static int
233 : 2043 : bdev_malloc_get_ctx_size(void)
234 : : {
235 : 2043 : return sizeof(struct malloc_task);
236 : : }
237 : :
238 : : static struct spdk_bdev_module malloc_if = {
239 : : .name = "malloc",
240 : : .module_init = bdev_malloc_initialize,
241 : : .module_fini = bdev_malloc_deinitialize,
242 : : .get_ctx_size = bdev_malloc_get_ctx_size,
243 : :
244 : : };
245 : :
246 : 2148 : SPDK_BDEV_MODULE_REGISTER(malloc, &malloc_if)
247 : :
248 : : static void
249 : 2007 : malloc_disk_free(struct malloc_disk *malloc_disk)
250 : : {
251 [ + + ]: 2007 : if (!malloc_disk) {
252 : 0 : return;
253 : : }
254 : :
255 [ - + - + : 2007 : free(malloc_disk->disk.name);
- + ]
256 [ - + - + ]: 2007 : spdk_free(malloc_disk->malloc_buf);
257 [ - + - + ]: 2007 : spdk_free(malloc_disk->malloc_md_buf);
258 : 2007 : free(malloc_disk);
259 : 161 : }
260 : :
261 : : static int
262 : 2007 : bdev_malloc_destruct(void *ctx)
263 : : {
264 : 2007 : struct malloc_disk *malloc_disk = ctx;
265 : :
266 [ + + + - : 2007 : TAILQ_REMOVE(&g_malloc_disks, malloc_disk, link);
+ - + - #
# # # # #
# # # # #
# # # # #
# # + - +
- + - + -
+ - + - +
- + - + -
+ - + - ]
267 : 2007 : malloc_disk_free(malloc_disk);
268 : 2007 : return 0;
269 : : }
270 : :
271 : : static int
272 : 106670043 : bdev_malloc_check_iov_len(struct iovec *iovs, int iovcnt, size_t nbytes)
273 : : {
274 : : int i;
275 : :
276 [ + + - + ]: 220967026 : for (i = 0; i < iovcnt; i++) {
277 [ + + + - : 114299626 : if (nbytes < iovs[i].iov_len) {
+ - + - ]
278 : 2643 : return 0;
279 : : }
280 : :
281 [ - + - + : 114296983 : nbytes -= iovs[i].iov_len;
- + ]
282 : 33346538 : }
283 : :
284 : 106667400 : return nbytes != 0;
285 : 33363111 : }
286 : :
287 : : static size_t
288 : 134 : malloc_get_md_len(struct spdk_bdev_io *bdev_io)
289 : : {
290 [ # # # # : 134 : return bdev_io->u.bdev.num_blocks * bdev_io->bdev->md_len;
# # # # #
# # # # #
# # ]
291 : : }
292 : :
293 : : static uint64_t
294 : 134 : malloc_get_md_offset(struct spdk_bdev_io *bdev_io)
295 : : {
296 [ # # # # : 134 : return bdev_io->u.bdev.offset_blocks * bdev_io->bdev->md_len;
# # # # #
# # # # #
# # ]
297 : : }
298 : :
299 : : static void *
300 : 134 : malloc_get_md_buf(struct spdk_bdev_io *bdev_io)
301 : : {
302 [ # # # # ]: 134 : struct malloc_disk *mdisk = SPDK_CONTAINEROF(bdev_io->bdev, struct malloc_disk, disk);
303 : :
304 [ - + # # : 134 : assert(spdk_bdev_is_md_separate(bdev_io->bdev));
# # # # ]
305 : :
306 [ # # # # : 134 : return (char *)mdisk->malloc_md_buf + malloc_get_md_offset(bdev_io);
# # ]
307 : : }
308 : :
309 : : static void
310 : 22289 : malloc_sequence_fail(struct malloc_task *task, int status)
311 : : {
312 : 22289 : struct spdk_bdev_io *bdev_io = spdk_bdev_io_from_ctx(task);
313 : :
314 : : /* For ENOMEM, the IO will be retried by the bdev layer, so we don't abort the sequence */
315 [ - + ]: 22289 : if (status != -ENOMEM) {
316 [ # # # # : 0 : spdk_accel_sequence_abort(bdev_io->u.bdev.accel_sequence);
# # # # ]
317 [ # # # # : 0 : bdev_io->u.bdev.accel_sequence = NULL;
# # # # ]
318 : 0 : }
319 : :
320 : 22289 : malloc_done(task, status);
321 : 22289 : }
322 : :
323 : : static void
324 : 106578717 : malloc_sequence_done(void *ctx, int status)
325 : : {
326 : 106578717 : struct malloc_task *task = ctx;
327 : 106578717 : struct spdk_bdev_io *bdev_io = spdk_bdev_io_from_ctx(task);
328 : :
329 [ + - + - : 106578717 : bdev_io->u.bdev.accel_sequence = NULL;
+ - + - ]
330 : : /* Prevent bdev layer from retrying the request if the sequence failed with ENOMEM */
331 [ + - ]: 106578717 : malloc_done(task, status != -ENOMEM ? status : -EFAULT);
332 : 106578717 : }
333 : :
334 : : static void
335 : 58047401 : bdev_malloc_readv(struct malloc_disk *mdisk, struct spdk_io_channel *ch,
336 : : struct malloc_task *task, struct spdk_bdev_io *bdev_io)
337 : : {
338 : : uint64_t len, offset;
339 : 58047401 : int res = 0;
340 : :
341 [ + - + - : 58047401 : len = bdev_io->u.bdev.num_blocks * bdev_io->bdev->blocklen;
+ - + - +
- + - + -
+ - ]
342 [ + - + - : 58047401 : offset = bdev_io->u.bdev.offset_blocks * bdev_io->bdev->blocklen;
+ - + - +
- + - + -
+ - ]
343 : :
344 [ + + + - : 58047401 : if (bdev_malloc_check_iov_len(bdev_io->u.bdev.iovs, bdev_io->u.bdev.iovcnt, len)) {
+ - + - +
- + - + -
+ - - + ]
345 : 0 : spdk_bdev_io_complete(spdk_bdev_io_from_ctx(task),
346 : : SPDK_BDEV_IO_STATUS_FAILED);
347 : 0 : return;
348 : : }
349 : :
350 [ + - + - ]: 58047401 : task->status = SPDK_BDEV_IO_STATUS_SUCCESS;
351 [ + - + - ]: 58047401 : task->num_outstanding = 0;
352 [ + - + - : 58047401 : task->iov.iov_base = mdisk->malloc_buf + offset;
+ - + - +
- ]
353 [ + - + - : 58047401 : task->iov.iov_len = len;
+ - ]
354 : :
355 [ + + + + : 58047401 : SPDK_DEBUGLOG(bdev_malloc, "read %zu bytes from offset %#" PRIx64 ", iovcnt=%d\n",
+ - # # #
# # # #
# ]
356 : : len, offset, bdev_io->u.bdev.iovcnt);
357 : :
358 [ + - + - ]: 58047401 : task->num_outstanding++;
359 [ + - + - : 106029142 : res = spdk_accel_append_copy(&bdev_io->u.bdev.accel_sequence, ch,
+ - ]
360 [ + - + - : 58047401 : bdev_io->u.bdev.iovs, bdev_io->u.bdev.iovcnt,
+ - + - +
- + - + -
+ - ]
361 [ + - + - : 22442695 : bdev_io->u.bdev.memory_domain,
+ - + - ]
362 [ + - + - : 22442695 : bdev_io->u.bdev.memory_domain_ctx,
+ - + - ]
363 [ + - ]: 22442695 : &task->iov, 1, NULL, NULL, NULL, NULL);
364 [ + + ]: 58047401 : if (spdk_unlikely(res != 0)) {
365 : 21991 : malloc_sequence_fail(task, res);
366 : 21991 : return;
367 : : }
368 : :
369 [ + - + - : 58025410 : spdk_accel_sequence_reverse(bdev_io->u.bdev.accel_sequence);
+ - + - ]
370 [ + - + - : 58025410 : spdk_accel_sequence_finish(bdev_io->u.bdev.accel_sequence, malloc_sequence_done, task);
+ - + - ]
371 : :
372 [ + + + - : 58025410 : if (bdev_io->u.bdev.md_buf == NULL) {
+ - + - -
+ ]
373 : 58025343 : return;
374 : : }
375 : :
376 [ - + - + : 67 : SPDK_DEBUGLOG(bdev_malloc, "read metadata %zu bytes from offset%#" PRIx64 "\n",
# # ]
377 : : malloc_get_md_len(bdev_io), malloc_get_md_offset(bdev_io));
378 : :
379 [ # # # # ]: 67 : task->num_outstanding++;
380 [ # # # # : 67 : res = spdk_accel_submit_copy(ch, bdev_io->u.bdev.md_buf, malloc_get_md_buf(bdev_io),
# # # # ]
381 : 0 : malloc_get_md_len(bdev_io), malloc_done, task);
382 [ - + ]: 67 : if (res != 0) {
383 : 0 : malloc_done(task, res);
384 : 0 : }
385 : 22442695 : }
386 : :
387 : : static void
388 : 49272017 : bdev_malloc_writev(struct malloc_disk *mdisk, struct spdk_io_channel *ch,
389 : : struct malloc_task *task, struct spdk_bdev_io *bdev_io)
390 : : {
391 : : uint64_t len, offset;
392 : 49272017 : int res = 0;
393 : :
394 [ + - + - : 49272017 : len = bdev_io->u.bdev.num_blocks * bdev_io->bdev->blocklen;
+ - + - +
- + - + -
+ - ]
395 [ + - + - : 49272017 : offset = bdev_io->u.bdev.offset_blocks * bdev_io->bdev->blocklen;
+ - + - +
- + - + -
+ - ]
396 : :
397 [ + + + - : 49272017 : if (bdev_malloc_check_iov_len(bdev_io->u.bdev.iovs, bdev_io->u.bdev.iovcnt, len)) {
+ - + - +
- + - + -
+ - - + ]
398 : 0 : spdk_bdev_io_complete(spdk_bdev_io_from_ctx(task),
399 : : SPDK_BDEV_IO_STATUS_FAILED);
400 : 0 : return;
401 : : }
402 : :
403 [ + - + - ]: 49272017 : task->status = SPDK_BDEV_IO_STATUS_SUCCESS;
404 [ + - + - ]: 49272017 : task->num_outstanding = 0;
405 [ + - + - : 49272017 : task->iov.iov_base = mdisk->malloc_buf + offset;
+ - + - +
- ]
406 [ + - + - : 49272017 : task->iov.iov_len = len;
+ - ]
407 : :
408 [ + + + + : 49272017 : SPDK_DEBUGLOG(bdev_malloc, "write %zu bytes to offset %#" PRIx64 ", iovcnt=%d\n",
+ - # # #
# # # #
# ]
409 : : len, offset, bdev_io->u.bdev.iovcnt);
410 : :
411 [ + - + - ]: 49272017 : task->num_outstanding++;
412 [ + - + - : 90667976 : res = spdk_accel_append_copy(&bdev_io->u.bdev.accel_sequence, ch, &task->iov, 1, NULL, NULL,
+ - + - ]
413 [ + - + - : 49272017 : bdev_io->u.bdev.iovs, bdev_io->u.bdev.iovcnt,
+ - + - +
- + - + -
+ - ]
414 [ + - + - : 11569791 : bdev_io->u.bdev.memory_domain,
+ - + - ]
415 [ + - + - : 11569791 : bdev_io->u.bdev.memory_domain_ctx, NULL, NULL);
+ - + - ]
416 [ + + ]: 49272017 : if (spdk_unlikely(res != 0)) {
417 : 298 : malloc_sequence_fail(task, res);
418 : 298 : return;
419 : : }
420 : :
421 [ + - + - : 49271719 : spdk_accel_sequence_finish(bdev_io->u.bdev.accel_sequence, malloc_sequence_done, task);
+ - + - ]
422 : :
423 [ + + + - : 49271719 : if (bdev_io->u.bdev.md_buf == NULL) {
+ - + - -
+ ]
424 : 49271652 : return;
425 : : }
426 : :
427 [ - + - + : 67 : SPDK_DEBUGLOG(bdev_malloc, "write metadata %zu bytes to offset %#" PRIx64 "\n",
# # ]
428 : : malloc_get_md_len(bdev_io), malloc_get_md_offset(bdev_io));
429 : :
430 [ # # # # ]: 67 : task->num_outstanding++;
431 [ # # # # : 67 : res = spdk_accel_submit_copy(ch, malloc_get_md_buf(bdev_io), bdev_io->u.bdev.md_buf,
# # # # ]
432 : 0 : malloc_get_md_len(bdev_io), malloc_done, task);
433 [ - + ]: 67 : if (res != 0) {
434 : 0 : malloc_done(task, res);
435 : 0 : }
436 : 11569791 : }
437 : :
438 : : static int
439 : 14205144 : bdev_malloc_unmap(struct malloc_disk *mdisk,
440 : : struct spdk_io_channel *ch,
441 : : struct malloc_task *task,
442 : : uint64_t offset,
443 : : uint64_t byte_count)
444 : : {
445 [ # # # # ]: 14205144 : task->status = SPDK_BDEV_IO_STATUS_SUCCESS;
446 [ # # # # ]: 14205144 : task->num_outstanding = 1;
447 : :
448 [ # # # # ]: 18532311 : return spdk_accel_submit_fill(ch, mdisk->malloc_buf + offset, 0,
449 : 4327167 : byte_count, malloc_done, task);
450 : : }
451 : :
452 : : static void
453 : 123 : bdev_malloc_copy(struct malloc_disk *mdisk, struct spdk_io_channel *ch,
454 : : struct malloc_task *task,
455 : : uint64_t dst_offset, uint64_t src_offset, size_t len)
456 : : {
457 : 123 : int64_t res = 0;
458 [ # # # # ]: 123 : void *dst = mdisk->malloc_buf + dst_offset;
459 [ # # # # ]: 123 : void *src = mdisk->malloc_buf + src_offset;
460 : :
461 [ + + - + : 123 : SPDK_DEBUGLOG(bdev_malloc, "Copy %zu bytes from offset %#" PRIx64 " to offset %#" PRIx64 "\n",
# # ]
462 : : len, src_offset, dst_offset);
463 : :
464 [ # # # # ]: 123 : task->status = SPDK_BDEV_IO_STATUS_SUCCESS;
465 [ # # # # ]: 123 : task->num_outstanding = 1;
466 : :
467 : 123 : res = spdk_accel_submit_copy(ch, dst, src, len, malloc_done, task);
468 [ + + ]: 123 : if (res != 0) {
469 : 0 : malloc_done(task, res);
470 : 0 : }
471 : 123 : }
472 : :
473 : : static int
474 : 127489535 : _bdev_malloc_submit_request(struct malloc_channel *mch, struct spdk_bdev_io *bdev_io)
475 : : {
476 [ + - ]: 127489535 : struct malloc_task *task = (struct malloc_task *)bdev_io->driver_ctx;
477 [ + - + - : 127489535 : struct malloc_disk *disk = bdev_io->bdev->ctxt;
+ - + - ]
478 [ + - + - : 127489535 : uint32_t block_size = bdev_io->bdev->blocklen;
+ - + - ]
479 : : int rc;
480 : :
481 [ + + + + : 127489535 : switch (bdev_io->type) {
+ + + + +
+ - - -
- ]
482 : 39094276 : case SPDK_BDEV_IO_TYPE_READ:
483 [ + + + - : 61520873 : if (bdev_io->u.bdev.iovs[0].iov_base == NULL) {
+ - + - +
- + - + -
+ - ]
484 [ + + # # : 3552053 : assert(bdev_io->u.bdev.iovcnt == 1);
# # # # #
# # # ]
485 [ - + # # : 3552053 : assert(bdev_io->u.bdev.memory_domain == NULL);
# # # # #
# # # ]
486 [ # # # # : 3552053 : bdev_io->u.bdev.iovs[0].iov_base =
# # # # #
# # # #
# ]
487 [ # # # # : 7010010 : disk->malloc_buf + bdev_io->u.bdev.offset_blocks * block_size;
# # # # #
# # # ]
488 [ # # # # : 3552053 : bdev_io->u.bdev.iovs[0].iov_len = bdev_io->u.bdev.num_blocks * block_size;
# # # # #
# # # # #
# # # # #
# # # ]
489 [ + + # # : 3552053 : if (spdk_bdev_is_md_separate(bdev_io->bdev)) {
# # ]
490 : 0 : spdk_bdev_io_set_md_buf(bdev_io, malloc_get_md_buf(bdev_io),
491 : 0 : malloc_get_md_len(bdev_io));
492 : 0 : }
493 : 3552053 : malloc_complete_task(task, mch, SPDK_BDEV_IO_STATUS_SUCCESS);
494 : 3552053 : return 0;
495 : : }
496 : :
497 [ + - + - ]: 57968820 : bdev_malloc_readv(disk, mch->accel_channel, task, bdev_io);
498 : 57968820 : return 0;
499 : :
500 : 37702226 : case SPDK_BDEV_IO_TYPE_WRITE:
501 [ + + + - : 48643989 : if (bdev_io->bdev->dif_type != SPDK_DIF_DISABLE) {
+ - + - +
- ]
502 : 822290 : rc = malloc_verify_pi(bdev_io);
503 [ + + ]: 822290 : if (rc != 0) {
504 : 0 : malloc_complete_task(task, mch, SPDK_BDEV_IO_STATUS_FAILED);
505 : 0 : return 0;
506 : : }
507 : 286879 : }
508 : :
509 [ + - + - ]: 48643989 : bdev_malloc_writev(disk, mch->accel_channel, task, bdev_io);
510 : 48643989 : return 0;
511 : :
512 : 91 : case SPDK_BDEV_IO_TYPE_RESET:
513 : 109 : malloc_complete_task(task, mch, SPDK_BDEV_IO_STATUS_SUCCESS);
514 : 109 : return 0;
515 : :
516 : 1230503 : case SPDK_BDEV_IO_TYPE_FLUSH:
517 : 1230503 : malloc_complete_task(task, mch, SPDK_BDEV_IO_STATUS_SUCCESS);
518 : 1230503 : return 0;
519 : :
520 : 9446854 : case SPDK_BDEV_IO_TYPE_UNMAP:
521 [ # # # # ]: 17232832 : return bdev_malloc_unmap(disk, mch->accel_channel, task,
522 [ # # # # : 13339843 : bdev_io->u.bdev.offset_blocks * block_size,
# # # # ]
523 [ # # # # : 13339843 : bdev_io->u.bdev.num_blocks * block_size);
# # # # ]
524 : :
525 : 431123 : case SPDK_BDEV_IO_TYPE_WRITE_ZEROES:
526 : : /* bdev_malloc_unmap is implemented with a call to mem_cpy_fill which zeroes out all of the requested bytes. */
527 [ # # # # ]: 1263731 : return bdev_malloc_unmap(disk, mch->accel_channel, task,
528 [ # # # # : 847427 : bdev_io->u.bdev.offset_blocks * block_size,
# # # # ]
529 [ # # # # : 847427 : bdev_io->u.bdev.num_blocks * block_size);
# # # # ]
530 : :
531 : 1906214 : case SPDK_BDEV_IO_TYPE_ZCOPY:
532 [ + + # # : 1906214 : if (bdev_io->u.bdev.zcopy.start) {
# # # # #
# ]
533 : : void *buf;
534 : : size_t len;
535 : :
536 [ # # # # : 953107 : buf = disk->malloc_buf + bdev_io->u.bdev.offset_blocks * block_size;
# # # # #
# # # ]
537 [ # # # # : 953107 : len = bdev_io->u.bdev.num_blocks * block_size;
# # # # ]
538 : 953107 : spdk_bdev_io_set_buf(bdev_io, buf, len);
539 [ - + # # : 953107 : if (spdk_bdev_is_md_separate(bdev_io->bdev)) {
# # ]
540 : 0 : spdk_bdev_io_set_md_buf(bdev_io, malloc_get_md_buf(bdev_io),
541 : 0 : malloc_get_md_len(bdev_io));
542 : 0 : }
543 : 0 : }
544 : 1906214 : malloc_complete_task(task, mch, SPDK_BDEV_IO_STATUS_SUCCESS);
545 : 1906214 : return 0;
546 : 454 : case SPDK_BDEV_IO_TYPE_ABORT:
547 : 454 : malloc_complete_task(task, mch, SPDK_BDEV_IO_STATUS_FAILED);
548 : 454 : return 0;
549 : 111 : case SPDK_BDEV_IO_TYPE_COPY:
550 [ # # # # ]: 135 : bdev_malloc_copy(disk, mch->accel_channel, task,
551 [ # # # # : 123 : bdev_io->u.bdev.offset_blocks * block_size,
# # # # ]
552 [ # # # # : 123 : bdev_io->u.bdev.copy.src_offset_blocks * block_size,
# # # # #
# ]
553 [ # # # # : 123 : bdev_io->u.bdev.num_blocks * block_size);
# # # # ]
554 : 123 : return 0;
555 : :
556 : 0 : default:
557 : 0 : return -1;
558 : : }
559 : : return 0;
560 : 37677683 : }
561 : :
562 : : static void
563 : 126420366 : bdev_malloc_submit_request(struct spdk_io_channel *ch, struct spdk_bdev_io *bdev_io)
564 : : {
565 : 126420366 : struct malloc_channel *mch = spdk_io_channel_get_ctx(ch);
566 : :
567 [ - + ]: 126420366 : if (_bdev_malloc_submit_request(mch, bdev_io) != 0) {
568 [ # # ]: 0 : malloc_complete_task((struct malloc_task *)bdev_io->driver_ctx, mch,
569 : : SPDK_BDEV_IO_STATUS_FAILED);
570 : 0 : }
571 : 126420366 : }
572 : :
573 : : static bool
574 : 5034706 : bdev_malloc_io_type_supported(void *ctx, enum spdk_bdev_io_type io_type)
575 : : {
576 [ + + ]: 5034706 : switch (io_type) {
577 : 3036825 : case SPDK_BDEV_IO_TYPE_READ:
578 : : case SPDK_BDEV_IO_TYPE_WRITE:
579 : : case SPDK_BDEV_IO_TYPE_FLUSH:
580 : : case SPDK_BDEV_IO_TYPE_RESET:
581 : : case SPDK_BDEV_IO_TYPE_UNMAP:
582 : : case SPDK_BDEV_IO_TYPE_WRITE_ZEROES:
583 : : case SPDK_BDEV_IO_TYPE_ZCOPY:
584 : : case SPDK_BDEV_IO_TYPE_ABORT:
585 : : case SPDK_BDEV_IO_TYPE_COPY:
586 : 4635901 : return true;
587 : :
588 : 397391 : default:
589 : 398805 : return false;
590 : : }
591 : 1600490 : }
592 : :
593 : : static struct spdk_io_channel *
594 : 6673 : bdev_malloc_get_io_channel(void *ctx)
595 : : {
596 : 6673 : return spdk_get_io_channel(&g_malloc_disks);
597 : : }
598 : :
599 : : static void
600 : 267 : bdev_malloc_write_json_config(struct spdk_bdev *bdev, struct spdk_json_write_ctx *w)
601 : : {
602 : 267 : spdk_json_write_object_begin(w);
603 : :
604 : 267 : spdk_json_write_named_string(w, "method", "bdev_malloc_create");
605 : :
606 : 267 : spdk_json_write_named_object_begin(w, "params");
607 [ # # # # ]: 267 : spdk_json_write_named_string(w, "name", bdev->name);
608 [ # # # # ]: 267 : spdk_json_write_named_uint64(w, "num_blocks", bdev->blockcnt);
609 [ # # # # ]: 267 : spdk_json_write_named_uint32(w, "block_size", bdev->blocklen);
610 [ # # # # ]: 267 : spdk_json_write_named_uint32(w, "physical_block_size", bdev->phys_blocklen);
611 [ # # ]: 267 : spdk_json_write_named_uuid(w, "uuid", &bdev->uuid);
612 [ # # # # ]: 267 : spdk_json_write_named_uint32(w, "optimal_io_boundary", bdev->optimal_io_boundary);
613 [ # # # # ]: 267 : spdk_json_write_named_uint32(w, "md_size", bdev->md_len);
614 [ # # # # ]: 267 : spdk_json_write_named_uint32(w, "dif_type", bdev->dif_type);
615 [ - + # # : 267 : spdk_json_write_named_bool(w, "dif_is_head_of_md", bdev->dif_is_head_of_md);
# # ]
616 [ # # # # ]: 267 : spdk_json_write_named_uint32(w, "dif_pi_format", bdev->dif_pi_format);
617 : :
618 : 267 : spdk_json_write_object_end(w);
619 : :
620 : 267 : spdk_json_write_object_end(w);
621 : 267 : }
622 : :
623 : : static int
624 : 80951 : bdev_malloc_get_memory_domains(void *ctx, struct spdk_memory_domain **domains, int array_size)
625 : : {
626 : 80951 : struct malloc_disk *malloc_disk = ctx;
627 : : struct spdk_memory_domain *domain;
628 : 80951 : int num_domains = 0;
629 : :
630 [ + + + - : 80951 : if (malloc_disk->disk.dif_type != SPDK_DIF_DISABLE) {
+ - - + ]
631 : 123 : return 0;
632 : : }
633 : :
634 : : /* Report support for every memory domain */
635 [ + + ]: 242569 : for (domain = spdk_memory_domain_get_first(NULL); domain != NULL;
636 : 161741 : domain = spdk_memory_domain_get_next(domain, NULL)) {
637 [ + + + + ]: 161741 : if (domains != NULL && num_domains < array_size) {
638 [ + - + - ]: 42402 : domains[num_domains] = domain;
639 : 86 : }
640 [ + - ]: 161741 : num_domains++;
641 : 2702 : }
642 : :
643 : 80828 : return num_domains;
644 : 1375 : }
645 : :
646 : : static bool
647 : 627018 : bdev_malloc_accel_sequence_supported(void *ctx, enum spdk_bdev_io_type type)
648 : : {
649 : 627018 : struct malloc_disk *malloc_disk = ctx;
650 : :
651 [ + + + - : 627018 : if (malloc_disk->disk.dif_type != SPDK_DIF_DISABLE) {
+ - - + ]
652 : 2268 : return false;
653 : : }
654 : :
655 [ + + ]: 624750 : switch (type) {
656 : 57814 : case SPDK_BDEV_IO_TYPE_READ:
657 : : case SPDK_BDEV_IO_TYPE_WRITE:
658 : 59500 : return true;
659 : 549233 : default:
660 : 565250 : return false;
661 : : }
662 : 18144 : }
663 : :
664 : : static const struct spdk_bdev_fn_table malloc_fn_table = {
665 : : .destruct = bdev_malloc_destruct,
666 : : .submit_request = bdev_malloc_submit_request,
667 : : .io_type_supported = bdev_malloc_io_type_supported,
668 : : .get_io_channel = bdev_malloc_get_io_channel,
669 : : .write_config_json = bdev_malloc_write_json_config,
670 : : .get_memory_domains = bdev_malloc_get_memory_domains,
671 : : .accel_sequence_supported = bdev_malloc_accel_sequence_supported,
672 : : };
673 : :
674 : : static int
675 : 15 : malloc_disk_setup_pi(struct malloc_disk *mdisk)
676 : : {
677 [ # # ]: 15 : struct spdk_bdev *bdev = &mdisk->disk;
678 : 9 : struct spdk_dif_ctx dif_ctx;
679 : 9 : struct iovec iov, md_iov;
680 : : uint32_t dif_check_flags;
681 : : int rc;
682 : 9 : struct spdk_dif_ctx_init_ext_opts dif_opts;
683 : :
684 : 15 : dif_opts.size = SPDK_SIZEOF(&dif_opts, dif_pi_format);
685 [ # # # # : 15 : dif_opts.dif_pi_format = bdev->dif_pi_format;
# # ]
686 : : /* Set APPTAG|REFTAG_IGNORE to PI fields after creation of malloc bdev */
687 [ # # # # ]: 15 : dif_check_flags = bdev->dif_check_flags | SPDK_DIF_CHECK_TYPE_REFTAG |
688 [ # # ]: 0 : SPDK_DIF_FLAGS_APPTAG_CHECK;
689 : 24 : rc = spdk_dif_ctx_init(&dif_ctx,
690 [ # # # # ]: 3 : bdev->blocklen,
691 [ # # # # ]: 3 : bdev->md_len,
692 [ - + # # : 15 : bdev->md_interleave,
# # ]
693 [ - + # # : 15 : bdev->dif_is_head_of_md,
# # ]
694 [ # # # # ]: 3 : bdev->dif_type,
695 : 3 : dif_check_flags,
696 : : SPDK_DIF_REFTAG_IGNORE,
697 : : 0xFFFF, SPDK_DIF_APPTAG_IGNORE,
698 : : 0, 0, &dif_opts);
699 [ - + ]: 15 : if (rc != 0) {
700 : 0 : SPDK_ERRLOG("Initialization of DIF/DIX context failed\n");
701 : 0 : return rc;
702 : : }
703 : :
704 [ # # # # ]: 15 : iov.iov_base = mdisk->malloc_buf;
705 [ # # # # : 15 : iov.iov_len = bdev->blockcnt * bdev->blocklen;
# # # # #
# ]
706 : :
707 [ + + + - : 15 : if (mdisk->disk.md_interleave) {
# # # # #
# ]
708 [ # # # # ]: 15 : rc = spdk_dif_generate(&iov, 1, bdev->blockcnt, &dif_ctx);
709 : 3 : } else {
710 [ # # # # ]: 0 : md_iov.iov_base = mdisk->malloc_md_buf;
711 [ # # # # : 0 : md_iov.iov_len = bdev->blockcnt * bdev->md_len;
# # # # #
# ]
712 : :
713 [ # # # # ]: 0 : rc = spdk_dix_generate(&iov, 1, &md_iov, bdev->blockcnt, &dif_ctx);
714 : : }
715 : :
716 [ + + ]: 15 : if (rc != 0) {
717 : 0 : SPDK_ERRLOG("Formatting by DIF/DIX failed\n");
718 : 0 : }
719 : :
720 : 15 : return rc;
721 : 3 : }
722 : :
723 : : int
724 : 2007 : create_malloc_disk(struct spdk_bdev **bdev, const struct malloc_bdev_opts *opts)
725 : : {
726 : : struct malloc_disk *mdisk;
727 : : uint32_t block_size;
728 : : int rc;
729 : :
730 [ + + # # ]: 2007 : assert(opts != NULL);
731 : :
732 [ + + + - : 2007 : if (opts->num_blocks == 0) {
+ - ]
733 : 0 : SPDK_ERRLOG("Disk num_blocks must be greater than 0");
734 : 0 : return -EINVAL;
735 : : }
736 : :
737 [ + + + - : 2007 : if (opts->block_size % 512) {
+ - - + ]
738 : 0 : SPDK_ERRLOG("Data block size must be 512 bytes aligned\n");
739 : 0 : return -EINVAL;
740 : : }
741 : :
742 [ + + + - : 2007 : if (opts->physical_block_size % 512) {
+ - - + ]
743 : 0 : SPDK_ERRLOG("Physical block must be 512 bytes aligned\n");
744 : 0 : return -EINVAL;
745 : : }
746 : :
747 [ + - + - : 2007 : switch (opts->md_size) {
- + ]
748 : 1846 : case 0:
749 : : case 8:
750 : : case 16:
751 : : case 32:
752 : : case 64:
753 : : case 128:
754 : 2007 : break;
755 : 0 : default:
756 [ # # # # ]: 0 : SPDK_ERRLOG("metadata size %u is not supported\n", opts->md_size);
757 : 0 : return -EINVAL;
758 : : }
759 : :
760 [ + + + + : 2007 : if (opts->md_interleave) {
+ - - + ]
761 [ # # # # : 22 : block_size = opts->block_size + opts->md_size;
# # # # ]
762 : 3 : } else {
763 [ + - + - ]: 1985 : block_size = opts->block_size;
764 : : }
765 : :
766 : 2007 : mdisk = calloc(1, sizeof(*mdisk));
767 [ + + ]: 2007 : if (!mdisk) {
768 : 0 : SPDK_ERRLOG("mdisk calloc() failed\n");
769 : 0 : return -ENOMEM;
770 : : }
771 : :
772 : : /*
773 : : * Allocate the large backend memory buffer from pinned memory.
774 : : *
775 : : * TODO: need to pass a hint so we know which socket to allocate
776 : : * from on multi-socket systems.
777 : : */
778 [ + - + - : 2007 : mdisk->malloc_buf = spdk_zmalloc(opts->num_blocks * block_size, 2 * 1024 * 1024, NULL,
+ - + - ]
779 : : SPDK_ENV_LCORE_ID_ANY, SPDK_MALLOC_DMA);
780 [ + + + - : 2007 : if (!mdisk->malloc_buf) {
+ - ]
781 : 0 : SPDK_ERRLOG("malloc_buf spdk_zmalloc() failed\n");
782 : 0 : malloc_disk_free(mdisk);
783 : 0 : return -ENOMEM;
784 : : }
785 : :
786 [ + + + + : 2007 : if (!opts->md_interleave && opts->md_size != 0) {
+ + + - +
- + - +
- ]
787 [ # # # # : 7 : mdisk->malloc_md_buf = spdk_zmalloc(opts->num_blocks * opts->md_size, 2 * 1024 * 1024, NULL,
# # # # #
# # # ]
788 : : SPDK_ENV_LCORE_ID_ANY, SPDK_MALLOC_DMA);
789 [ - + # # : 7 : if (!mdisk->malloc_md_buf) {
# # ]
790 : 0 : SPDK_ERRLOG("malloc_md_buf spdk_zmalloc() failed\n");
791 : 0 : malloc_disk_free(mdisk);
792 : 0 : return -ENOMEM;
793 : : }
794 : 0 : }
795 : :
796 [ + + + - : 2007 : if (opts->name) {
+ + ]
797 [ + + + - : 1617 : mdisk->disk.name = strdup(opts->name);
+ - + - +
- + - ]
798 : 147 : } else {
799 : : /* Auto-generate a name */
800 [ + - + - : 390 : mdisk->disk.name = spdk_sprintf_alloc("Malloc%d", malloc_disk_count);
+ - ]
801 [ + - ]: 390 : malloc_disk_count++;
802 : : }
803 [ + + + - : 2007 : if (!mdisk->disk.name) {
+ - + - ]
804 : 0 : malloc_disk_free(mdisk);
805 : 0 : return -ENOMEM;
806 : : }
807 [ + - + - : 2007 : mdisk->disk.product_name = "Malloc disk";
+ - ]
808 : :
809 [ + - + - : 2007 : mdisk->disk.write_cache = 1;
+ - ]
810 [ + - + - : 2007 : mdisk->disk.blocklen = block_size;
+ - ]
811 [ + - + - : 2007 : mdisk->disk.phys_blocklen = opts->physical_block_size;
+ - + - +
- ]
812 [ + - + - : 2007 : mdisk->disk.blockcnt = opts->num_blocks;
+ - + - +
- ]
813 [ + - + - : 2007 : mdisk->disk.md_len = opts->md_size;
+ - + - +
- ]
814 [ + + + - : 2007 : mdisk->disk.md_interleave = opts->md_interleave;
+ - + - +
- + - ]
815 [ + - + - : 2007 : mdisk->disk.dif_type = opts->dif_type;
+ - + - +
- ]
816 [ + + + - : 2007 : mdisk->disk.dif_is_head_of_md = opts->dif_is_head_of_md;
+ - + - +
- + - ]
817 : : /* Current block device layer API does not propagate
818 : : * any DIF related information from user. So, we can
819 : : * not generate or verify Application Tag.
820 : : */
821 [ + - + + : 2007 : switch (opts->dif_type) {
- - - + ]
822 : 12 : case SPDK_DIF_TYPE1:
823 : : case SPDK_DIF_TYPE2:
824 [ # # # # : 15 : mdisk->disk.dif_check_flags = SPDK_DIF_FLAGS_GUARD_CHECK |
# # # # ]
825 [ # # ]: 0 : SPDK_DIF_FLAGS_REFTAG_CHECK;
826 : 15 : break;
827 : 0 : case SPDK_DIF_TYPE3:
828 [ # # # # : 0 : mdisk->disk.dif_check_flags = SPDK_DIF_FLAGS_GUARD_CHECK;
# # # # ]
829 : 0 : break;
830 : 1834 : case SPDK_DIF_DISABLE:
831 : 1992 : break;
832 : : }
833 [ + - + - : 2007 : mdisk->disk.dif_pi_format = opts->dif_pi_format;
+ - + - +
- ]
834 : :
835 [ + + + - : 2007 : if (opts->dif_type != SPDK_DIF_DISABLE) {
+ - ]
836 : 15 : rc = malloc_disk_setup_pi(mdisk);
837 [ - + ]: 15 : if (rc) {
838 : 0 : SPDK_ERRLOG("Failed to set up protection information.\n");
839 : 0 : malloc_disk_free(mdisk);
840 : 0 : return rc;
841 : : }
842 : 3 : }
843 : :
844 [ + + + - : 2007 : if (opts->optimal_io_boundary) {
+ - ]
845 [ # # # # : 4 : mdisk->disk.optimal_io_boundary = opts->optimal_io_boundary;
# # # # #
# ]
846 [ # # # # : 4 : mdisk->disk.split_on_optimal_io_boundary = true;
# # ]
847 : 0 : }
848 [ + + + + ]: 2007 : if (!spdk_uuid_is_null(&opts->uuid)) {
849 [ + - + - : 625 : spdk_uuid_copy(&mdisk->disk.uuid, &opts->uuid);
+ - ]
850 : 113 : }
851 : :
852 [ + - + - : 2007 : mdisk->disk.max_copy = 0;
+ - ]
853 [ + - + - : 2007 : mdisk->disk.ctxt = mdisk;
+ - ]
854 [ + - + - : 2007 : mdisk->disk.fn_table = &malloc_fn_table;
+ - ]
855 [ + - + - : 2007 : mdisk->disk.module = &malloc_if;
+ - ]
856 : :
857 [ + - ]: 2007 : rc = spdk_bdev_register(&mdisk->disk);
858 [ - + ]: 2007 : if (rc) {
859 : 0 : malloc_disk_free(mdisk);
860 : 0 : return rc;
861 : : }
862 : :
863 [ + - + - ]: 2007 : *bdev = &(mdisk->disk);
864 : :
865 [ + - + - : 2007 : TAILQ_INSERT_TAIL(&g_malloc_disks, mdisk, link);
+ - + - +
- + - + -
+ - + - +
- + - +
- ]
866 : :
867 : 2007 : return rc;
868 : 161 : }
869 : :
870 : : void
871 : 478 : delete_malloc_disk(const char *name, spdk_delete_malloc_complete cb_fn, void *cb_arg)
872 : : {
873 : : int rc;
874 : :
875 : 478 : rc = spdk_bdev_unregister_by_name(name, &malloc_if, cb_fn, cb_arg);
876 [ - + ]: 478 : if (rc != 0) {
877 [ # # # # ]: 0 : cb_fn(cb_arg, rc);
878 : 0 : }
879 : 478 : }
880 : :
881 : : static int
882 : 1044729373 : malloc_completion_poller(void *ctx)
883 : : {
884 : 1044729373 : struct malloc_channel *ch = ctx;
885 : : struct malloc_task *task;
886 : 336829648 : TAILQ_HEAD(, malloc_task) completed_tasks;
887 : 1044729373 : uint32_t num_completions = 0;
888 : :
889 [ + - ]: 1044729373 : TAILQ_INIT(&completed_tasks);
890 [ + + + + : 1044729373 : TAILQ_SWAP(&completed_tasks, &ch->completed_tasks, malloc_task, tailq);
+ - + - +
- + - + -
+ - + - +
- + - + -
+ - + - +
- # # # #
# # + - +
- + - + -
+ - # # #
# # # # #
# # + - +
- + - + -
+ - ]
891 : :
892 [ + + ]: 1051418713 : while (!TAILQ_EMPTY(&completed_tasks)) {
893 : 6689340 : task = TAILQ_FIRST(&completed_tasks);
894 [ + + # # : 6689340 : TAILQ_REMOVE(&completed_tasks, task, tailq);
# # # # #
# # # # #
# # # # #
# # # # #
# # # # #
# # # # #
# # # # #
# # # # #
# # # # ]
895 [ # # # # ]: 6689340 : spdk_bdev_io_complete(spdk_bdev_io_from_ctx(task), task->status);
896 : 6689340 : num_completions++;
897 : : }
898 : :
899 : 1044729373 : return num_completions > 0 ? SPDK_POLLER_BUSY : SPDK_POLLER_IDLE;
900 : : }
901 : :
902 : : static int
903 : 4827 : malloc_create_channel_cb(void *io_device, void *ctx)
904 : : {
905 : 4827 : struct malloc_channel *ch = ctx;
906 : :
907 [ + - + - ]: 4827 : ch->accel_channel = spdk_accel_get_io_channel();
908 [ + + + - : 4827 : if (!ch->accel_channel) {
+ - ]
909 : 0 : SPDK_ERRLOG("Failed to get accel framework's IO channel\n");
910 : 0 : return -ENOMEM;
911 : : }
912 : :
913 [ + - + - ]: 4827 : ch->completion_poller = SPDK_POLLER_REGISTER(malloc_completion_poller, ch, 0);
914 [ + + + - : 4827 : if (!ch->completion_poller) {
+ - ]
915 : 0 : SPDK_ERRLOG("Failed to register malloc completion poller\n");
916 [ # # # # ]: 0 : spdk_put_io_channel(ch->accel_channel);
917 : 0 : return -ENOMEM;
918 : : }
919 : :
920 [ + - + - : 4827 : TAILQ_INIT(&ch->completed_tasks);
+ - + - +
- + - + -
+ - ]
921 : :
922 : 4827 : return 0;
923 : 338 : }
924 : :
925 : : static void
926 : 4827 : malloc_destroy_channel_cb(void *io_device, void *ctx)
927 : : {
928 : 4827 : struct malloc_channel *ch = ctx;
929 : :
930 [ + + + - : 4827 : assert(TAILQ_EMPTY(&ch->completed_tasks));
+ - + - #
# ]
931 : :
932 [ + - + - ]: 4827 : spdk_put_io_channel(ch->accel_channel);
933 [ + - ]: 4827 : spdk_poller_unregister(&ch->completion_poller);
934 : 4827 : }
935 : :
936 : : static int
937 : 2026 : bdev_malloc_initialize(void)
938 : : {
939 : : /* This needs to be reset for each reinitialization of submodules.
940 : : * Otherwise after enough devices or reinitializations the value gets too high.
941 : : * TODO: Make malloc bdev name mandatory and remove this counter. */
942 : 2026 : malloc_disk_count = 0;
943 : :
944 : 2026 : spdk_io_device_register(&g_malloc_disks, malloc_create_channel_cb,
945 : : malloc_destroy_channel_cb, sizeof(struct malloc_channel),
946 : : "bdev_malloc");
947 : :
948 : 2026 : return 0;
949 : : }
950 : :
951 : : static void
952 : 2026 : bdev_malloc_deinitialize(void)
953 : : {
954 : 2026 : spdk_io_device_unregister(&g_malloc_disks, NULL);
955 : 2026 : }
956 : :
957 : 2148 : SPDK_LOG_REGISTER_COMPONENT(bdev_malloc)
|