跳到主要内容

内存零拷贝

概述

对于GPU的纹理数据或模型的输入数据等已经存在于ION内存中的场景,就可以使用“内存零拷贝方式”,即将存放数据的ION内存封装为输入输出张量,直接进行推理,不需要进行输入张量和输出张量的数据拷贝,以便节省内存以及推理时间。

使用说明

对于零拷贝使用场景,在模型加载完成后,使用OH_NNTensor_CreateWithFd,将ION内存封装为输入张量“input_tensor”,输出张量"output_tensor",执行推理。

若size为模型输出大小,对于输出张量,建议开发者申请ION内存的大小为