内存零拷贝
概述
对于GPU的纹理数据或模型的输入数据等已经存在于ION内存中的场景,就可以使用“内存零拷贝方式”,即将存放数据的ION内存封装为输入输出张量,直接进行推理,不需要进行输入张量和输出张量的数据拷贝,以便节省内存以及推理时间。
使用说明
对于零拷贝使用场景,在模型加载完成后,使用OH_NNTensor_CreateWithFd,将ION内存封装为输入张量“input_tensor”,输出张量"output_tensor",执行推理。
若size为模型输出大小,对于输出张量,建议开发者申请ION内存的大小为。