在 React Native 与移动应用中使用 ONNX 模型的方法

ONNX（Open Neural Network Exchange）是一种通用的机器学习模型格式，支持 一次训练，多端部署。通过 ONNX，可以将使用 PyTorch、TensorFlow 训练的模型，高效地运行在 Android、iOS 以及 React Native、Flutter 等跨平台移动框架 上。

本文以 React Native 为核心，系统性介绍如何在移动端使用 ONNX，并进一步说明 端侧 AI（On-device AI） 与 本地大模型（Local LLM） 在实际业务中的价值。

为什么 ONNX 适合移动应用

ONNX 在移动端广泛应用，主要原因包括：

不绑定特定训练框架，技术路线灵活
支持 CPU 及移动端加速器（NNAPI / CoreML）
无需 Python 运行环境
非常适合离线推理与低延迟场景

在注重 稳定性、数据安全与用户体验 的场景中，ONNX 是移动 AI 的理想选择。

移动端 ONNX Runtime 选择

平台	推荐 Runtime
React Native	onnxruntime-react-native
Android（原生）	ONNX Runtime Android
iOS（原生）	ONNX Runtime iOS
Flutter	通过 Platform Channel 调用 ONNX Runtime
Ionic / Capacitor	原生插件封装 ONNX Runtime

⚠️ 纯 JavaScript 方式运行 ONNX 并不适合生产环境。

在 React Native 中使用 ONNX（推荐方案）

1. 安装 ONNX Runtime

为了获得更好的稳定性，建议使用 React Native CLI：

yarn add onnxruntime-react-native
cd ios && pod install && cd ..

Expo 用户需要使用 prebuild 与 custom dev client。

2. 将 ONNX 模型集成到应用中

常见方式包括：

将模型直接打包进应用（assets/models/model.onnx）
应用首次启动时下载模型并缓存到本地

在早期阶段，推荐 直接随应用打包。

3. 创建推理 Session

import * as ort from "onnxruntime-react-native";

export async function loadModel(modelPath: string) {
  return await ort.InferenceSession.create(modelPath, {
    executionProviders: ["cpu"],
  });
}

4. 执行推理

export async function runInference(session, inputName, data, dims) {
  const tensor = new ort.Tensor("float32", data, dims);
  const feeds = { [inputName]: tensor };
  return await session.run(feeds);
}

请务必确认模型的 输入名称与维度 完全一致。