【崗位職責】
1. 負責深度學習/機器學習模型在端側設備(如安卓、iOS)的部署與優化。
2. 設計并實現模型從 ONNX 格式到端側設備推理框架的轉換與適配,如 TVM、ncnn、MNN、CoreML 等。
3. 針對移動端的硬件資源,優化模型推理速度、內存占用和功耗,提升設備運行效率與響應速度。
4. 與算法團隊協作,進行模型量化、剪枝等優化,確保端側設備的推理效果與性能。
5. 解決端側部署中的性能瓶頸、兼容性問題,保證系統的穩定性與可靠性。
【任職要求】
1. 熟悉C++,能夠在移動端環境下進行開發與調試。
2. 熟悉將 ONNX 格式的深度學習/機器學習模型轉換為適用于端側設備的格式,了解 ONNX 轉換到 TVM、ncnn、MNN等推理引擎的過程與技術。
3. 熟悉端側推理框架,如 TVM、ncnn、MNN、CoreML,具有模型部署經驗。
4. 理解并能實際應用模型量化(如 INT8、混合精度)技術,優化端側推理性能。
5. 具備較強的分析與問題解決能力,能夠有效進行性能調優與優化。
【加分項】
1. 有 LLM 模型在端側(如 llama.cpp, MLC)部署經驗者優先。
2. 熟悉 iOS 和安卓平臺的硬件架構,并能根據不同平臺的特點進行模型優化,如蘋果 CoreML、安卓 NNAPI、Vulkan/OpenCL 等。