铭鸿体育资讯网

1. 端侧AI怎么系统学?这份路线图我劝你收 你有没有发现,网上学 AI 有个尴

1. 端侧AI怎么系统学?这份路线图我劝你收
你有没有发现,网上学 AI 有个尴尬的断层——
要么只会调 PyTorch 训练,模型一导出就懵;
要么只会跑官方 Demo,为什么慢、为什么吃内存,一问三不知。
中间缺的那一环,就是「模型 → Runtime → Compiler → 硬件」。
我最近整理了一套开源路线图,专治这个断层。🎯
整套教程只回答一个问题:
一个 Transformer / LLM,从 PyTorch 里的模型定义,到最后变成 ARM CPU、GPU、NPU 上的一条条计算指令,中间到底经历了什么?
一共 3 大部分、13 章,外加进阶专题和完整实战项目:
① AI 基础|机器学习 / 深度学习 / Transformer / LLM / PyTorch
② LLM 推理 Runtime|Agent/RAG / llama.cpp / vLLM / MLC-LLM
③ Compiler 与端侧|TVM / GPU Kernel / RKNN / RKLLM / RK3576
不是纸上谈兵,进阶专题里有一套真实环境完整跑通:
✅ Qwen3.5-2B 部署到 4GB 内存的 RK3576
✅ W4A16 量化,模型产物约 2.2GB
✅ 实测 Prefill 26.37 tok/s、Decode 6.14 tok/s、内存 1501MB
✅ 还带版本矩阵、实验规范、故障定位方法
它跟别的教程不一样的地方:
1️⃣ 是「地图 + 路书」,不是资料搬运,每章都标了该啃哪个开源仓库
2️⃣ 证据分级严格:已验证 / 官方说明 / 工程推断 / 待验证,不把猜测当事实
3️⃣ 配了完整实战项目:RK3576 本地多模态助手,13 个 Phase 从 Linux 一路做到产品化
适合谁:
嵌入式 / 传感器 / 硬件背景,想转端侧 AI、边缘 AI 的人;
也适合应届生补「模型部署」这块求职硬技能。
📌 完全开源、MIT 协议、持续更新中
GitHub 搜「ai-to-edge-deployment」,Star 收藏不迷路
后续我会逐章拆解,关注我蹲更新👇
端侧AI开发 深度学习