Intel最近将NPU加速库开源,并发布在GitHub上。这项行动意味着,使用酷睿Ultra处理器的AI PC现在可以运行诸如TinyLlama、Gemma-2b等轻量级大语言模型了。
酷睿Ultra是首次引入NPU AI引擎的处理器,它可以执行一些轻负载的AI推理任务,并与CPU和GPU一起协同处理各种AI工作。这次发布的开源NPU加速库当然是面向开发人员的,但如果你有一定的编程经验,也可以尝试一下。
Intel软件架构师Tony Mongkolsmai向人们展示了如何利用这个开源的NPU加速库。他演示了一台搭载微星尊爵14 AI Evo笔记本电脑,在上面使用了拥有11亿参数的TinyLlma大模型进行AI聊天机器人测试,结果显示它能够成功进行简单对话。同时,Windows任务管理器显示,NPU确实被激活了。