阿里在12月1日进一步开源了 Qwen 的系列LMM大模型。其中体积最小的为 Qwen1.8亿 参数的模型。算是中文领域3B以下最强的大模型之一了。 关键是，之前我6G显存的电脑跑很多大模型本地都跑不起来，甚至很多6亿，7亿参数的模型都报错显存溢出，这个1.8B的应该是对没有显存或者显存小于8G的用户最友好的中文本地大模型了，所以我通过 llama.cpp 量化部署然后把模型打包成了一个可以本地CPU运行离线使用的整合包。

量化后q5_k_m.gguf 模型大小为1.31GB，加载后基础内存占用也在1.3GB，在i5-12600K CPU上4线程可以达到14-15token/s，对终端设备非常友好。 我自己测试了一下它的对话能力，基本ok, 比起以往的小参数大模型效果好蛮多。

打开软件后会自动打开一个黑色的窗口，在最下方有一个箭头的地方可以输入和大模型的对话内容，然后输入回车 确认 就可以开始对话了，玩起来吧~

链接：https://pan.baidu.com/s/1WQQ8kaDilaagjoK5IrYZzA

提取码：1111

编辑于 2024-01-16 10:57

声明：本网站所提供的信息仅供参考之用，并不代表本网站赞同其观点，也不代表本网站对其真实性负责。