本期文章教你如何在本地部署LLama3,让你的电脑摇身一变成为AI-PC。
部署好后让你的生产效率直线拉满!正所谓能动手的事情,尽量别废话,本期教程全程高速,教学简单,适合小白无脑冲!从此你的电脑也化身AI-PC,从本地部署能有效的减少对在线LLama套壳们的依赖,也能很好的保护个人敏感数据。
注意:遇到网络问题下载不了大模型的直接滑倒最下面,有网盘链接!
第一步:下载LM Studio,下面是网盘链接:
https://pan.baidu.com/s/10uzz31J5GiMo9mGvgHjl1w 提取码:89bn
打开界面是这样的:
第二步:选择LLama3-8B-Instruct下载
第三步:选择并使用模型
我们演示几个简单的对话:
本人的配置是3070的N卡,跑的是8B的模型,整体对话相对来说非常流畅,基本实现了本地改写文章,本地改代码,本地写测试用例等多种常见的需求,没事儿时还可以聊聊天,也进行了几个弱智吧的测试,推理能力讨喜:
这还只是个8B的模型,还没有上70B,众所周知参数越大效果越好,所以建议大家如果有条件还是直接上70B。
LLama3大模型网盘传送门:
8B:https://pan.baidu.com/s/1l51s3UfQyg5sq7HL-4Hy-w提取码:w94q
70B:
通过网盘下载LLama3到本地后,点击左边的文件夹按钮,然后点击Show in file Explorer按钮,打开大模型所在文件夹:
然后打开里面的lmstudio-community文件夹,把从网盘下载的大模型拷贝进去:
然后回到第三步,选择模型并使用!期间如果感觉模型跑不动的话就检查以下自己的设置,尤其是看看自己的GPU或CPU线程:
在对话页面找到Hardware Setting,想要跑到最大性能直接点击Max!总之就是两个字:通透!
本文链接:https://www.hzby.vip/Llama3/35.html
llama模型开源协议llama模型训练llama模型是干什么的llama2模型教程llama模型起始代码llama2模型训练方法llama模型部署llama中文模型部署llama模型全称llama2模型微调部署
网友评论