Llama 3官网|llama3 本地部署|llama3下载

教你如何在本地部署LLama3,让你的电脑摇身一变成为AI-PC

nidongde2024-04-24 21:09:0931

本期文章教你如何在本地部署LLama3,让你的电脑摇身一变成为AI-PC。

部署好后让你的生产效率直线拉满!正所谓能动手的事情,尽量别废话,本期教程全程高速,教学简单,适合小白无脑冲!从此你的电脑也化身AI-PC,从本地部署能有效的减少对在线LLama套壳们的依赖,也能很好的保护个人敏感数据。

注意:遇到网络问题下载不了大模型的直接滑倒最下面,有网盘链接!

第一步:下载LM Studio,下面是网盘链接:

https://pan.baidu.com/s/10uzz31J5GiMo9mGvgHjl1w 提取码:89bn

打开界面是这样的:

第二步:选择LLama3-8B-Instruct下载

第三步:选择并使用模型

我们演示几个简单的对话:

本人的配置是3070的N卡,跑的是8B的模型,整体对话相对来说非常流畅,基本实现了本地改写文章,本地改代码,本地写测试用例等多种常见的需求,没事儿时还可以聊聊天,也进行了几个弱智吧的测试,推理能力讨喜:

这还只是个8B的模型,还没有上70B,众所周知参数越大效果越好,所以建议大家如果有条件还是直接上70B。

LLama3大模型网盘传送门:

8B:https://pan.baidu.com/s/1l51s3UfQyg5sq7HL-4Hy-w提取码:w94q

70B:

通过网盘下载LLama3到本地后,点击左边的文件夹按钮,然后点击Show in file Explorer按钮,打开大模型所在文件夹:

然后打开里面的lmstudio-community文件夹,把从网盘下载的大模型拷贝进去:

然后回到第三步,选择模型并使用!期间如果感觉模型跑不动的话就检查以下自己的设置,尤其是看看自己的GPU或CPU线程:

在对话页面找到Hardware Setting,想要跑到最大性能直接点击Max!总之就是两个字:通透!

本文链接:https://www.hzby.vip/Llama3/35.html

llama模型开源协议llama模型训练llama模型是干什么的llama2模型教程llama模型起始代码llama2模型训练方法llama模型部署llama中文模型部署llama模型全称llama2模型微调部署

相关文章

网友评论