Llama 3官网|llama3 本地部署|llama3下载
首页 Llama3资讯正文

Llama3对比GPT4效果究竟如何？Llama3这么强大究竟是用了什么最新的神仙技术？

nidongde2024-05-11 09:30:1217

宇宙最强Llama3发布，有友友要求AirLLM支持本地4GB显存跑Llama3 70B？马上安排！

Llama3对比GPT4效果究竟如何？Llama3这么强大究竟是用了什么最新的神仙技术？Llama3的突破是不是意味着开源模型正式开始超越了闭源了？今天给出我们的解读。

01

如何本地4GB显存随便跑Llama3 70B？

Llama3的模型架构并没有变化，所以其实AirLLM天生就完美支持Llama3 70B的运行的。包括macbook也可以运行。
首先安装AirLLM：

pip install airllm

然后只需要几行代码：

from airllm import AutoModelMAX_LENGTH = 128model = AutoModel.from_pretrained("v2ray/Llama-3-70B")input_text = [        'What is the capital of United States?'    ]input_tokens = model.tokenizer(input_text,    return_tensors="pt",     return_attention_mask=False,     truncation=True,     max_length=MAX_LENGTH,     padding=False)generation_output = model.generate(    input_tokens['input_ids'].cuda(),     max_new_tokens=20,    use_cache=True,    return_dict_in_generate=True)output = model.tokenizer.decode(generation_output.sequences[0])print(output)

详见我们的github repo：https://github.com/lyogavin/Anima/tree/main/air_llm。

02

PK GPT4对比如何？

按照官方评估数据和最新的lmsys leaderboard，Llama3 70B已经和GPT4和Claude3 Opus非常接近。

官方评测结果

lmsys leaderboard结果

当然更合理的是用规模相近的400B去和GPT4，Claude3 Opus对比：

训练中的Llama400B对比GPT4和Claude3 Opus对比

Llama3 400B已经非常接近GPT4和Claude3的最强版本。而且Llama3 400B还在训练中。

03

Llama3最核心的提升在哪里？

Llama3架构没有变化，训练方法上有一些技术上的改进比如基于DPO的模型对齐训练。DPO现在基本已经成为了大模型刷榜的标配，超级好使，谁用谁知道。
我们以前的文章也对DPO有详细的介绍，有全部的代码开源共享（OpenAI独家绝技也被开源超越啦？！DPO让小白轻松玩转RLHF！[已开源]）。
当然Llama3最主要的改进在于训练数据的数量和质量的大规模的提升。从Llama2的2T提升到了15T！

数据的提升绝不仅仅是数量上的，更是质量上的提升。meta做了大量的数据质量过滤、去重等工作。而且很多是基于Llama2这样的大模型去做数据的筛选过滤的。
请注意：这15T是经过了严格的筛选、过滤之后的。
那过滤前可能是上百T了。用Llama2过滤上百T数据肯定很爽。
AI模型的训练核心在于数据。训练一个好的AI模型，并不在于有很多fancy的训练技术，而在于非常细致扎实的做好每一个基本功。特别是数据质量这种看起来一点也不sexy的脏活累活其实至关重要。
我一直很看好Meta AI的实力。从transfomer早期的判别式AI阶段，Meta AI就以非常扎实的数据处理功底见长，虽然没什么哗众取宠的炫技，但是产出过很多霸榜SOTA很长时间的经典模型。
比如当年的Roberta，Roberta XLM很长时间都是我们的默认goto模型。

04

Llama3的成功是否宣告了开源模型正式上位？

踩开源模型的都啪啪打脸。

不过开源和闭源的斗争可能远远没有结束。好戏还有很多。

不论开源还是闭源，训练大模型都已经变成了一个拼烧钱的游戏。15T的数据400B的模型不是什么小玩家都玩得起的。目测半年内很多搞大模型的小公司会死掉。

拼烧钱的事情本质上拼的还是长期的投资变现能力。其实到今天为止AI真正落地变现还非常少。谁能持续维持投入，以什么样的方式维持投入都很难说。

希望各位神仙打架不要停，让我们一直有越来越牛的模型可以用，还可以一直有瓜吃。

本文链接：https://www.hzby.vip/Llama3/27.html

Llama 3开源模型Ollama 地址Llama-3官方模型权重地址Llama-8BLlama-3-400Bllama和ChatGPTllama是啥意思llama大模型llama 3

相关文章

网友评论