最好最快体验Llama 3.1渠道就是Groq

https://groq.com/

目前405B繁忙中，我用70B试了下，速度很快。

Groq API使用次数给得很大方。

当然，Ollama也上线了

https://ollama.com/library/llama3.1

Llama 3.1 模型发布重点总结

1. 核心亮点

• Meta发布了迄今为止最强大的开源AI模型：Llama 3.1

• 新模型扩展了上下文长度至128K，支持8种语言

• Llama 3.1 405B是首个前沿级开源AI模型，能力可与闭源模型相媲美

2. 模型特点

• Llama 3.1 405B在多个基准测试中表现优异，特别是在MMLU、IFEval和GSM8K等测试中。
• 与其他规模的Llama 3.1模型相比，405B版本在所有测试中都表现最佳，显示了模型规模对性能的积极影响。
• 在人工评估中，Llama 3.1 405B与顶级闭源模型（如GPT-4和Claude 3.5）相比，表现相当，大多数情况下能够达到平局或接近的水平。
• 特别值得注意的是，Llama 3.1 405B在与Claude 3.5 Sonnet的对比中表现最好，赢率略高于输率。

3. 技术细节

• 使用超过15万亿个标记进行训练

• 采用16,000多个H100 GPU进行模型训练

• 使用标准的仅解码器Transformer架构，而非专家混合模型

• 通过量化技术，将模型从16位(BF16)降至8位(FP8)，降低计算需求

4. 开源与生态系统

5. 安全性与责任

• 发布Llama Guard 3（多语言安全模型）和Prompt Guard（提示注入过滤器）

• 进行广泛的红队测试，以评估和缓解潜在风险

• 采用多轮对齐技术，包括监督微调(SFT)、拒绝采样(RS)和直接偏好优化(DPO)

6. 未来展望

1. 开源AI的优势

• 类似Linux的发展模式，开源AI将成为行业标准

• Llama 3.1 405B是首个前沿级开源AI模型

• 开源促进创新、降低成本、提高安全性

2. 对开发者的好处

• 可以训练、微调和蒸馏自己的模型

• 控制自身命运，不被锁定在封闭供应商中

• 保护数据安全

• 运行成本效率高

• 投资长期行业标准

3. 对Meta的好处

• 确保获得最佳技术，不被竞争对手的封闭生态系统限制

• 促进Llama生态系统的发展

• 符合Meta的开源传统和商业模式

4. 对世界的好处

• 增加人类生产力、创造力和生活质量

• 加速经济增长和科研进步

• 更安全和透明

• 促进全球创新和机会平等

5. 安全性考虑

• 非故意伤害：开源系统更透明，可被广泛审查

• 故意伤害：开放部署有助于大型机构检查和制衡小规模不良行为者

• 开源AI将比替代方案更安全

6. 未来展望

• Llama 3.1的发布将成为行业转折点

• 大多数开发者将开始主要使用开源AI

• Meta致力于建立广泛的合作伙伴关系，推动生态系统发展

Llama 3.1 合作伙伴