Upstage 将发布新一代 LLM “Solar Pro “预览版

• Solar Pro 是最智能的 LLM，经过优化可在单 GPU 上运行，性能超过微软、Meta 和谷歌等科技巨头的模型。

加州圣何塞2024年9月11日电 /美通社/ – Upstage 今天宣布发布其下一代大型语言模型 (LLM) Solar Pro 的预览版。加州圣何塞2024年9月11日电 /美通社/ – Upstage 今天宣布发布其下一代大型语言模型 (LLM) Solar Pro 的预览版。 该预览版作为开源模型免费提供 API 访问，让开发人员和企业有机会在该模型于 11 月正式发布之前对其进行测试并提供反馈。

作为 Solar LLM 系列的旗舰型号，Solar Pro 拥有 220 亿个参数，是其前身 Solar Mini 的两倍多。 尽管体积增大，但由于采用了 Upstage 专有的深度向上扩展（DUS）方法和先进的数据配方，Solar Pro 经过优化，可在单个 GPU 上高效运行。 这一创新使Solar Pro在提供一流性能的同时，大幅缩小了模型尺寸–在人工智能领域，面对不断上涨的GPU成本和供应限制，这是一项至关重要的优势。

Solar Pro 的先进功能在关键的 LLM 基准测试中取得了令人印象深刻的成绩，与 Solar Mini 相比平均提高了 51%。 在衡量 14 个领域的多学科语言理解和推理能力的 MMLU Pro 基准测试中，Solar Pro 的准确率达到了 52.11 分。 此外，Solar Pro 在 IFEval 基准测试中取得了 84.37 分的优异成绩，展示了其遵循复杂指令的能力，其智能程度可与人类媲美。

这些结果超过了领先科技公司的同类型号，包括微软的 Phi 3 Medium、Meta 的 Llama 3.1 8B、Mistral NeMo 12B 和谷歌的 Gemma 2 27B。 Solar Pro 甚至可以与需要多个 GPU 的更大型机相抗衡，例如参数数量是其三倍的 Llama 3.1 70B。 Solar Pro 在一般任务和特殊任务中都树立了新的标准，是当今市场上最智能、最高效的 LLM。

"Upstage首席执行官Sung Kim表示："我们的Solar LLM系列已经对全球人工智能市场产生了重大影响，我们非常高兴能够通过Solar Pro进一步推动这一领域的发展，Solar Pro是在单个GPU上运行的最智能的LLM。 "我们邀请开发人员和企业探索 Solar 预览版，它提高了小型语言模型的性能标准。

Solar Pro 的先进功能使企业能够自动化和简化各行各业的各种任务。 在医疗保健领域，它可以分析病人记录、生成临床摘要并支持医学研究。 在金融领域，它可以进行财务分析、起草报告并提供个性化投资建议。 在法律服务领域，Solar Pro 可以审查合同、汇总法律文件并协助法律研究，是提高生产力和效率不可或缺的工具。

在 11 月正式发布之前，Solar 预览版将作为开源模式供公众使用，包括商业应用，并提供免费 API 访问。 该预览版支持英语输入，并提供一个包含 4,096 个词组的上下文窗口。

QuickStart

# Install requirements
# !pip install transformers==4.44.2 torch==2.3.1 flash_attn==2.5.8 accelerate==0.31.0

# Load model
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("upstage/solar-pro-preview-instruct")
model = AutoModelForCausalLM.from_pretrained(
    "upstage/solar-pro-preview-instruct",
    device_map="cuda",  
    torch_dtype="auto",  
    trust_remote_code=True,
)
# Apply chat template
messages = [
    {"role": "user", "content": "Please, introduce yourself."},
]
prompt = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to(model.device)
# Generate text
outputs = model.generate(prompt, max_new_tokens=512)
print(tokenizer.decode(outputs[0]))

Solar Pro Preview 也可以作为 API 在 Upstage Console 中使用，我们还提供了其他易于使用的方法。 如果您想了解这些选项，请访问我们的博客页面。

Price

https://www.upstage.ai/pricing

注：Upstage 是一家来自韩国的AI公司