OpenAI 开源模型 gpt-oss,只需要 16GB 显存。目前可在线试用
OpenAI开源轻量化语言模型gpt-oss-120b(约1170亿参数)和gpt-oss-20b(约210亿参数),支持最长128k上下文长度。gpt-oss-20b仅需16GB显存运行,适合边缘设备和本地推理应用。模型采用Transformer架构与MoE技术训练而成,并基于主要为英文的纯文本数据集进行优化。用户可通过Hugging Face平台下载或在线试用。 2025-8-6 08:30:14 Author: www.appinn.com(查看原文) 阅读量:17 收藏

Home

AI

OpenAI 开源模型 gpt-oss,只需要 16GB 显存。目前可在线试用

OpenAI 终于开源了自己的模型:gpt-oss-120bgpt-oss-20b,并发布了中文内容:《隆重推出 gpt-oss》。@Appinn

OpenAI 开源模型 gpt-oss,只需要 16GB 显存。目前可在线试用 1

这是两款 Apache 2.0 许可证下的轻量级语言模型,可商用。均基于 Transformer 架构,采用专家混合(MoE)技术,gpt-oss-120b 约有 1170 亿参数,每个 token 激活约 51 亿参数;gpt-oss-20b 有 210 亿参数,激活约 36 亿参数。支持最长 128k 的上下文长度。

性能方面,gpt-oss-120b 在核心推理测试中几乎与 OpenAI 的闭源 o4-mini 模型持平,且能高效运行于单个 80GB GPU;gpt-oss-20b 性能接近 o3-mini 模型,仅需 16GB 内存,适合边缘设备和本地推理应用。

模型层数总参数每个令牌的活跃参数总专家数每个令牌的活跃专家数上下文长度
gpt-oss-120b36117b5.1b1284128k
gpt-oss-20b2421b3.6b324128k

gpt-oss 使用了主要为英文的纯文本数据集对模型进行了训练,重点关注 STEM、编程和通用知识领域。并且使用了 OpenAI o4-mini 和 GPT‑4o 所用令牌化器的超集进行数据令牌化,即 ‘o200k_harmony’,该令牌化器我们今日也一并开源。

如何部署

目前 gpt-oss-120bgpt-oss-20b 两个模型已经可以在 huggingface 下载:

建议个人用户常识 20b 模型,仅需16GB显存。毕竟不是几个人有 80G 显存来部署 120b 🐶

Ollama 安装

# gpt-oss-20b
ollama pull gpt-oss:20b
ollama run gpt-oss:20b

下载量大约 14GB,然后就可以使用 Ollama 对话了。

在线试用

目前可以直接在线试用这两个模型:

OpenAI 开源模型 gpt-oss,只需要 16GB 显存。目前可在线试用 2

并且支持联网。


原文:https://www.appinn.com/openai-gpt-oss/


文章来源: https://www.appinn.com/openai-gpt-oss/
如有侵权请联系:admin#unsafe.sh