当你被这些问题困扰,那么你可以考虑离线运行开源大模型。完全不需要网络,因此不存在隐私泄漏的问题。你可以随意对模型进行微调,想弄成猫娘还是伪娘都随你的想法。没有任何审查,想怎么问怎么答都可以调整。
但这些问题现在都不是问题了。使用LM Studio,你只需要3分钟就能在自己电脑上运行开源大模型。并且能自动开启兼容openai库的API.要运行大模型的门槛也大大降低,只需要满足:
接下来,需要下载开源大模型。这是整个步骤里面,唯一需要联网的地方。由于它会从Huggingface上面下载大模型,但这个网站已经被墙了,因此你需要自己想办法绕过。这里我以Qwen 1.5-7B为例。虽然这个模型只有7B,但是经过我测试,它已经相当不错了。
当你第一次运行LM Studio时,上图箭头指向的地方应该是一个绿色的Download
按钮,点击就可以下载。5.53GB,很快就下载完成了。如果你想下载其他的模型,可以直接在第一张图的搜索框进行搜索并选择合适的大小下载。
我们以《一日一技:自动提取任意信息的通用爬虫》这篇文章中讲到的使用GPT从Linkedin源代码中提取招聘信息的例子来演示。但把GPT 4换成了Qwen 1.5-7B.代码如下:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42
| { "title": "Data Analyst, Data Operations", "full_time": "Full-time", "employee_num": "10,001+ employees", "level": "Entry level", "skill": [ "Data Analytics", "数据工程", "Python", "SQL", "ETL pipeline", "Linux command", "数据分析", "问题解决" ], "desc": "We are seeking a Data Analyst to join the Data Operations team for Autonomous Vehicles software development. The role involves building metrics, tools, and driving efficiency in data-driven decision-making.", "company": { "name": "NVIDIA", "location": "Shanghai, Shanghai, China", "size": 10001+, "description": "A leader in accelerated computing, NVIDIA is a full-stack company reshaping industries with data-center-scale offerings.", "commitments": [ { "area": "Diversity, equity, and inclusion", "description": "The company has an allyship program and strives for pay parity" }, { "area": "Career growth and learning", "description": "NVIDIA supports career development with various opportunities for learning and skill enhancement" } ] }, "do": [ "Build metrics, track data loop operations, propose data mining strategies, develop automation tools, and analyze opportunities for improvement" ], "requirement": [ "BS or MS in STEM or related field, 4+ years of experience in data engineering/data analytics", "Proficient in Python, SQL, and ETL pipeline", "Excellent analytical and problem-solving skills" ], "goodpoint": "Experience in autonomous vehicles domain or startup environment is a plus" }
|
这个提取结果跟GPT 4 Turbo的提取结果比起来,几乎是一样的。虽然有一些小小的瑕疵(company字段被擅自增加了嵌套字段),但这只是一个小小的7B模型,并且运行在一台小小的笔记本上面而已。而且完全免费。这样的瑕疵是完全可以接受的,并且可以通过一些工程手段来修复。如果你的显卡更高级,你可以试一试使用Qwen 1.5-14B甚至Qwen 1.5-72B,效果肯定会更好。
需要注意的是,Qwen 1.5-7B毕竟是国产大模型,针对中文做了大量的优化。因此如果你希望结果保留英文,就尽量使用英文的Prompt。否则它会擅自把提取结果翻译成中文。如果你需要处理的内容包含大量英文,你可以考虑使用LLama的最新大模型,而不是国产大模型。
总结一下,使用LM Studio,你可以立刻拥有一个完全属于你自己的大模型。运行在你自己的电脑上,没有隐私问题,没有网络问题,可以自由定制,而且完全免费。还能一键开启API,兼容openai库,从而自己写代码开发更多基于大模型的功能。