私有化部署hugface大模型教程

今天介绍如何在旧手机上安装和运行人工智能的大语言模型。我在一款二零一九年发布的红米 k 三十上都可以运行，阿里的通一千问，你的手机肯定行， 还不赶紧试试。首先手机上安装 traumats， 这是一个安卓系统的命令型 app， 提供了一个在手机上运行的 linus 环境。然后安装包 pro distro， 他提供了 debian， 无不图等多种 limits 环境，安装完成之后，运行 the login， debian 就可以进入 debian 环境了。在这里我们运行 ome， 一个简单快捷的大 语言模型。本地运行框架 olama， 提供了类似 doctor 的架构和命令。 olama serve， 类似于创建一个 doctor demon。 下面开始运行大语言模型， 这里运行的是快一点八倍。这是一个阿里发布的国产大语言模型，初次运行这个模型需要先下载， 终于下载完成了，欧拉玛默认提供命令行。为了节省资源，我们先在命令行梦里聊天。先问个好，问问通一千万有什么能力 千万，回答速度很快，回答内容实在太长，这里做了加速。 再问问大模型是否知道自己的名字。大模型思考了片刻， 是 太长了，我们就不看了。再问一个问题， 成吉思汗的成就，回答的内容质量还可以。 你也赶紧在自己手机上安装一个，试一试这个随身携带，不需联网，没有额外费用的本地大语言模型吧。

今天我们来聊一聊这个石油化 ai 大模型部署。最近我们一直都有在跟一个客户对接一个石油化 ai 的项目， 客户呢是想自己搭建一个 ai 大模型，然后通过 ai 智能，通过学习 ai 学习他们的数据，实现 ai 智能客服的这个功能。 现在目前我们也在聊到最困难的地方，也就是这个本地服务器资源以及 gpu 的要求，这一块啊，可能对硬件资源要求比较高。 另外呢，还有我们这个 ai 大数据的这个训练过程，我们需要有专业的散发工程师去进行训练，所以这一块的费用可能会比较高。那目前这个大模型的四有化部署，我觉得这应该也 是一个目前来说是一个非常好的一个赛道。对于很多大企业来说，如果说你想要建自己的大模型，你如果想要保护自己的核心数据的安全， 那么你去用公众的那些大模型，比如说用百度啊，或者说 chat g、 b、 t 这些呢，那就涉及到 数据安全。刚好前段时间国家的网监部门也推出了这个深圳市人工智能的一个管理草案，其中最关键的就是对大数据安全方面的一些监管。所以 如果说你公司有这个实力，能够自己去搭建 ai 大模型，然后在自己所在的这个领域去做一些智能化的训练，这个 在这方面呢，应该是一个非常大的一个优势。你可以提前将你的数据进行 ai 化，你就可以在你所熟悉的领域提前进行智能化的一个训练，那么你就可以在你这个 企业在这个智能化里面就可以抢占高地，从而能够更更快的拿到用户。所以对于这一个 im 型的一个私有化部署，目前我们也是 有一些实施的案例正在推进当中。所以说如果说你对 ai 私有化部署这一块有什么想法，或者你对 ai 学习大数据这一块的 一些算法工程师，有实力的玩家都可以跟我们来联系，我们一起来讨论如何来 将这个 ai 大模型进行一个私有化的部署，如何让我们的 ai 真正的跟企业对接起来，落地下去。所以这是我下一步可能要推进的一个重点的方向， 希望有兴趣的朋友。当然你如果对 ai 也很感兴趣，或者说愿意加入我们一起来合作弄这个事情的，也可以联系我们，谢谢大家。