企业问私有化部署,常从一句很直接的话开始。数据不能出去,模型能不能放在公司里面跑。
可以。接下来要把“公司里面”说清楚。模型装在办公室的一台电脑上,放进自有机房,或者交给云厂商开一套专属环境,都可能被叫作私有化。企业得到的控制范围不同,后面的账也完全不同。
采购前先看任务。每天整理几十份内部文档,与几百人同时调用客服助手,所需机器和维护方式差得很大。任务还没定,直接问部署一套多少钱,供应商只能先报一个听起来像答案的数字。
机器会一直要钱
模型文件放进本地以后,需要显存、内存和存储空间。有人同时使用,推理服务还要处理排队和并发。机器不能只看“能不能跑起来”,还要看高峰时能不能回话,故障以后有没有替代节点。
电费、散热和机房空间也会进入长期账单。硬件买断只发生一次,电和运维按月发生。这笔钱省不了。模型升级以后,原有机器可能继续够用,也可能需要重新评估。企业若只看第一张采购单,很容易漏掉后面几年的费用。
小团队可以先用一台测试机跑最小任务。把真实文档放进脱敏环境,记录一次请求需要多久,同时观察一周使用量。这个结果比照着供应商的峰值参数买整套设备可靠。
系统需要人照看
本地模型也会出错。服务可能停止,知识库会过期,权限配置也可能把不该看见的文档交给错误的人。谁更新模型,谁备份索引,出现错误后怎样回退,都要有人负责。
这项工作不一定需要一个完整技术团队,负责人却必须存在。外包公司可以维护机器,业务部门仍要判断答案是否能用;模型一旦把合同日期提错,最后签字的人不能把责任交给显卡。
美国国家标准与技术研究院的 AI 风险管理框架把风险工作放进设计、开发、使用和评估的全过程。它是一份自愿采用的框架,不替企业作采购决定。它提醒了一件实际的事,模型上线以后仍要持续衡量和处置风险。
数据留在本地也要管
服务器摆在自己公司,数据仍然会经过账号、日志、备份和管理员。员工把客户名单传进知识库,谁有权查看。系统记录每次提问,日志要保留多久。备份拿到别处,是否仍在原来的安全边界内。这些都属于数据管理。
中国的《生成式人工智能服务管理暂行办法》对面向境内公众提供生成式人工智能服务作出规定。第二条同时写明,企业和科研机构研发、应用相关技术且没有向境内公众提供服务时,不适用该办法。这个范围区别不能被理解成内部系统没有其他数据责任。办法第七条谈到数据合法来源和个人信息,第十一条也要求服务提供者保护用户输入与使用记录。企业落地时仍需结合自身业务核对适用法律和合同要求,本文不替代法律意见。
私有化解决的是控制权问题。它能减少某些数据外发路径,也会把更多维护工作留在企业内部。机器费用、照看系统的人,以及数据责任,这三笔账都算清以后,再比较本地部署和合规云服务,选择会稳很多。