企业内AI落地难在哪里
原创 一乐 蓝莺IM 2024年07月16日 21:50 北京
AI不能只是一个玩具。
无摩擦和权限控制，是企业AI落地的两大挑战。
看Apple Intelligence，听Andrej Karpathy，阅读本文一起思考生成式AI的未来发展。
文后有蓝莺GrowAI产品内测指南，关心业务增长的企业可以直接跳到最后。
你们AI增长如何？有新场景落地吗？
最近见面寒暄最多的主题还是AI，只是与以往不同的是，很多朋友眼中没有了兴奋与激情，却多了一份犹豫。
是的，已经很少有人谈论大模型幻觉，按说AI的能力已经得到了相当的认可，为什么好像听到的落地案例没有很多呢。
AI落地难，因为AI不能只是一个玩具，我还会这样回复。
去年，蓝莺AI早早完成了智能体Agent平台的建设，也接触了不少客户。从年底开始，我们便在提醒客户，接入AI只是第一步，一定要跨越智能应用的鸿沟。
这条鸿沟，就是能否将AI嵌入真实的业务中，产生价值。而跨越，不会是加个Copilot助手那么简单。
如果我们对应用的要求是企业级的，那么对AI的要求就必须也是企业级的。
这便是我们今天聊的主题，如何打造自己的企业级AI产品。
看看苹果智能（Apple Intelligence）
上月，在苹果全球开发者大会WWDC上，苹果交出了自己在新智能时代的答卷。苹果智能（Apple Intelligence）发布，一个全新接入生成式AI的个性化智能系统。
Andrej Karpathy总结了苹果智能的几个重点：
- 多模态输入 / 输出。苹果启用了文本 / 音频 / 图像 / 视频读写功能。
- Agentic。苹果允许操作系统和应用程序的所有部分通过「函数调用」进行互操作，内核进程 LLM 可根据用户查询安排和协调它们之间的工作。
- 无摩擦。苹果以一种高度流畅、快速、always on 和上下文的方式全面集成这些功能。无需四处复制粘贴信息、提示工程等。还对用户界面进行了相应调整。
- 主动性。苹果没有根据提示执行任务，而是预测提示、提出建议并主动执行任务。
- 分级授权。尽可能多地将智能移动到设备上（苹果芯片非常有帮助且适合），但允许将工作可选地派发到云端。
- 模块化。允许操作系统访问并支持整个不断增长的 LLM 生态系统（例如 ChatGPT 公告）。
- 隐私。
关于Karpathy你要知道的是，他不仅是个普及AI的硬核网红，职业履历也很关键。他曾是OpenAI的创始成员，也曾是特斯拉AI的负责人。他对于AI和应用的思考，都很深入且具有启发性。
回到刚才的总结，我们在之前已经分别针对性的给过答案：
- 多模态输入输出。可以结合小蓝AI的多模态设计[1]。
- Agentic。在我们构建完蓝莺Agent平台时，就提出要做智能插件[2]，用AI驱动业务[3]。
- 主动性。AI不只是会变懒，它本身的设计就是响应式的，要让其比用户更主动，做好销售而不是客服[4]，就不能忽略这一点。
- 模块化。你需要一个设计成熟的AI SDK[5]，而不是深度耦合的一段段代码。
剩下的3和5，也就是无摩擦和分级授权，则是我们今天讨论的主题，企业内AI落地的两大挑战。
企业级AI的两大挑战
一、摩擦
很多人从ChatGPT开始认识大语言模型LLM，会自然觉得其是以对话方式开始工作的。这容易理解，但我们必须意识到，LLM AI让人机对话变得简单，但是对话并不是它最强的地方，与机器的交互才是。
比起人类的自然语言，它当然更熟悉编程语言，甚至机器语言。所以如果一个任务，当你对其组织的自然语言回复满意时，大概率直接完成这个任务也是可以的。
很多业务系统的AI改造，是给系统增加了一个AI聊天助手，然后需要操作用户来对AI回复的内容进行理解或加工，最后将其添回过去的操作界面。
这就是摩擦。
这样的设计，从用户体验角度来看是远远不够的，很难吸引用户吸引用户迁移到新系统上。
当然这方面值得学的例子也很多，除了Github Copilot等编程插件，OpenAI的GPT Builder本身，也是一个不错的例子。
二、权限
当我们看到AI的能力是，我们重点关注的是AI能做什么，但在落地时，AI能做什么，跟使用AI的人能做什么之间还有一个关系，那就是权限。
当我们说AI可以做企业运营助手，给它加上企业知识库和内部系统调用接口，就可以进行对话操作了。但是，一个强大的能调用内部所有系统的AI并不是每个人都可以用的。
就像不能把自毁开关放到小孩子手中一样，权限控制的首要目标是不给不需要的人多余的权限。
在使用企业知识库的时候，你不能给研发部门销售运营的知识库，也不能给行政部门开发文档的知识库。
更进一步，同一部门的AI都开通了人力资源服务接口，但主管可以查询部门所有人员的人力资源信息，员工个人只能查询自己的休假信息。
这是AI企业落地前必须解决的问题。
关于权限控制，之前给很多企业开发者分享过，这里做个简单的总结：
1. 分离企业知识库
不同业务场景，对AI的使用是不一样的，要求的知识也不一样。就像一个企业的各个部门，你可以在创建知识库的时候进行规划，让不同场景下的AI加载不同知识即可。
这也是AI领域知识隔离的设计点，是MultiAgent设计[6]的基础。
2. 智能插件调用权限控制
在智能插件的实现里，AI通过函数调用（FunctionCall）来与外部系统交互有两步，第一步从自然语言的交互中抽取调用数据JSON，由AI完成，第二步将上述调用转化为实际的API调用，由蓝莺AI框架完成。
在第二步中，我们增加了内置参数，就是调用者的蓝莺IM用户ID。这个用户ID是前端对话者的蓝莺IM用户映射，根据这个用户，就可以将权限控制粒度做到最细，满足最复杂的控制需求。
如图中黄线所示：
3. 借助外部权限
前面2的方式，适合新系统，但如果遇到复杂的系统，改造工作量是巨大的。
因此借助于蓝莺IM的自定义协议设计，我们将函数调用第二步里的API调用通过指令下发到客户端，这样对接后，可以利用对话客户原有的权限，从用户界面直接发起请求，跟操作者自己操作一样。见上图红线所示。
以上，都是我们在AI落地过程中的实践，也是对客户提问的解答，如果你有类似的问题或者经验分享，欢迎一起来讨论，这会对我们打造蓝莺企业级AI很有帮助。
关于企业内AI落地的更多内容，也欢迎添加「小蓝会聊天」微信进群：
本期重要产品更新 🚀🚀🚀
1. 必应搜索 BingSearch
蓝莺AI增加BingSearch插件，可以在 “AI智能/智能插件/创建导入插件/公共插件” 这里导入Bing搜索插件。
将插件绑定到Chatbot上，就可以调用机器人同步API[7]来获取机器人回复。
2. 蓝莺GrowAI内测 ‼️
GrowAI，一个使用AI为企业构建Wiki或文档网站的工具，是蓝莺Agent平台的新服务，也是我们认为企业级AI落地的典型产品案例。
产品正在内测中，继续有限开放征集使用者，要求：
- 有线上产品，希望做流量/SEO，Growth Hacking；
- 技术产品，企业服务/2B SaaS优先；
内测期间除了忍受稍显粗糙的产品设计外，你还会获得专属的AI支持群，以及代金券补贴，以及产品上线后的折扣优惠。
最重要的，当然要在AI和流量的红利期，实现自己的业务增长，对吧？！😝😝😝
关于蓝莺IM
蓝莺IM是新一代智能聊天云服务。
集成蓝莺ChatAI SDK，同时拥有Chat和AI两大功能，接入大模型AI、使用企业知识库以及更多AI服务。
当前已支持ChatGPT（包括OpenAI和Microsoft Azure)、Anthropic Claude、Minimax、百度文心一言、智谱AI。
我们会持续分享关于智能聊天ChatAI、大模型技术进展、AI Agent设计等方面的内容，也会分享典型AI应用案例，欢迎关注：
