AI应用的技术选型

AI应用的技术选型

书接前文，我们的第一版建设的模型是非常高层级的领域模型，只讨论了一般意义上的本地聊天形式的AI软件的模型。属于是核心领域模型。

但是软件开发中，仅有核心领域模型是无法完成功能的组合，此时我们还需要一些周边辅助的领域模型进行结合。考虑到整个AI应用的开发仍是一个非常崭新的领域，我们借鉴了一部分旧有模型的核心领域，我们还需要在开发中不断的迭代、重构，才可以构建出一个完备的AI文字聊天类的应用模型。

因此，我们在粗浅的领域模型构建完毕后，先放下头脑，开始尝试落地第一版模型。

AI应用的技术选型的一些经验

当前时间节点，以下仅为我当初选型时候的参考。

  • 语言选择
    • Python：是LLM的发家语言，优点是拥有最完备的SDK，假如你的应用直接基于Python完成前后端开发，推荐直接使用OpenAI的SDK，这是最有可能一直有人维护的基础软件包。缺点在于，对于个人端其RPC开发成本较高，对个人开发者并不是太友好。
    • Java、C#：此类型语言的大部分软件主要是CS模型软件采用，拥有最多的用户群体，但是目前主要面向的对象是企业后端研发也就是CS中的S端，不推荐面向个人用户的软件采用这种类型的开发语言，语言互操作较为繁琐，其主要是各个MaaS平台提供各自平台的SDK库。优点是，能和原有的大型CS软件直接集成，缺点是，对个人开发者不友好，对个人使用者，设备性能要求极高。
    • TS/JS：此类语言在客户端开发中逐渐的火热起来，其配合Electron能够非常快速的搭建起本地应用，同时因为NodeJS中对于C操作的良好兼容性，能够较好的调用本地资源，且Electron作为本地开发框架，能够非常好的启动多种服务，通过RPC方式完成多语言的交互。缺点是，Windows现在较新的应用都是electron框架，本质是个浏览器，打包之后的应用太大了，普通的应用都需要1GB左右的空间。如果对齐定制裁剪，成本特别高。
  • 模型部署选择
    • 本地自行部署，企业级的如自行部署Sglang，vLLM环境，个人的如Ollama。优点是数据的绝对不外泄，缺点是成本非常高，企业级硬件成本200万人民币到1000万人民币左右，人员成本每年约100万左右，个人级别的，如性价比最高的苹果Mac Stdio顶配，可以运行681B-q4，约8万到10万。如果采用稍微小一点的模型如，70B左右，其量化后表现较差，且人员费用仍然较多。
    • MaaS形式，即云服务平台提供模型运行时环境，用户只需要按照接口调用，按时按量付费（含微调，训练），此类型的好处是启动成本较低，缺点是，信息安全敏感行业会不适用。
  • 模型选择
    • 单模态模型

    • 推理模型，在知识问答类的场景非常适用，本质能够帮助用户完成prompt的扩展，通过较长的前置提示词，完成对问题的解的精确划分。

    • 非推理类模型，适用于指令类场景，例如总结文字，例如扩写文字。

    • 多模态模型

    • 文字，语音，视频等在一个会话中天然全部支持，优点是无需前置将非文字类内容转换为文字后再由模型处理，缺点是，模型较小，模型评分与纯的文字类LLM模型相比，回答质量较差。

    • 特定用途模型，特点是专业领域内的事情，比通用语言模型强非常多，缺点是，非专业领域内的事情无法处理，需要开发人员根据自己的场景进行模型处理流程的编排，且接入较为繁琐不支持openai-sdk的形式，一般有以下几种：

    • 语音转文字

    • 文字生成语音
    • 文字生成图片
    • 文字生成视频

    AI软件的技术选型是非常需要架构人员和产品人员深度参与，结合，分析的，其面向的场景极其复杂，不再是当前企业端软件的标准化开发，模型的能力，技术栈的能力都需要非常的具体化的讨论。上述的一些我当初做技术筛选的内容，如果能够帮助到你，笔者深感荣幸。

我的AI应用的技术选型

结合本书前文提及，我开发的AI软件，在特定时间段时候也是单纯的AI文本类应用。以下是我的技术选型：

  • 我的AI文本类应用的技术选型
    • 基础开发框架，我开发的软件是面向个人用户使用的，其完全在客户的本地完成数据的管理，所以整个开发框架选择了跨平台的Electron。
    • 其前端选择了React+antdX，后端使用Electron的nodejs
    • 模型选择了DeepSeek-V3
    • 模型运行时采用MaaS形式，基础平台采用了阿里云的百炼
    • 模型的调用采用了OpenAI-SDK。

总结

此处采用LLM协助，其Prompt提示词为上述文本加入以下语句

请帮我写一段总结，并以 markdown 格式返回结果：

+上述内容

技术选型总结

核心要点回顾

  1. 领域模型构建
  • 初始构建了高层级核心领域模型，聚焦本地聊天式AI软件
  • 需要结合辅助领域模型才能实现完整功能组合
  • 强调在开发过程中持续迭代重构的重要性
    1. 技术选型关键维度
  • 语言选择：Python/Java/C#/TS-JS的适用场景与优劣对比

  • 部署方式：本地部署与MaaS的性价比与安全性权衡

  • 模型类型：单模态/多模态/专用模型的场景匹配度

    1. 选型决策逻辑
  • 架构师与产品需深度参与场景分析

  • 需综合考虑：
    • 目标用户群体（企业/个人）
    • 数据安全要求
    • 成本约束
    • 技术栈延续性

实践案例

个人级AI文本应用选型方案：

  • 框架选择：Electron（跨平台本地化）
  • 技术栈：
    • 前端：React + antdX
    • 后端：Node.js
  • 模型方案：
    • 基模：DeepSeek-V3
    • 部署：阿里云百炼(MaaS)
    • 接口：OpenAI-SDK

经验启示

  1. 平衡法则
  • 在”数据安全-开发成本-用户体验”三角中寻找平衡点
  • 个人级应用需特别关注安装体积和启动性能
    1. 演进思维
  • 初始选型应保留可扩展性

  • 建议采用”核心不变+插件化”架构应对模型迭代

    1. 特殊考量

  • Windows平台需注意Electron应用体积问题

  • 多模态需求要提前评估模型响应质量