请教如何定制 AI LLM 系统

比如根据喂养的课程大纲、教学材料、练习题库和其它相关知识库，生成一个课程助手，帮老师制定学生计划、指导学生预习、复习、练习；心理上，AI 拟人式一对一交流，给予一定排解、舒缓的对话沟通渠道。

以上，对通用 AI 有一定了解，应该是很难做到吧，如果是定制，可行性大不？

有个主要负责人，参观了若干同行采购或开发的 AI 产品介绍和演示，感觉目前效果不够，那反向思维得出潜力巨大，我方大可弯道超车。非常相信某个暂且没有实际干货演示，但很懂教学、科研、很会沟通的朋友，对其将来的产品，描述得很好（文字、PPT 式）。这样，技术支持部门完全没有底气啊，对方不愿意展示真正的技术实力，强调信任无价，技术主管很牛，曾经在百度阿里都是高手。

以上的局势，请问大家怎么看？

sinazl 1楼•1 天前

补充一下，要求本地部署，非采购云服务。

bupafengyu 2楼•1 天前作者

你指的是大模型也本地部署还是只是用大模型云 api ，大模型本地部署的话先准备几百万再说吧

htzhanglong 3楼•1 天前

你要不再组织下措辞？

yibo5220 4楼•1 天前

如果是自己部署自己用，那普通机器（包括没有 GPU ）也能跑大模型。如果是部署服务提供大量用户直接使用大模型，那投入的机器成本首先是道坎。

目前大模型除了机器障碍，其结果不可控也是个大问题。

zlyuanteng 5楼•1 天前

给我 200 万中介费，我帮你猎一个团队，后面你们自己谈费用，合同期不低于一年。3000 卡的规模，我估计都有点小，前期硬件费用，应该不会低于 2 亿。

phonegap100 6楼•1 天前

光是算 GPU 的钱你们应该都付不起

eggper 7楼•1 天前

你这业务到底是要 toC 还是 toB ？不过很明显这两个方向大家很难区分出来 80 分和 95 分，决定的往往是包装渠道关系
另外本地部署很多方案提供商都卖整机的，直接买就好，人家机器模型都弄好了

htzhanglong 8楼•1 天前

介绍的太粗糙了完全不明白面向对象商业模式这些

ionicwang 9楼•1 天前

你要本地部署？那采购个几个 8 卡 A800 节点的钱应该没问题吧？你说的定制如果是 prompt 那问题不大，你要是指的是定制模型那请参考最近 deepseek 训练成本 278.8 万 H800 GPU 小时，另外能有 deepseek 实力和微调经验的人工费我都没给你算。

我真的觉得有时候用户不知道自己想要什么。要这要那的，丝毫不顾自己那点需求其实用不到也用不起。

htzhanglong 10楼•1 天前

一个事很魔幻。OpenAI 收 20 美元每月的订阅费，并不能覆盖它的推理成本。而用户觉得 OpenAI 的模型还不够智能，还嫌贵。OpenAI 拿了很多投资，能烧钱。此外，还要赌技术的进步，能降低成本，提升效果和速度，否则商业模式上就是亏钱的。用户不愿意付更多的钱，或者讲大部分用户没有高价值的任务。

我尝试过用 RTX4090+开源大模型开发一个 RAG 机器人用于辅助教学，我只要求能回答学生在课程学习方面的问题，但是效果还比不上通用的免费大语言模型。更多的资源投到教学机器人上，就不经济了。

“参观了若干同行采购或开发的 AI 产品介绍和演示，感觉目前效果不够”，这应该就是行业平均水平。

“我方大可弯道超车”，别想多了。

songsunli 11楼•1 天前

"若干同行都做不好, 反向思维得到潜力巨大"
也可能是: 目前的软硬件水平还不能做到很好

bupafengyu 12楼•1 天前作者

AI 领域存在弯道超车这么一说吗？说白了就是数据和算力，贵司哪个方面比市面上的 AI 公司强？

sinazl 13楼•1 天前

成本是第一道坎，“不准确”是第二道坎
前者任何有钱的人能解决，后者除了技术还需要时间

PS: “技术主管很牛”，不一定是技术牛，可能是项目管理牛，只要技术广度足够（深度也要达到某个阈值）就能很好管理项目，但 AI 开发需要的是深度更牛

h691938207 14楼•1 天前

#5 2 个亿，可以请特级教师 50 个来人肉做。2 亿元的利息+收益，就能覆盖人力成本。

eggper 15楼•1 天前

最近几天国内网民都在热赞 deepseek 弯道超车啊。

nodeper 16楼•1 天前

帖子内容经过 DeepSeek v3 重新组织后如下：

—

关于定制 AI 课程助手的可行性探讨

最近在考虑根据课程大纲、教学材料、练习题库等资源，开发一个 AI 课程助手，帮助老师制定学习计划，并指导学生进行预习、复习和练习。此外，这个 AI 助手还能够在心理层面提供拟人化的一对一交流，为学生提供情绪排解和舒缓的沟通渠道。

问题 1：通用 AI vs 定制 AI
我对通用 AI 有一定了解，感觉要实现上述功能可能比较困难。如果是定制开发，可行性有多大？

现状与挑战
我们的一位主要负责人参观了多家同行采购或开发的 AI 产品，并观看了相关演示，但感觉目前的效果并不理想。基于此，他认为这个领域潜力巨大，我们有机会实现弯道超车。

信任与技术实力的矛盾
这位负责人非常信任一位朋友，这位朋友虽然没有实际的产品演示，但在教学、科研和沟通方面很有经验，并且对未来产品的描述非常吸引人（通过文字和 PPT 展示）。然而，技术支持部门对此缺乏信心，因为对方不愿意展示真正的技术实力，只是强调“信任无价”。据悉，对方的技术主管曾在百度和阿里担任要职，技术背景很强。

讨论
大家如何看待当前的局势？我们是否应该继续推进这个项目？如果是，如何平衡信任与技术实力之间的矛盾？

—

这样组织后，内容更加清晰，逻辑也更加连贯，便于读者理解和讨论。