终于设计出一个大模型干不了的任务,怎么给提示词都干不了。而且这个任务既不复杂也不难,用到的相关知识属于任何大模型训练都一定会纳入的内容。
我分析了一下,原因可能是:
1、网上有很多容易和这个任务混淆的内容。所以无论怎么详细设定目标,大模型都会误解提示词的意图。
2、涉及相关技术的文档都说不推荐这样做。所以即便直接给出解决问题的方法,让大模型去实现,大模型还是会用规规矩矩的标准方法来实现。
也就是说,大模型能创造新内容,但可能没办法突破藩篱创造新范式。训练数据给大模型知识的同时也给了大模型限制。
大模型就像是有一亿只耳朵的学生,可以同时听一亿个老师讲课,学到一亿个老师的本领。这当然是很惊人的,但这一亿个老师也会成为大模型进一步发展的障碍。因为其中哪怕有十个爱因斯坦,教学成果也会被稀释在一亿个老师的海洋里。光靠打标提高权重的作用可能也有限。
就像郭靖跟江南七怪学,把七个人的本事都学了,也就那样,但遇到马钰稍微一点拨就不同了,跟洪七公学了之后更是不得了。但如果九个人一起教,最终成果可能也很一般。
也许 AI 发展的再下一步就不是这种喂人类数据的模式了。