【花师小哲】杂谈下DeepSeek
花师小哲-中二
2025年01月04日 14:54
收录于文集
共39篇

​关于DeepSeek-V3,最近也是看了更多的分析,毕竟我动态很久之前就在关注DeepSeek了,于是讲点东西:

1.很多人说“突然冒出来”,但实际上DeepSeek做到的其实是出圈,因为最强开源模型的交椅DeepSeek也不是第一次拿了。稍微梳理下DeepSeek的一些突破:

最早DeepSeek能够在浩如烟海的LLM浪潮中崭露头角是因为代码大模型(Code LLM),好巧不巧,我当时就是做Code LLM研究的,当时GPT-4还是遥不可及的大boss,专注代码方面的研究更是刚起步,那时候CodeLLaMA也才出来没多久,结果出现了DeepSeek Coder,在很长一段时间,DeepSeek Coder都是开源Code LLM的绝对大哥。当时最让我震惊的是1.7B的DeepSeek Coder竟然是吊打7B的Code LLaMA(如图)。也就是DeepSeek起步就并不低。当然,DeepSeek Coder也有问题,就是虽然代码厉害,但是对自然语言的理解没有那么强,这导致很多时候输出不符合要求,这方面之后出现的QWen 2稍强一些

然后DeepSeek的一个大举动就是打响了国产LLM API的价格战,凭借并不差的性能和极低的价格在圈内有了一定的名气。

其实最迟在V2的一个版本的时候DeepSeek就上过排行榜开源模型第一,可惜没坐几天就被拉下去了

然后就是这次了。其实国内还是有很多模型都冲击过开源模型排行榜甚至是全部模型排行榜前几名的名次的,但除了DeepSeek-V3的性能之外(老实说,我当时“预测”说V2结束,V3可能很快就会发布的时候就想过DeepSeek-V3的性能可能很不错),真正出人意料的还是逆天的训练成本,然后就是国外大牛站台,然后迅速破圈

2.之所以会带来“突然”,是因为DeepSeek确实低调,很多人可能都看过kimi、qwen、智谱、讯飞星火、百度文心一言、天工的AI广告,但估计没几个人看过DeepSeek的广告,DeepSeek在圈内更广为人知还是因为性能确实好,全靠业内人士口口相传,而圈外人本身也不怎么关注大模型的具体发展,很多人都不知道Gemini、Claude,那就更不可能知道DeepSeek了

3.有人说DeepSeek因为团队内部自由,有想法就就无上限给资源,像初创OpenAI;有人说DeepSeek之所以能打价格战,是因为白菜价买了大量不怎么好的显卡(这可能也是很多人说DeepSeek的API慢的原因),更像初创谷歌。我之前也比较过国内一些LLM厂家的策略:

还有之前也提过,DeepSeek的一个特点就是很多旁支的研究都能被主干所用,例如:

(图中提到的就是DeepSeek-V2,V3也是类似的,可惜当初“预言”的多模态V3没有实现)

其实还有一点就是我也看了很多人说DeepSeek的网页UI简陋(知足吧,这还是美化后的),包括其实DeepSeek很少涉及agent开发之类的工作(相较于OpenAI 12天发布会的杂七杂八功能),当然,非LLM的研究也不是没有,例如其实也有些3D之类的研究,但主线几乎全都是LLM,给人的感觉就是他们真的打算深度求索,为了更强更好的基底模型而努力,不搞乱七八糟的事情

4.说这么多,还是希望不要单纯把DeepSeek的成功看做是一个只是供口头谈及的新的爽文,而且虽然成本极低的训练是一个逆天优势(代表DeepSeek已经能在比其他公司斗快得多的情况下进行迭代),但远没有到能够掀大模型桌子的地步,DeepSeek自身的问题也依然很多,例如英语下会说自己是GPT,而且人家只是开源最强,前面还有几个闭源boss呢,包括o1类深度思考方面的研究还没有成熟

5.最近有看到说法是因为中国购买力所以导致训练成本低的,我一脸问号,DeepSeek能做到训练成本低主要是深度求索了软硬件优化,特别是FP8训练等技术,是又一次实现了自认为比英伟达更懂GPU并且证明了这一点的突破。

6.排行榜性能不等同于用户实际体验。其实相关的说法搞LLM的我也在动态说过很多次了,特别是国产模型其实普遍情商比较低(估计都没有在这上面发力),不同模型文风也差别很大的情况下,还是要选择适合自己的模型来用。其他的还有不要单独拿一两次输出来判断模型性能之类的就不展开了(估计也没多少路人能看到这篇)

7.总之,未来估计会有一些up会在自己的稿子中加DeepSeek的案例,但不管是批评还是赞扬,还是希望能实际调研而不是道听途说。而且最好不要饭圈化,像我这样比较痴迷DeepSeek的也不是对DeepSeek完全没有意见的

8.下一个我比较期待的是QWen 3,或者要不DeepSeek再努努力,把多模态版本端上来,你们DeepSeek-VL2、Janus和JanusFlow不是白做的对吧[doge]

9.一家之言,有错误欢迎指出