当前位置:笔趣阁>其他小说>学霸的征途是星辰大海> 第167章 重启SLRM研究 三
阅读设置(推荐配合 快捷键[F11] 进入全屏沉浸式阅读)

设置X

第167章 重启SLRM研究 三(2 / 2)

[爱笔趣]ibiqu. v i p 一秒记住!

徐辰的目光变得深邃,「最好的办法就是针对SLRM的运算特性,单独开发一个适合几何运算的处理器,也许可以称之为——LPU(逻辑推理单元)。」

当然,这一切得建立在SLRM带来的经济价值足够大的前提下。

……

随后,徐辰又思考了一下,SLRM应该还有其他2个问题。

一个是泛化能力的边界。

SLRM的强大,建立在「逻辑可形式化」的基础上。

对于数学题丶逻辑题丶代码生成这种有着严格规则的任务,它简直就是神。

但是,对于那些模糊的丶感性的丶没有标准答案的任务呢?

徐辰目前在这几个测试集中能有较好表现,本质上是因为这些数据本身含有逻辑信息,可以训练模型。

但是,现实世界中的逻辑关系千奇百怪。

比如「猫」。在生物学上,它是猫科动物;在文学上,它可能是「高冷」的代名词;在网络文化里,它甚至是「主子」。

而且有些场景就是天然弱逻辑的,比如写诗,比如闲聊,比如情感谘询。

SLRM的几何约束太强了,它像一把铁钳,死死地卡住了模型发散思维的翅膀。它不允许模型说任何「逻辑不严谨」的话,哪怕那是修辞,是比喻,是艺术。

「成也逻辑,败也逻辑。」

「看来,未来还需要设计一个更灵活的『调度器』,让模型知道什麽时候该用SLRM,什麽时候该放飞自我。但这又是一个巨大的工程量。」

……

另一个问题,是训练数据的匮乏。

徐辰目前能跑出SOTA,是因为他用的这几个数据集(SNLI丶LogiQA等)都是经过人工精心标注的高质量逻辑数据。

但是,这种数据在海量的网际网路文本中,占比极低。

想要让SLRM真正具备通用的逻辑能力,就需要海量的丶覆盖各种领域(法律丶医学丶常识)的逻辑数据来训练。

「没有数据,SLRM就是个空壳子。」

「而且,不同的逻辑问题下,逻辑的判断归属是不一样的。这依然需要强大的参数量来拟合。」

徐辰现在的SLRM模块,参数量仅仅只有0.5B。

「如果要记住更多的逻辑,可能要把SLRM扩大到7B,甚至70B,再配合海量的逻辑数据。「

「到时候,它和Transformer结合后的威力,绝对不是简单的1+1=2。」

「也就是说一个7B的transformer架构的模型,加上7B的SLRM模型,组合起来,可能有超过100B参数的能力。」

「但是……我是没有能力搞到这麽多数据了。」

……

经过一番实操,徐辰得出了结论:

「这个模型学术成果价值比较强,走产业化路线,还有很大的空间。」

「不过,因为是系统出品,我对这个方向的产业化还是比较有信心的。」

徐辰又转念一想,「现在这样,作为学术成果,其实刚刚好。」

「既展示了颠覆性的潜力,又留下了足够的改进空间给后来人。」

「这,才是一篇顶级论文该有的样子。」

他甚至可以预见,这篇论文一旦发表,将会养活多少嗷嗷待哺的AI方向研究生。

「《基于SLRM的医疗问答系统优化》丶《SLRM在法律文书生成中的应用》丶《一种改进的Gumbel-Box几何嵌入算法》……」

徐辰掰着手指头数了数,忍不住笑出了声。

「光是把SLRM里的几何图形换成『球』丶『锥』丶『高斯分布』,就能水出几十篇论文。」

「再把应用场景换一换,从数学题换成代码生成丶换成情感分析,又能水出几百篇。」

「更别提那些搞硬体加速的,搞模型量化的,搞分布式训练的……这简直就是给整个AI圈送了一波『全家桶』级别的选题啊!」

「我这哪里是发论文,我这是在给全球AI界创造就业岗位啊!」

「功德无量,功德无量。」

徐辰双手合十,一脸慈悲。

iⒷi🅠u.viℙ

章节报错(免登录)

上一页 目录 +书签 下一章