目送着两个年轻人离开,乔源便打开电脑开始继续处理工作。
成为教授之后工作突然就变得繁重起来。
好消息是他不用再去给英才班上习题课了。
坏消息则是他得给研究生正式上课了。
不过他现在看的并不是上课的教案,而是有为集团给他发的正式函件,又是求合作的意向函。有为集团的意思是,由有为集团出钱和人,乔源这边出技术跟专利,双方合作成立一家科技初创公司。主要研究和运营方向就是合作设计新一代的ai芯片。
目标也很明确。
要知道现在ai芯片早已经开始发力,已经不再是英伟达一家独大的格局。
尤其是一些比较特殊的架构,已经开始展现出了在ai领域极为特别的能力。
比如chip as odel,也就是芯片即模型的架构。
简单来说就是这种芯片在设计之初,直接将大模型嵌入到硬件之中。
将大模型那数十甚至上百亿的参数,直接蚀刻进芯片的金属互联层。这就将模型权重通过硬件的形式直接写在矽片之上,成为了芯片物理电路的一部分。于是这种芯片在数据中心使用时,能直接从物理层面消除计算与存储之间的数据搬运瓶颈,直接绕过高带宽内存和那些复杂的1/0接口。对于客户来说可以直接订制自己需要的大模型芯片。
优势自然是很明显的,首先是推理速度的大幅度提升。大模型直接嵌入芯片,还不用调用内存,推理速度自然直接飙升。目前来说,由加拿大初创公司推出的相关芯片,推理速度能够达到约17万tokens每秒,这是英伟达最先进al芯片的48倍。而且还不止是推理速度的高速提升,其功耗还只有250w,只有英伟达gpu方案的十分之一。硬件成本更是低到二十分之一。当然这种方案也不全是优点,同样也有着极大的缺陷。
最重要的就是缺乏通用计算能力。而且将大模型写入硬件,意味着针对不同的大模型需要设计不同的芯片,大模型想要升级就需要订购新的芯片。这也是这种芯片虽然对比英伟达优势极大,但并没有能抢占英伟达全部市场的原因。
完全牺牲了通用性,就只适合单一模型部暑的场景。再加上大模型想要更新就得更换gpu,这太过麻烦。但现在乔贝恩的出现让有为集团看到了另一种可能。
设计方案可以参考芯片即模型的设计。然后将构成乔贝恩的智能体和乔源写的智能体通讯标准和逻辑都封装