t0mbkeeper
2024-06-26 11:54
回复@-罒Q罒-:跟媳妇生活在莫斯科。 🔗评论配图 //@-罒Q罒-:那个斯诺登现在啥情况了？是不是也离 freedom 不远了？
t0mbkeeper
2024-06-26 09:47
回复@ZhouPush:当初为了避免看起来像骂人，所以没有用abc而是用了xyz。这里也是为了避免看起来像骂人，所以用了 8B 而不是2B。//@ZhouPush:数量因素![[允悲]](https://h5.sinaimg.cn/m/emoticon/icon/default/d_yunbei-a14a649db8.png){kind=icon}
想起 xyz 理论了
t0mbkeeper
2024-06-26 07:40
【为什么追求客观、中性的人不多多发言，要让话语权掌握在极端者手中？】
8B 模型 8G 显存的卡就能跑。70B 的怎么也需要 24G。能跑 8B 的卡当然远多于能跑 70B 的卡。买张淘汰的矿卡都能跑起来。
就算同样是 24G 的 4090，跑 8B 每秒能喷几百个 token，跑 70B 每秒就只能喷十几个。70B 喷不过 8B 是物理学决定的。
2024-06-24