Taalas 把大模型以 ASIC 的方式实现了——也就是说把模型直接写到芯片里,这样什么内存带宽限制之类都不存在了。目前用的是台积电 6nm 工艺,写入了 Llama 3.1 8B,能耗 2.5 千瓦,能实现惊人的每秒 1.7 万 token。可以在这里体验:chatjimmy.ai
他们从模型到芯片的生产周期是 60 天。而且只用了 24 名工程师和 3000 万美元。
这是一个里程碑事件。即使我们没有新的革命性计算架构,也不能突破硅芯片制程极限,用类似思路仍然可能把 AI 再往前推进一步。