图片来自 Taalas 官网
打着"颠覆英伟达"的旗子的公司，老是会接二连三涌现。
最近，一家来自加拿大多伦多的芯片"小厂" Taalas 引起了 AI 圈温雅。有声息以为，它很可能撬动英伟达附近了多年的 AI 芯片商场。
当地时分 2 月 20 日，建树于 2023 年的初创公司 Taalas 发布了首款产物 Taalas HC1 芯片，专为 Llama 3.1 8B 模子优化，取舍 30 芯片集群时竣事每秒 12000 tokens 的推理速率，较传统 GPU 决策擢升 50 倍能效。
Taalas 称，公司通过结构化 ASIC 技艺将芯片定制周期裁汰至两个月，已累计融资 2.19 亿好意思元。24 名敬业的职工的接力，插足 3000 万好意思元，打造出了这款领有"极致的专科化、速率和动力效劳"的产物。
Taalas 独创东说念主兼 CEO 是曾任 AMD 架构师的业界据说东说念主物柳比沙 · 巴伊奇（Ljubi š a Baji ć）。
在公司官网的先容著作中，巴伊奇称，这款芯片取舍了 Meta 公司 2024 年 7 月推出的开源大模子 Llama 3.1 8B 行动运行平台，峰值推理速率接近 17000 tokens/ 秒，比目下商场中起初进的技艺快近 10 倍，构建成本斥责到正本的 1/20，功耗斥责至正本的 1/10。
截图来自酬酢平台 X
巴伊奇给出了一组测试数据，Taalas 我方在 Llama 3.1 8B 上测试了英伟达的主力产物 H200 和 B200，收尾为 230 tokens/ 秒和 353 tokens/ 秒，而 Taalas 的 HC1 性能是它们的 48 倍。
此前这一数据，是由沉寂分析平台 Artificial Analysis 测出的最高值，来自刚刚完成 H 轮融资、估值 230 亿好意思元的 Cerebras，为 1981 tokens/ 秒，也仅为 HC1 的 11%。
在实测演示中，大模子对用户问题的耀眼解答，达到以至超越了"秒回"的水平。
不外，AI 在大宗复兴的刹那间，东说念主类对话者也产生了扑面而来的压迫感。
这一号称"挫折极限"的阐发，果如其言引起了大宗的参议。高歌"颠覆将至"者有之，质疑其空有虚名、过度营销者亦有之。
令咱们瞻仰的是，在喧嚣背后，Taalas 的技艺和产物究竟有何特殊之处？又是否当得起其自称的"宇宙上速率最快、成本和功耗最低的推理平台"呢？
将模子径直"刻"在芯片上
在磋商了其首款产物 HC1 的相关公开信息之后，咱们发现，Taalas 的技艺阶梯，与目下商场主流的 ASIC 阶梯比较，极具颠覆性，号称"邪修版" ASIC。
与英伟达和 AMD 代表的业界主流 GPU 通用野心技艺阶梯不同，Taalas 更接近 ASIC（专用集成电路）阶梯。
{jz:field.toptypename/}这一技艺阶梯通过为特定欺诈场景定制硬件联想，以追求极致能效和成本效益。天然它的适用性、功能丰富度、可互换性，远低于能隐敝多场景的 GPU，但自旧年以来，以谷歌 TPU 为首，ASIC 技艺领有成本（TCO）低、打造大模子智商绝不逊色等特色，得到了商场认同，出货量大幅擢升。
野村证券瞻望，2026 年，ASIC 芯片的总出货量可能会初度杰出 GPU。而在 GPU 商场处于两巨头把持的情况下，大多数芯片初创也皆取舍了 ASIC 阶梯，包括商场驰名度较高的 Cerebras、SambaNova，以及，此前刚刚被英伟达将中枢团队纳入囊中的 Groq。
巴伊奇在 AMD 和英伟达皆有任职资历，之前还创立了一家专注于 AI 芯片研发的独角兽 Tenstorrent 公司。Tenstorrent 通过开源 RISC-V 架构和软硬件协同联想，斥责 AI 野心成本。
而"挑战英伟达把持地位"，一直是巴伊奇所宣扬的核激情念，亦然 Tenstorrent 公司备受温雅的"牌号"标签。
不外，英伟达的发展，要远好于 AMD 及万般 AI 芯片初创公司，巴伊奇也在探索中有了更"顶点"的设念念。
2022 年至 2023 年间，巴伊奇率性脱离了此前使命，运行规画创办 Taalas。他与他的太太、曾在 AMD 任系统工程高等司理莱拉 · 巴伊奇（Lejla Bajic），以及，曾任 AMD 高等联想工程师并在 Tenstorrent 担任过 ASIC 联想总监的德拉贡 · 伊格纳托维奇（Drago Ignjatovic）成为了 Taalas 颐养独创东说念主。
Taalas 公司 20 余东说念主的中枢工程师团队，多数来自 AMD、苹果、谷歌、英伟达和 TensorRent。
2024 年，Taalas 公司完成 5000 万好意思元的首轮融资，并崇拜出当今公众视线。
巴伊奇强调，Taalas 悉力于处罚 AI 发展靠近的两大贫困——"高蔓延"和"天文数字般的算力成本"，并刻薄"单芯片性能超越微型 GPU 数据中心"这一极具狡计，以至显得有些"浪漫"的宗旨。
本钱商场为巴伊奇的狡计投票。收尾目下，Taalas 目下已完成三轮融资，总和杰出 2 亿好意思元。
Taalas 奉行" The Model is The Computer "（这句话亦然公司的 slogan），不错清醒为，将传统"在野心开导上运行模子"的范式，调治为"模子自身成为野心开导"。
技艺竣事旅途上，Taalas 刻薄"无需软件，径直将模子刻在芯片上"，这与传统的 ASIC 芯片仍需使用软件，通过编译过程将软件代码滚动为芯片辅导不同。
Taalas 通过 EDA（电子联想自动化）经由，将特定大模子径直滚动为定制芯片。
也就是说，每款使用 Taalas 的大模子，皆会领有专属于自身的定制芯片，竣事巴伊奇所说的"澈底专科化"（Total specialization）。
与此同期，算力也开脱了软件抵制和编译过程，数据简直不需要在内存和野心单元之间迁移，"内存墙"由此隐藏，推理成本随之大幅斥责，推理速率则权贵擢升。
目下来看，Taalas 的主要业务操作经由也比较大略。毛糙是客户向 Taalas 提供自身所需的模子，Taalas 在一周内将其滚动为电路联想，通过台积电代工在两个月内录用专属芯片。
可念念而知，若是 Taalas 能为每个主流模子，皆提供出访佛 HC1 在 Llama 3.1 8B 上那样的性能飞跃，那么，斗鱼体育app各大厂商很可能会对其产物趋之若鹜。
试验上，包括沉寂东说念主工智能磋商员本杰明 · 马里（Benjamin Marie）、Devtools 创业参谋人肖恩 · 王（swyx）等产业界东说念主士和 The Next Platform 记者蒂莫西 · 普里克特 · 摩根（Timothy Prickett Morgan）等媒体东说念主士，皆已在积极先容 Taalas 的新产物，看好其远景者不在少数。
Taalas 的死穴在哪？
不外，在公论热度落地到商用商场之前，Taalas 还有好多问题需要被看到。
起始，Taalas 需要面对的是，其产物能否适用更先进、大限制的模子。
2024 年，Meta 推出 Llama 3.1 时，发布了 8B、70B 和 405B 三种参数限制版块，Taalas 遴选的是最小的 8B。
很赫然，在目下大模子进化速率极快、限制越来越大的布景下，Taalas 的产物能否匹配，是否靠近昭彰"天花板"，皆是必须处罚的问题。
巴伊奇称，公司将在本年春季推出一款适用中等限制推理模子的产物，届时阐发若何，值得温雅。
与此相关的，目下测评体验中，不少质疑声息集会在，Taalas 让本已不算机灵的 Llama 变得"更笨了"。
一些用户发帖称，HC1 "幻觉严重""谜底昭彰演叨，质料远低于同参数 GPU 版"，"回答速率快但错得也快"，其实用性欠安。
试验上，关于若何清醒 Taalas 给出的测试数据，也有较多质疑声息。
一位温雅芯片产业的疼爱者对作家默示，Taalas 特别于内置了问题的谜底，是以，野心速率"秒杀"英伟达等一众业界翘楚，然而，将" 1+1=2 "的问题换为" 2*2=？"，它的阐发可能就会"掉链子"。
Taalas 能在极其有限的特定场景下"秒杀英伟达"，但目下其他英伟达能作念的事，关于 Taalas 来说可能更难。
更为要津的问题是，Taalas 能否跟得上大模子的迭代周期。
一位半导体行业从业者对作家默示，Taalas 的芯片"阐发很牛，但目下可能没啥大的用处"，因为大模子还在不断迭代，而 Taalas 的迭代智商和速率成疑。
该行业东说念主士以为，"要等以后大模子达到某个层级不再大限制、快速迭代了，这种芯片技艺有更大舞台"。
而在酬酢平台上的参议中，不少质疑集会在 HC1 "模子锁定"的"只读"格局导致的"逾期"和"解除"风险，并以为这是其买卖化、限制化的要紧遏止。
目下，一款顶尖大模子能保握率先上风的时分窗口不外月余，而 Taalas 录用芯片（而非量产）即使如故很快，但也需要至少两个月。
改写 AI 芯片挨次的明天已来
扶植 HC1 越过性的声息也不在少数。
在知乎的相关参议中，中国科学院野心技艺磋商所副磋商员赵永威指出，天然 Taalas "目下的景况还莫得欺诈价值"，但不妨碍它会成为"一颗有历史兴味的芯片"。
他以为，这种"硬连线"的格局，是明天芯片发展的一大趋势，目下的质疑由 Taalas 来扛，自后者在扩充相关宗旨时就会愈加过错。他也涌现，我方方位单元也在磋商访佛技艺阶梯，并提到，斥责经济成本，既是相关阶梯的磋商宗旨，也应该是宣传发力点方位。
驰名科技记者蒂莫西 · 普里克特 · 摩根（Timothy Prickett Morgan）在著作中提到，Taalas 如实需要模子的每一次更新中再行联想芯片，但其在推理引擎上蚀刻新模子，只需要革新联想中的两层金属，而不是澈底解除。议论到检修模子的成本高达数十亿好意思元，Taalas 芯片的更新成本微不及说念。
摩根以为，在主要模子发布隔断时分延长，东说念主们对训诫模子依赖度加多时，Taalas 芯片有望获取更芜俚的商场认同。
也有一些分析称，收获于低蔓延、低功耗的脾性，Taalas 果真的用武之地或在于边际推理场景，比如，机器东说念主、自动驾驶汽车，以至高端智高东说念主机等开导中。这些开导不需要运行通盘模子，只需要雄厚运行定制化的模子，而更快的速率和更低的糜掷，赫然更故意于产业普及 AI 大模子。
不外，即即是相关产物能果真限制化地进入商场并大展拳脚，新的景况和问题也会随之表示。
比如，大模子的底层架构（Transformer）是否会遇到另一场"改进"？这似乎决定着"模子即芯片"技艺阶梯的行运。还有，生态系统建造的问题，英伟达天然是硬件公司，但 CUDA 软件生态和开发者的重度依赖，才是其果真的护城河，而这亦然 Taalas 看中且出奇颠覆的。
但这些皆是后话了，至少目下来看，Taalas 距离英伟达还很远处，更遑论"颠覆英伟达"了。关联词，巴伊奇在这条路上依旧要领不断，Taalas 通知，有策动在本年冬季推出第二代 HC2 产物，将具备更快的践诺速率和更强的性能。
届时，一代产物的商场反应和二代产物的迭代收尾，将进一步考证今天各方对这股横空出世的新势力的判断。（作家｜胡珈萌，剪辑｜李程程）