The Bitter Lesson (英语)
Source: www.incompleteideas.net
所有的屎上雕花都不及一次算力的进步。
scaling laws.
所有的屎上雕花都不及一次算力的进步。
scaling laws.
外国人的互联网已死亡。
但这篇不是讲搜索引擎,其中虽然提到生态封闭问题。但提更大的一个时代背景:大模型。
越来越多的公司向LLM公司售卖数据,这会进一步促使内容平台公司封闭数据。
以及,作者提到LLM的web3.0。一个「无法区分内容真假、无法区分内容是由人类创造还是LLM创造」的互联网。
本文总结了大模型的10个挑战。
介绍每个挑战时,也提供了很多外部资料,方便进一步了解。
思路很有趣。
一个历史映射:
Google发明了分布式计算三件套,从而解决了大量计算的问题,降低了Google服务的硬件成本。
大模型现在动辄数千上万张A100,技术上有没有别的路径,通过软件大量降低大模型计算成本呢?