The Bitter Lesson （英语）http://www.incompleteideas.net/IncIdeas/BitterLesson.html
所有的屎上雕花都不及一次算力的进步。
scaling laws.
4 条结果
标签
大模型
The Internet as You Know It Is Dying - by Doug O'Laughlinhttps://www.fabricatedknowledge.com/p/the-internet-as-you-know-it-is-dying
外国人的互联网已死亡。
但这篇不是讲搜索引擎，其中虽然提到生态封闭问题。但提更大的一个时代背景：大模型。
越来越多的公司向LLM公司售卖数据，这会进一步促使内容平台公司封闭数据。
以及，作者提到LLM的web3.0。一个「无法区分内容真假、无法区分内容是由人类创造还是LLM创造」的互联网。
【英文】大模型的10个挑战https://huyenchip.com/2023/08/16/llm-research-open-challenges.html
本文总结了大模型的10个挑战。
介绍每个挑战时，也提供了很多外部资料，方便进一步了解。
AI 大模型的下一步，或许是 Google 早年的那种便宜的方案https://mp.weixin.qq.com/s/9S-XmiwMJbVlPKZOxvMgBA
思路很有趣。
一个历史映射：
Google发明了分布式计算三件套，从而解决了大量计算的问题，降低了Google服务的硬件成本。
大模型现在动辄数千上万张A100，技术上有没有别的路径，通过软件大量降低大模型计算成本呢？