由 dawei
自2018年谷歌发布BERT以来，预训练大模型经过三年的发展,以强大的算法效果，席卷了NLP为代表的各大AI榜单与测试数据集。2020年OpenAI发布的NLP大模型GPT-3，实现了千亿级数据参数。
GPT-3除了具备传统的NLP能力之外，还可以算术、编程、写小说、写论文摘要，一时之间成为科技圈中的爆点。到2021年，我们可以看到各大学术机构、科技企业都在打造自己的大模型，并且对其能力边界、技术路径进行了极大拓展。
身在科技圈中会有明显的感受，今年大模型的会议与讨论越来越多，预训练大模型本身的优势我们在很多新闻中都感受到了。打造大模型并不是一件轻松容易的事情，需要耗费大量的数据、算力资源等，大模型的意义是为了让算法模型集中化，但是市场中有条件的企业和机构都开始耗费大量资源自研大模型。大模型算法模型的集中化优势，经过这些机构对集中资源的分化，又有种烟囱式的割裂。