在过去的几年里，OpenAI的新文本生成器模型GPT-3在密码货币社区引起了热烈的讨论。一些人表达了对GPT 3的好奇，而另一些人走极端，声称密码货币社区应该害怕它。

这样热烈的反应必然会让人感到有些奇怪，因为GPT模式并不新鲜。在过去的一年里，机器学习社区一直在积极讨论这个话题。第一个GPT模型研究于2018年6月发布。然后，在2019年2月，GPT 2型发布，最后是三个月前的GPT 3型。

我认为GPT 3号本身对密码货币生态系统没有什么影响。然而，GPT-3模型背后的技术代表了过去几年来深度学习的巨大进步，因此它可能与密码货币分析密切相关。在本文中，我将深入分析GPT-3背后的一些概念，并分析GPT-3对密码货币行业的影响。

什么是GPT 3号？

GPT-3是一个巨大的自然语言理解(NLU)模型，它使用多达1750亿个参数来处理许多语言任务。因此，GPT-3已经成为世界上最大的NLU模型，超过了微软的图灵-NLG模型及其前身GPT-2模型。

GPT-3模型可以执行许多语言任务，如机器翻译、回答问题、语言分析和文本生成。GPT 3号生成的假短信甚至可以伪造，这引起了新闻媒体的关注。

这和密码货币有什么关系？想象一下，如果有人可以定期发布虚假新闻稿来影响小货币的价格，这听起来可怕吗？但这不是GPT 3号最重要的功能。

GPT 3是一个基于语言的模型，所以它运行在文本数据集的基础上。从密码货币市场的角度来看，虽然这个功能很酷，但肯定没那么有趣。我们真正应该关注的是GPT3背后的技术。

GPT-3背后的秘密

GPT-3是在深入学习架构转换器的基础上开发的。谷歌大脑团队成员在2017年发表的《你需要的只有注意力机制》(注意力是你需要的全部)论文中首次提到了变形金刚的概念。

变压器架构的主要创新是“注意机制”的概念。注意力机制通常用于解决SEQ 2的SEQ问题。所谓Seq2Seq问题是指处理一个序列(单词、字母、数字)并输出另一个序列的问题。这类问题在诸如文本生成、机器翻译和回答问题等语言智能场景中很常见。

每当您看到Seq2Seq场景时，您应该将其与编码器-解码器架构相关联。编码器捕获输入序列的上下文，并将其传递给解码器，解码器生成输出序列。注意机制通过识别输入中需要注意的关键部分，解决了传统神经网络体系结构的局限性。

想象一下从西班牙语到英语的机器翻译场景。一般来说，解码器会将西班牙文本输入到称为“虚拟语言”的中间表示中，然后使用该中间表示将其翻译成英语。传统的深度学习架构需要编码器和解码器之间的连续反馈，这导致效率极低。

从概念上讲，注意机制将观察输入序列，并在每一步中决定输入序列的重要部分。例如，在机器翻译的场景中，注意力机制将集中在编码器为了执行翻译而应该注意的那些单词上。

支持GPT-3模型的转换器架构是传统的编码器-解码器架构，它通过插入注意块来提高效率。注意块的功能是完整地查看所有输入和当前输出，推断相关性，并优化最终输出的生成过程。

由Transformer体系结构生成的模型可以通过大量数据集进行训练，并且可以有效地并行化。果然，在谷歌大脑的论文发表后，各公司竞相构建超级模型来处理不同的语言任务，比如谷歌的伯特(BERT)、脸书的罗伯塔(RoBERTa)、微软的图灵-NLG和OpenAI的GPT-3。

一开始，GPT 2号模型有15亿个参数震惊了全世界。仅在一年内，这个记录就被微软的图灵-NLG打破，被拥有1750亿参数的GPT-3打破。简而言之，就变压器架构而言，大就是好。

第一代转换器架构专注于语言任务。然而，Facebook和OpenAI等公司最近发表了将Transformer应用于图像分类的相关研究。有些人可能认为这只是试图伪造图像。但是这项研究的意义远不止于此。

在没有大的标记数据集的情况下，图像篡改对于简化图像分类模型的训练是非常重要的。一些人试图将Transformer架构应用于金融时间序列数据集，希望改进量化交易策略。

变压器和加密货币

既然我们已经介绍了变压器架构和GPT-3的背景知识，让我们考虑一下文章开头的问题：GPT-3真的对密码货币不好吗？

当然，GPT-3模型确实会产生虚假消息，从而影响货币价格，这不是开玩笑。然而，就目前的形势而言，GPT 3号不会威胁到密码货币行业。更有趣的是，变压器架构可能会对下一代密码智能解决方案产生影响。以下是一些值得考虑的场景：

交易策略。显然，如果证明Transformer架构可以应用于金融数据集，这种架构可能会对密码货币的量化策略产生重大影响。总的来说，深层神经网络为定量交易开辟了一个新的领域。定量基金从线性回归和决策树等基本机器学习模型出发，研究复杂的深度学习策略。

作为一种本土的数字资产，密码货币最适合量化策略。循环神经网络(RNN)和卷积神经网络(CNN)在定量投资领域很受欢迎，在密码学中发挥着很好的作用。在语言分析方面，Transformer架构可能优于CNN和RNN，尤其是在将“注意力”集中在数据集的某些部分(例如，2020年3月的比特币崩溃)和处理大规模交易(例如，区块链交易)方面。

区块链分析。与现有方法相比，变压器架构可以更有效地检测区块链模式。Transformer架构的优势之一是它可以关注输入集的特定部分并推断潜在的输出。想象这样一个场景，我们正在分析比特币挖掘交易或交易的流量，试图推断出订单所采用的模式。变压器架构似乎更适合这项任务。

分散的变压器架构。目前，人们正试图将变压器模型应用于分散的人工智能体系结构，如奇点网。这将扩展变压器模型的应用场景。到目前为止，像GPT-3这样的变压器型号是大公司的特权。只有大公司的人工智能实验室有足够的数据和资源来构建和运行如此大规模的神经网络。分散式人工智能为我们提供了另一种解决方案，它可以基于激励机制在分散式网络中训练、执行和监控变压器体系结构。

就像那些已经在分散基础设施中运行的神经网络架构一样，我们很快就可以看到像GPT-3这样的模型在分散的人工智能平台上运行，如奇点网或海洋协议。

GPT 3和变压器架构是深度学习发展史上的重大突破。在接下来的几年里，我们可能会看到Transformer架构渗透到深度学习的所有方面，这种影响可能会蔓延到金融市场。加密货币将是受益人。

是的，GPT 3号真的很了不起，但是没必要害怕它。相反，我们应该利用这些人工智能技术将密码货币变成历史上最智能的资产。

硬币桌面专栏作家耶稣罗德里格斯是密码货币市场信息分析平台*的首席执行官。他在大型科技公司和对冲基金中担任领导职务。他是哥伦比亚大学的积极投资者、演说家、作家和客座教授。*

本文是作者自己的观点，并不代表科创中文版的立场。