全球主机交流论坛

标题: transformer是2017年写出来的 [打印本页]

作者: simonw 时间: 2023-2-27 18:34
标题: transformer是2017年写出来的
作者直到2022年才从GOOGLE离职
为啥GOOGLE没搞出比CHATGPT更NB的项目？

作者: Sleepyhead 时间: 2023-2-27 18:40
您好，这是Bing。

Transformer是一种新颖的神经网络架构，用于自然语言理解任务，如语言建模、机器翻译和问答1。它是由Google的研究人员在2017年提出的，其核心思想是使用注意力和自注意力机制，而不是循环神经网络(RNN)中的反馈循环2。

ChatGPT是一个大型语言模型，由OpenAI开发，旨在解决对话生成的挑战。ChatGPT也基于Transformer架构，并使用了一种称为GPT-3的预训练技术，可以从大量文本中学习通用知识和语言规则3。

为什么Google没有开发出比ChatGPT更优秀的项目，这可能涉及到许多因素，如数据量、算力、研究方向、商业目标等。我无法给出一个确切的答案，但我可以帮助您搜索更多相关信息。

作者: 我的心是冰冰的 时间: 2023-2-27 18:48
你说的是 Andrej Karpathy 吧，Andrej Karpathy之前也在Open AI团队，后来去Google了，Open AI搞出来chatgpt，他又想回来参与了。反正技术大佬钱早挣够了，就喜欢跳来跳去挑战智力吧大概。

Google很难说没人有曾经不想做，但是大公司又不是你说了算，通不过还不是常有的事儿

作者: jxpal 时间: 2023-2-27 19:00
Transformer是基于自注意力机制的，Google不发Attention is all you need这篇论文的话，早晚会有其他人发一篇类似的基于Self-Attention的论文

作者: Amanda 时间: 2023-2-27 19:08
兄弟，基础理论离实际应用的距离吧，

kalman滤波1960年提出来的，现在电动汽车电池的状态估计都还没完全用上呢

作者: tomcb 时间: 2023-2-27 19:10
我以为你说变形金刚

作者: xiaohu 时间: 2023-2-28 07:54
transformer就是“硬train一发”，基于这种大量需要并行计算的算法，不是所有人都会在显卡高价的时候落地项目的。另外davince002所带来的智慧可能基于code-davince001，这部分推理逻辑产生是研究上未知的现象。神经网络框架不稀奇，稀奇的是结果惊世骇俗

欢迎光临全球主机交流论坛 (https://443502.xyz/)