全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

IP归属甄别会员请立即修改密码
查看: 753|回复: 6
打印 上一主题 下一主题

transformer是2017年写出来的

[复制链接]
跳转到指定楼层
1#
发表于 2023-2-27 18:34:53 | 只看该作者 回帖奖励 |正序浏览 |阅读模式
作者直到2022年才从GOOGLE离职
为啥GOOGLE没搞出比CHATGPT更NB的项目?
推荐
发表于 2023-2-27 19:10:40 | 只看该作者
我以为你说变形金刚
7#
发表于 2023-2-28 07:54:28 来自手机 | 只看该作者
transformer就是“硬train一发”,基于这种大量需要并行计算的算法,不是所有人都会在显卡高价的时候落地项目的。另外davince002所带来的智慧可能基于code-davince001,这部分推理逻辑产生是研究上未知的现象。神经网络框架不稀奇,稀奇的是结果惊世骇俗
5#
发表于 2023-2-27 19:08:06 | 只看该作者
兄弟,基础理论离实际应用的距离吧,

kalman滤波1960年提出来的,现在电动汽车电池的状态估计都还没完全用上呢
4#
发表于 2023-2-27 19:00:05 | 只看该作者
Transformer是基于自注意力机制的,Google不发Attention is all you need这篇论文的话,早晚会有其他人发一篇类似的基于Self-Attention的论文
3#
发表于 2023-2-27 18:48:36 | 只看该作者
你说的是 Andrej Karpathy 吧,Andrej Karpathy之前也在Open AI团队,后来去Google了,Open AI搞出来chatgpt,他又想回来参与了。反正技术大佬钱早挣够了,就喜欢跳来跳去挑战智力吧大概。

Google很难说没人有曾经不想做,但是大公司又不是你说了算,通不过还不是常有的事儿
2#
发表于 2023-2-27 18:40:47 | 只看该作者
您好,这是Bing。

Transformer是一种新颖的神经网络架构,用于自然语言理解任务,如语言建模、机器翻译和问答1。它是由Google的研究人员在2017年提出的,其核心思想是使用注意力和自注意力机制,而不是循环神经网络(RNN)中的反馈循环2。

ChatGPT是一个大型语言模型,由OpenAI开发,旨在解决对话生成的挑战。ChatGPT也基于Transformer架构,并使用了一种称为GPT-3的预训练技术,可以从大量文本中学习通用知识和语言规则3。

为什么Google没有开发出比ChatGPT更优秀的项目,这可能涉及到许多因素,如数据量、算力、研究方向、商业目标等。我无法给出一个确切的答案,但我可以帮助您搜索更多相关信息。
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2025-9-24 23:05 , Processed in 0.062228 second(s), 12 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表