标题 >>

从文本AI革命到视觉AI大变革
从文本AI革命到视觉AI大变革

吴恩达:从文本AI革命到视觉AI大变革

著名计算机科学家Andrew Ng在近期的AI硬件峰会上宣称:“我们在文本领域所见到的革命将会出现在图像领域。” Ng展示了一项他称之为“视觉提示”的技术,使用Landing.ai的用户界面,通过在图像上涂鸦来提示AI代理识别图像中的对象。在舞台上的短短几分钟内,演示了如何提示代理识别一只狗,并计算培养皿图像中的细胞数量。

Ng告诉观众:“在计算机视觉领域,就像三年前的自然语言处理(NLP)会议上的情况一样,目前有一种特殊的氛围。”他解释说,进展主要是由大型transformer 网络推动的。这对于文本处理中的大型语言模型(LLMs)是成立的,而且在视觉领域,使用未标记的数据进行训练以及扩大模型规模也正在成为事实,“这有助于[视觉]模型的泛化能力”。

Ng指出大规模视觉模型(LVMs)的技术尚未成熟,尽管人们对其充满期待。在讨论中,Ng提出了一个未解之谜:如何为训练大规模LVMs所需的数据提供来源?目前,最大的文本生成LLMs通常依赖于互联网上的大量语料库进行训练。互联网能够提供大量未标记、非结构化的训练数据,而少量标记数据可以用于微调和指导调优。

通常,视觉AI需要使用标记数据进行训练,但Ng认为情况可能不会总是如此。采用将图像的部分区域隐藏起来,然后由神经网络填补这些区域的技术可以在未标记数据上进行视觉网络的训练。

另一种途径可能是合成数据,但至今为止,合成数据对于生成数以万计文本标记所需的代ChatGPT大小模型的代价太高。

Transformer 网络在语言AI中占据主导地位,并且正在进入视觉AI领域。Ng认为,Transformer 最终会成为所有形式AI的事实上的神经网络架构吗?

他表示:“不,我不这么认为。Transformer 是我们工具箱中的绝佳工具,但我认为它们不是我们唯一的工具。”尽管生成式AI为大量可用的非结构化数据带来了奇迹,但它对于我们处理结构化数据的能力并没有提供帮助。结构化数据,比如电子表格中的数字列,不适合Transformer ,因此仍然需要采用其他方法进行AI处理。

在当前的趋势中,LLMs越大,它们在泛化方面的能力就越好。但是LLMs可以变得有多大呢?是否存在实际上的极限?Ng表示:“我认为我们还没有用尽扩展的可能性。但现在它变得困难了,我认为还有其他创新途径。”他指出,在许多用例中,一个含有130亿参数的模型和一个含有1750亿参数的模型的性能可能是一样的。对于像语法检查这样简单的任务,一个运行在笔记本电脑上的30亿参数模型可能就足够了。

对于基本的文本处理任务,比如情感分类,10亿参数可能已经足够了,可以运行在移动设备上,而处理对世界有“相当多知识”需求的任务可能需要数百亿的参数,更复杂的推理可能需要千亿级的参数。

他说:“有可能未来我们将看到更多的应用在边缘设备上运行。当您需要进行真正需要1000亿参数模型的复杂任务时,我们将退而求其次,但我认为许多任务可以使用更适中规模的模型运行。”

Transformer 及其基于的注意力机制是六年前发明的,但到目前为止,硬件制造商只是在谨慎地开始专门为这个重要工作负载定制加速器。对于Transformer 的架构是否已经开始成熟,或者我们应该期待这个工作负载在未来会有更多的演变?

他表示:“这很难说。”他说:“原始论文是在2017年发表的……如果这是最终架构,我会感到有点失望,但我也愿意接受震惊。注意力机制效果非常好。生物和数字大脑有很大的不同,但在生物智能中,我们的大脑就像演化将各种元素组合在一起一样——但它确实非常高效。在Transformer 之前,神经网络也能做得很好。再看看x86架构已经持续了多久!”

本文作者:陶烟烟,来源:芝能汽车,原文标题:《AI Text Revolution is Coming to Images》

出处:华尔街见闻

2023-11-26
-

(如不慎侵权,请即联系我站。)
荐读
 · 对嘛,伴侣机器人怎能只有女版呢?
 · 为什么航天飞机外部燃料箱“变黄”了 曾经
 · 谷歌开发了一个逆天芯片,触摸屏将遇最大
 · 全球AI人工智能市场竞争的本质(芯片战争
 · 苹果承认iPhone 6或因第三方修理“变砖”
 · 这些日常用品的机械内部原理太牛掰了!
 · 盖茨:AI 不会抢走你的工作,且会让每周工
 · 探究深度图神经网络在虚拟现实与增强现实
 · 构成人体的物质和宇宙尘埃有很多相似
 · 物联网的应用场景
热搜
 · 看懂《异形:契约》真心不容易
 · 世界上最大的海上执法船:中国“海警290
 · 盘点近年来科幻片中外星人实力排行榜
 · 揭秘电视分辨率:1080p、2K、UHD、4K、8
 · 史上最具影响力的50件科技产品
 · Ai 到底是个什么鬼?
 · 攻克百年难题,扭转“角度” 石墨烯可变超
 · SpaceX实现人类史上首次海上回收火箭,马
 · 图说熊猫“吃相”
 · 美国海军的重要作战支柱:移动目标用户卫
浏览
 · 不到24小时,网友就把微软这个清纯机器人
 · 隐身飞翼也能上航母么?彩虹-7有望成为舰
 · 猴年说猴:世界最小猴子到底有多小?还没
 · 人造神经元可以帮助我们植入或者抹掉记忆
 · 美军打破磁悬浮速度世界纪录:时速1000公
 · 宇宙外面是什么? 可能是平行宇宙
 · 对嘛,伴侣机器人怎能只有女版呢?
 · “温室地球”时代可能到来:海平面或升高
 · 小行星会毁灭地球?它其实是一个“易碎品
 · 智造人类V2.0?——颠覆式黑科技出现
如版面不完整 请使用浏览器的【极速模式】

Ai时代(Ai.th1w.com)
E-mail:wx24cn@163.com
苏ICP备14015491号-1 苏公网安备32053150316245