Baidu

NVIDIA Maxine 引爆实时视频体验

来源:壹点网 2021-04-19 18:08:48

下一次在虚拟会议或流式传输游戏、现场活动或电视节目时, NVIDIA Maxine 将可能成为焦点。今天,NVIDIA 首席执行官黄仁勋在GTC 主题演讲中发布了 GPU 加速的软件开发套件。

来自视频会议、内容创作和流式传输提供商的开发者正在使用 Maxine SDK 打造基于视频实时的体验。可以轻松部署至 PC、数据中心或云端。

转向远程工作

虚拟协作不断发展,每天有 7000 万小时的网络会议,越来越多的全球组织正在寻求技术来支持不断增加的远程协作。

Pexip 是一个可扩展的视频会议台,可实现不同视频会议系统之间的互操作,它正寻求突破其视频通信产品的边界,以满足日益增长的需求。

Pexip 的 CTO 兼联合创始人 Giles Chamberlin 说:“我们正在探索 NVIDIA Maxine 功能(如音频降噪和虚拟背景)如何为各种规模的企业提供优质的视频会议体验。”

通过与 NVIDIA 合作,Pexip 有望提供 AI 技术支持的视频通信,以支持比面对面会议效果更佳的虚拟会议。

Pexip 联合多家在视频协作领域的企业,如Avaya,去年 10 月,已将 Maxine 音频降噪技术融入其“空间”应用,现已实现虚拟背景,允许演讲者在演示中叠加视频。

Headroom 使用 AI 来解决视频会议的分神问题,这样参与者就可以在会议期间专注于互动。这包括人们在有疑问、记笔记、转录和智能会议总结时进行标记。

发现虚拟活动的人脸识别价值

研究表明,每年有 100 多万场虚拟活动,未来有更多的活动营销人员计划投资这些活动。因此,从活动举办方到视觉效果艺术家,每个人都在寻找更快、更高效的方法来创造数字体验。

其中包括 Touchcast,将 AI 和混合现实相结合,来重塑虚拟活动。Touchcast 使用 Maxine 的超分辨率功能来将1080p视频流转换并呈现为4K.。

Touchcast 创始人兼首席执行官 Edo Segal 表示:“NVIDIA Maxine 正在为视频通信的未来铺道路,AI 和神经网络可以全新方式增强和丰富内容。”

另一个案例是 Notch 公司,Notch 公司创建的工具可为现场活动提供实时视觉效果和动态图形。Maxine 可为它提供 AI 驱动的实时面部和身体追踪以及背景移除功能。

艺术家可以在各种创意用例的现场表演环境中追踪和遮挡表演者,这一切都使用标准摄像头馈送,消除了使用特殊硬件的跟踪解决方案带来的挑战。

Notch 创始人兼总监 Matt Swoboda 说:“集成 Maxine SDK 非常简单,只需几天便可完成。”

视频流领域的应用

Twitch 每月有 1000 万内容创作者,成为现场直播者也从未如此轻松。直播者正在寻找功能强大且易于使用的功能来吸引观众。

BeLive提供了一个台,为直播用户生成谈话节目,使用 Maxine 在云端处理其视频流,因此客户不必购买昂贵的设备。在云端运行 Maxine,用户可以完成高质量的背景替换,无需担忧他们在客户端中运行的硬件情况。

借助 BeLive,您可以轻松制作实时互动式通话节目,并流式传输至 YouTube 或 Facebook Live,参与者可以在世界各地进行通话。

OBS 是一个领先的流式传输和录制台,一个免费的开源软件解决方案,被广泛应用于游戏流式传输和直播制作。现在,NVIDIA RTX GPU 的用户可以在制作过程中利用噪音消除功能提高音频清晰度。

开发者正在使用 Maxine SDK 构建虚拟协作和内容创作应用程序

了解 Maxine NVIDIA

NVIDIA Maxine 包括三个 AI SDK,涵盖了视频效果、音频效果和增强现实领域 — 每个都配有预训练好的深度学模型,使开发者可以快速构建或增强其实时应用程序。

首先从 NVIDIA Video Effects SDK开始,企业现在可以应用 AI 效果来提高视频质量,而无需使用特殊的摄像头或其他硬件。具体功能包括:超分辨率,从360p输入视频中实时生成720p输出视频,以及减少伪影,消除缺陷以获得更清晰的图片。

视频降噪功能消除了视频捕捉过程中引入的低照度相机噪声,同时保留所有细节。为了隐藏杂乱的房间或其他视觉干扰,Video Effects SDK 会实时删除网络摄像头的源背景,因此只有用户的面部和身体显示在直播中。

NVIDIA 增强现实 SDK使用标准网络摄像头实现实时 3D 人脸追踪,通过自动放大人脸并使人脸保持在摄像机视野范围内,以提供更具吸引力的虚拟通信体验。

借助这个SDK可以检测视频源图像中的人脸,追踪面部表情的运动,创建人脸的 3D 网格表示,使用视频追踪在 3D 空间中的人体运动,通过凝视估计来模拟眼神接触,还有很多其他功能。

NVIDIA Audio Effects SDK 使用 AI 从传入和传出的音频源中消除分散注意力的背景噪音,从而提高任何对话的清晰度和质量。

包括消除不需要的背景噪音(如狗叫或婴儿哭声),使对话更清晰容易理解。对于大空间的会议,还可以从背景中消除房间回声,使声音更加清晰。

开发者可以将 Maxine AI 效果添加到其现有应用程序中,或者使用 NVIDIA DeepStream(构建智能视频分析的 SDK)以及 NVIDIA Video Codec(在 Windows 和 Linux 上加速视频编码和解码的 SDK)从头开始开发新的应用程序。

Maxine 还可用于 NVIDIA Jarvis,一种用于构建对话式 AI 应用程序的框架,可提供世界级的语言处理功能,例如转录和翻译。

Availability

供应情况

了解关于Maxine的更多信息。

在 GTC 期间,有机会深入了解 NVIDIA Maxine ,4 月 12 日至 16 日,免费注册,精彩不容错过。

关于 NVIDIA

NVIDIA (NASDAQ: NVDA) 1999年发明的GPU驱动了PC游戏市场的增长,并重新定义了现代计算机图形、高能计算和人工智能。NVIDIA在加速计算和AI领域的创举正在重塑交通、医疗健康和制造业等价值数万亿美元的产业,并推动了许多其他产业的增长。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

0
编辑: zhangxin 标签:

图片新闻

生活消费

今日热点

90后青岛女孩杨娜在老尹家海参工作十年了,2011年8月,还没毕业的杨娜看到老尹家海参在招聘实习生,于是投递简历,来老尹家海参从事

详细>>

泰国Advanced Info Services公共有限公司,简称AIS,是泰国排名第一的数字生活服务提供商,被誉为全泰国人民的骄傲。主要经营手机业务、A

详细>>

随着产品品质和市场竞争力逐年增强,以长城汽车为代表的自主领军品牌不仅市场表现出色,用户满意度也逐年提升。日前,中国汽车质量协会2020

详细>>

近些年来国内的汽车行业经过野蛮增长过后,已经步入了存量市场阶段。各品牌的竞争也早已经从过去简单的讲产品、拼价格的时代,逐渐过渡到用

详细>>

2020年10月,由中国汽车质量协会主办的2020年汽车行业用户满意度指数(CACSI)测评结果出炉,哈弗品牌以76分赢得售后服务满意度第一名及销

详细>>

12月3-4日,世界智能汽车大会在广州顺利召开,大会以未来·驶于现在为主题,聚焦于智能汽车的创新技术、产业生态、市场热点、基础设施、规范安

详细>>