业内共识:6.5苹果WWDC大会后,全世界将热议MR!MR生态将会随之而来,带来硬件、软件的巨大增量!
戴上MR:游戏、高清视频、高清直播?
苹果MR最大的预期差在于可以作为链接现实世界和虚拟世界的一个入口,戴上MR以多模态的形式介入到工业生产、娱乐和生活的方方面面!
【MR,现实与数字的转换工具,虚拟世界的入口】
MR将实现现实世界的三维数字化,打破传统的交互方式,实现真正意义上的三维。
数字世界的现实化,眼见不一定为实。MR通过VST透视与现实交互,看到的现实不为真正的现实,是“现实-数字-显示”的转化。而MR设备带来的真实感,给用户带来震撼的使用体验,给开发者带来更多的发挥空间。
MR是“下一代计算平台”,强大的转换与连接工具。MR设备本身具备强大的计算能力,不需要依赖于外部算力平台,可脱离于手机/电脑等独立运行。MR单台设备实现对“现实世界的数字化建模”、“数字世界的编辑与再定义”、“用户体验的真实与便捷”。MR将是实现在数字与现实间转换的强大生产力工具。
⭐机器视觉技术是MR产品的基础与核心。MR产品的目的是使虚拟世界与现实世界实现深度融合,MR技术的发展史就是机器视觉的发展史,主要包括视频标签地图、视频图像拼接、视频与三维场景的叠加和融合技术等,因此机器视觉技术是MR产品发展的基础与核心,未来MR应用生态的发展离不开机器视觉的持续进步。
一、连接虚拟数字与现实世界的接口,一端是MR,一端是机器视觉。苹果MR负责人是杜比公司前副总裁,杜比联合当虹科技 全球首推杜比视界编码器,带来MR沉浸式杜比音效体验!当虹科技跨模态AIGC产品可以静态照片生成体积视频,实现虚拟世界+高清视频和直播。
多模态是ChatGPT的下一站,视频压缩与AIGC核心受益。
大模型技术将加速机器视觉行业的发展。Meta AI开源的SAM机器视觉大模型通过对数百万张图像及掩码进行的预训练,使其可以对不熟悉的对象进行零样本地泛化,从而可以查找和分割图像中的任意对象,从而极大提高机器视觉应用的开发效率,有望加速机器视觉应用在工业质检、自动驾驶、智慧安防、MR娱乐等B端及C端场景的落地。
英伟达可以将3D视频转换为高精3D模型,当虹科技的技术更加先进,一个照片就可以直接生成三维体积视频!
当虹科技的体积视频技术,可以用少量的静态图片,生成一个6DOF(六自由度)的体积视频,大幅降低了内容采集门槛。
英伟达做的和当虹科技做的是一样的,将现实世界的数字化,三维的工具建三维的模型,从而实现多模态的应用。
目前的数字世界建立在“摄像头拍摄画面,平面的显示面板输出画面”。受限于显示技术,现实世界的数字化仍为二维扁平式;即便是所谓3D模型,输出方式仍为一张平板。MR将实现现实世界的三维数字化,打破传统的交互方式,实现真正意义上的三维。
相比平面视频,体积视频数据量更大。当虹跨模态AIGC产品通过点云模型转换及压缩算法,为体积视频“瘦身”,实现了高达800倍的视觉无损压缩,现有5G网络就能传输。
当前AIGC给传媒行业带来三大变革。一是提高内容生产效率;二是提升内容版权价值;三是增强内容传播力与互动性。多模态AIGC会是重要趋势。多模态大模型不断迭代升级,进行AIGC原生创作的工具也在不断从“能用”向“易用”“好用”进步。AIGC具有高效率、低门槛和高自由度的创作能力,不论是在文本生成、图像生成、音乐生成,还是音视频跨模态生成领域,都将大幅提升内容生产的智能化水平和工作效率,同时降低生产成本。
(1)GPT多模态演绎下,视频成为输入输出形式,数据量或远超文字,带来以下变化:一是模型训练使用数据体量扩张,存储成本提高;二是网络流量激增需要更大带宽,带宽成本提高。上述变化,将极大刺激视频压缩的需求,当虹科技为视频编解码核心领军,在前沿超高清编解码技术有显著优势,有望深度受益。
(2)围绕AIGC预处理,公司已有多重储备,在媒体演播室、虚拟主播、智能媒资、快速内容生产等场景有成熟落地,大量场景和视频数据也为公司AI训练加速提供支撑,未来大模型场景应用落地,当虹科技有望在视频领域实现卡位。
当虹科技基于鲲鹏处理器推出的磐为3.0视频处理产品矩阵,打通了全链路国产化超高清视音频处理能力,可以在保证高性能的同时降低能耗和海量数据存储和传输的成本,推动超高清产业可持续发展。
当虹科技从沉浸式技术、全息技术和三维体积视频开展交互技术的应用研究和实践探索,助力打造视音频在体育和演艺直播、游戏、教育、文旅等多个领域的新业态、新模式。
一、当虹科技和英伟达之间深度合作,5G+边缘算力智能终端,边缘算力终端+云端压缩回传,为企业节省90%带宽和存储成本
目前市场热炒的边缘算力,当虹科技有相关的边缘算力智能终端。
当虹科技:边缘算力终端+云端压缩回传
依托于智能视频、视觉AI、大数据、5G边缘计算等四大核心技术,当虹科技5G边缘计算智能终端,能为金融、能源、公安、轨交、教育等行业用户提供低成本、智能化的解决方案,让边缘端视频真正“回得来”“存得起”“看得清”和“看得懂”。可以为客户节约90%传输带宽和90%中心平台存储成本!
民用领域:边缘算力终端解决!
特殊领域:云端压缩回传
在民用娱乐领域,很多设备不需要及时将数据传回云端,即可使用边缘算力来解决需求。但是金融、能源、公安、轨交、教育等行业,需要将终端的数据进行回传云端备份,实现终端和云端的同步操作,这时候就需要进行将数据压缩回传。
【“不压缩”,为什么是无法承受之重?】
以分辨率为480P的摄像头为例(分辨率640*480,帧率24fps),录制24小时视频,需要存储空间1.74TB。如果要存储高清的摄像头视频(分辨率1920*1080,帧率60fps),录制24小时就要29.28TB的容量。
尽管现在的存储价格有所下降,但这种投入对很多企业来说,仍是难以承受的。再结合刚刚提到的四大特点,海量的摄像头视频,给机房存储空间、维护能耗等带来了非常大的挑战。
当虹科技的5G边缘计算智能终端:它最大的特点是超级压缩——通过对非关键信息(如天空、地面)进行智能超级压缩,可在画质基本不变的前提下,将原本10个G的视频数据压缩至最小1个G,最大可节约90%的传输带宽和90%的存储成本。而且基本不会影响后面的视频分析。
当虹科技边缘计算智能终端解决行业两个痛点:
1. 中心平台计算压力大。该终端可以把中心平台的计算压力分散,既能提升数据处理效率,又能大幅节约带宽成本。同时,相对于在中心端进行算力扩容,使用5G边缘计算终端成本更低。
2. 多厂商、多终端设备难以兼容接入。5G边缘计算智能终端可支持不同类型视频图像数据协议的输入与输出,兼容不同厂商、不同终端采集的视频。同时,可支持多路流媒体的低延时、高稳定、跨网、加密传输。
当虹科技5G边缘计算智能前端,集合窄带传输、AI算法仓、融合网关等功能,赋能油气产业数字化、智能化。
三、当虹科技是高清视频和高清直播制作的铲子股,“8K超高清+三维菁彩声”,带来沉浸式娱乐体验,已经应用于世界杯、春晚,服务于亚运会,为客户增加MR分销渠道
以后流行戴MR看电影和球赛直播,谁都希望戴上以后,可以“沉浸式”感受“高清视频”+“杜比音效”+“多维度感受”!
MR电影是私人影院效果,为电影上映和高清直播增加一个投放和销售渠道!
当虹科技公司专注于下一代超高清视频编转码技术、清晰视界编码技术、智能视频分析技术、 智能人像识别技术、智能边缘视频处理技术等核心算法的研究与应用。
当虹科技的产品目前已经应用于冬奥会、春晚和世界杯直播!
视听不分家,从标清、高清到如今的4K/8K超高清,视频的清晰度不断跃升。声音也经历了从单声道、立体声、环绕声到三维声的演进。
三维菁彩声在2022卡塔尔世界杯上的亮相为观众带来了一些惊喜。不管是观众的呐喊声、齐唱国歌声,还是裁判的哨声,赛事解说声,从“场”到“点”的声音元素都可以作为独立的声源对象。
2023年春晚首次采用“8K超高清+三维菁彩声”直播。三维声的“在场感”可以引发观众强烈的共鸣,抓住观众注意力。
当虹科技Arcvideo Live在线编码器成为首款由国内厂商推出的支持杜比全景声的在线编码器。
使用Arcvideo Live播出“杜比视界+杜比全景声”格式的直播内容,在电视、智能手机等各类不同的终端设备上播放时,能够带来尽可能忠实于原始画面效果的优质体验,满足消费者对高品质视听的需求,为超高清视频直播锦上添花。
Arcvideo Live编码器主要服务于电视台、有线网络、IPTV、OTT、电信运营商等行业客户,用于制作标清、高清、4K和8K超高清等直播内容,满足机顶盒、智能电视、电脑、平板电脑、手机等设备的播放需求。
在亚运会对公司业务促进的问题上,当虹科技回复,大型体育赛事的举办都是技术加速落地的催化剂。传媒文化业务方向,短期主要以项目化的形式服务客户,所提供的产品对公司都是业绩的增量。长期来看,随着5G的商用及视频技术的进步,赛事的超高清直播及制作已经是常态,加以AI赋能,可为观众提供颠覆性的视听服务。公司的电视台/IPTV/互联网视频/运营商等客户会因为大型赛事产生扩容、新建以及一些新的软件、设备等需求。采购的产品也不单单服务于一场赛事,也会体现在日常业务采购中。此外,亚运会还会为公司的泛安全业务带来一定增量。
四、当虹科技获得2022年度华为最佳合作伙伴奖,联合华为推出超高清解决方案