人工智能技术不断成熟并落地于各行各业,物联网领域的智能化转型成为大势所趋。6月24日,百度智能云“云智技术论坛”智能物联网专场在苏州成功举办,会上,百度智能云带了端边云全面智能化的物联网平台——天工AIoT平台2.0全景图,为物联网智能化转型提供端到端解决方案。

端边云全面智能化是百度智能云从物联网到智能物联网探索过程中沉淀总结形成的一套新技术架构及在具体部分场景中的最佳实践。天工AIoT平台2.0全景图囊括了百度智能云从最底层智能硬件、天工AIoT平台架构到行业应用场景,全面赋能百业智能化应用创新。

硬件终端为支撑,夯实物联网智能化底座

顶层的智能方案设计往往需要底层强大硬件支撑。天工AIoT平台支持IoT安全接入SDK,并打造了一系列硬件产品,为智能物联网提供底层支持。

度家系列:天工AIoT平台通过打造语音语义平台解决语音交互难题。其中,鸿鹄语音芯片是百度自研的一款芯片,适合远场语音交互场景,包含Deep peak和Deep cnn唤醒技术,最多支持6个麦克风,可实现双麦360度波束增强识别,在成本和功耗方面占有优势。同时,百度智能云与合作伙伴共同打造了ESP32-DU1906鸿鹄语音模组,集 Wi-Fi、传统蓝牙、低功耗蓝牙,以及音频语音处理功能为一体,可以有效解决物联网无屏设备问题。

度目系列:度目系列产品用于支撑视觉智能应用。目前,度目系列推出了面板机、摄像头、抓拍机等产品,广泛应用于工业生产、园区管理等场景中。

度能系列:在能源领域,百度智能云携手合作伙伴打造了智能电表、检测手环等终端设备,便于能源企业的多场景智能检测。

VR系列: 百度VR基于VR技术在教育、营销、党建、会展等领域提供解决方案。在硬件方面,百度VR具备头显、模型/全景/环物拍摄设备等。

天工AIoT平台2.0能力展示,打造智能物联网平台

天工AIoT平台2.0包括边缘层、平台层、能力层。

边缘层:智能边缘是将云计算能力拓展至用户现场,提供临时离线、低延时的计算服务。天工AIoT平台2.0为客户提供软硬一体的边缘计算服务。在软件方面,百度智能云开源边缘计算软件框架Baetyl,实现将云计算能力延伸至边缘;在硬件方面,通过边缘服务器、视觉边缘盒子、数据边缘盒子等硬件满足客户不同场景需求。

平台层:天工AIoT平台2.0支持AIoT连接管理、AIoT设备管理、AIoT边云协同、AIoT应用编排dCell、AIoT安全管理一站式服务。

能力层:天工AIoT平台2.0”端边云“协同架构支持数据智能、语音语义智能、视觉智能多种类型数据价值分析及交互。

 数据智能以数据流转与协议转换、时序时空数据库、多维数据管理平台以及物联网可视化为基础。

天工AIoT平台不仅持续深入支持MQTT协议的5.0版,增加应用负载均衡和高可用能力,还同时支持CoAP和HTTP协议接入系统,并且创造性的实现了文本、数字等结构化数据与视频、音频等非结构化数据的单链路传输,从而大幅改善了应用的编程复杂度。

时序时空数据库用于存储和管理时间序列数据及地理空间数据,同时结合百度地图的海量POI处理能力和物联网高效的时间聚合分析能力,解决数据孤岛,实现数据治理及数据共享,提升运营效率。

通过时序时空数据库的开放API,开发者能够对时间、空间和设备进行编程,从而让应用可以随场景变化实现地理围栏的实时伸缩、事件统计速度和粒度的实时调整,以及在跟踪目标的同时与场景互动等,这些原本难以满足的需求能够依靠天工AIoT平台得以实现。

物联网可视化基于图形用户界面的数据可视化开发工具,支持拖拽式的操作,交互式的设计器,帮助用户无门槛零编程地开发可视化应用。

天工AIoT平台是一个位于数据、算法和基础设施交汇点的PaaS平台,一方面向下充分挖掘百度智能云在IaaS、边缘和异构计算方面强大算力能力,另外一方面向上和合作伙伴一起拓展各种垂直领域解决方案。在技术上一方面为各种物联网设备终端提供SDK,简化开发模型,另一方面提供设备互联互通中心平台,以及帮助开发者快速开发应用程序的各类中间件。

在数据方面,天工AIoT平台是国内最早实现了分布式云原生和多租户的IoT平台,每天有数千万设备连接,总连接时间每天超过100亿分钟,收发超过7亿条消息,每一条在不到10毫秒时间内得到处理。同时,天工AIoT平台支持更多协议并拥有更强的后端处理能力,在高容灾的前提下有效降低数据传输延时。

在算法方面,天工AIoT平台以时空大数据系统,有效解决了数据孤岛问题;在设备连接后,为使设备能够随着外部环境的变化进行自主处理,天工AIoT平台引入了数字孪生技术,让每一个真实的物理对象在云上拥有独一无二的数字镜像,开发者可以通过Blink协议及对应API的调用,获取物理对象的信息;同时,天工AIoT平台推出了端边云一体化的方式让设备更加智能。在终端侧提供SDK简化终端设备的编程;在边缘侧通过私有网络直接运行应用程序的控制策略和AI策略;在云端采集大量经过脱敏的数据,并用百度先进的AI能力不断迭代模型,然后安全的下发到边缘。

在编程模式方面,天工AIoT平台推出了数字单元。数字单元是基于数字孪生能力抽象而来,让每一个终端设备、算法、计算节点都被抽象成为标准的数字单元,具有标准化的输入、输出及获取属性的接口。开发者只需要把所有数字单元放在一起,画出连接关系,即可得到智能应用。

 在语音语义智能领域,天工AIoT平台2.0以度家语音语义一体化平台解决设备唤醒识别、语音合成、语义理解处理等问题。

在语音能力方面,度家语音语义一体化平台集成了百度自主研发的鸿鹄芯片,支持Deep peak、Deep cnn语音唤醒技术以及百度最新的双麦克模型波束算法,可以满足设备唤醒后360度无死角识别。

同时,百度联手合作伙伴打造了ESP32-DU1906语音模组,以Wifi蓝牙双模态有效解决了物联网无屏设备问题。在有屏设备上,百度智能云与各种安卓、linux平台集成了onboard方案,为用户提供带屏设备唤醒、语音交互等能力,大幅度降低主CPU带宽和待机功耗。

在语义能力方面,天工AIoT平台打造了语义物模型,客户只需配好设备基本属性动作,底层预置好的模型即可自动生成各种槽位、字段,降低语义理解的复杂度。

在AIoT能力方面,天工AIoT平台开源了Du1906-Korvo 框架,基于ESP32-DU1906模组,为客户提供在低算力设备上语音AI以及音频编解码应用,以及无屏音箱、家电控制、绘本、智慧台灯等多种解决方案。客户在开源框架上可以轻松开发出自己的AIoT应用。此外,天工AIoT平台还通过订制开发板,助力客户快速实现框架功能。

 在视觉智能领域,百度智能云打造了AIoT视觉智能应用从开发、部署到落地的全流程解决方案。

首先,通过AI中台为用户提供模型开发能力。百度智能云面向不同客户提供了两套AI模型开发平台,包括面向业务人员的EasyDL零门槛AI开发平台和面向算法工程师的BML全功能AI开发平台。同时,百度智能云通过EasyEdge实现模型转换,让云端模型可以运行在各种边缘设备上。

在实际场景中,仅有模型是不够的,还需要端到端的应用。百度智能云通过天工AIoT智能边缘平台为客户提供应用开发、应用编排、应用部署能力,将云端模型搭配丰富的边缘应用,比如边缘抽帧、告警大屏等,形成端到端的解决方案,打通视觉智能应用交付的最后一公里。

在硬件方面,天工AIoT平台提供了全栈的AIoT视觉智能硬件解决方案:用于近距离检测的边缘计算面板机,比如公司人力门禁、考勤打卡机等;用于中远距离视频分析的AI计算盒,比如用于安防的人脸识别分析盒;用于生产安全监测特定场景的边缘计算盒子和边缘服务器。

天工AIoT平台2.0落地,驱动多行业应用创新

基于底层硬件设施和平台架构,天工AIoT平台2.0为各行各业提供定制化解决方案,全面赋能物联网智能化升级。

工业应用:在工业运营中会时时产生各类结构化和非结构化数据,如何将这些数据进行有效利用是很多企业面临的挑战。百度智能云经过几年探索,推出了开物工业互联网平台,将人工智能与工业互联网深度融合,用AIoT加速工业互联网发展,从设备智能、产线智能、企业智能、产业智能,点线面体,全方位助力工业高质量发展 。开物工业互联网平台包括基础设施层和企业应用层,以云智一体解决方案助力工业企业实现降本增效、绿色安全。基础设施层为企业提供从底层设备、边缘计算到IaaS、PaaS等全栈AI技术;企业应用层基于基础设施能力,为企业打造从研发设计、生产制造到供应链等不同场景下的创新应用。

能源应用:天工AIoT平台2.0聚焦能源领域并持续发力,推出了度能综合能源管控平台,通过产能、用能设备的快速接入,提供丰富的能源数字应用与高效智能的交互方式,支撑综合能源服务业务。目前,度能综合能源管控平台2.0全面上市,融合了AIoT数据智能能力,从数据管理、存储、算法模型训练,结合专业工具融合专业的能源知识,提供包括水,电,蒸汽,热力,燃气在内的全品类能源监控和分析能力,覆盖能源管控、双碳管控、节能、能源设备运行优化、生产用能优化等全场景。度能综合能源管控平台包含感知层、平台层、应用层、展示层。

感知层,百度智能云和合作伙伴一起打造了一系列方便接入、更智能的能源终端和边缘设备;在平台层,度能综合能源管控平台提供标准能源设备物模型、设备管理能力、标准用户企业体系管理能力、模型管理能力,以及一系列不断丰富的场景化AIoT能源模型,同时通过标准API为各层级使用者提供服务;应用层,度能综合能源管控平台可以提供全场景覆盖应用体系,包括基础能源综合管控、智慧能源优化服务、智慧生产优化服务、设备运维优化服务、双炭管控服务;在展示层,通过大屏、PC端、移动端等设备,将应用结果展示给客户。

园区安全应用:天工AIoT平台2.0推出安全视觉智能平台,为园区安全等场景提供视觉智能技术。安全视觉智能平台包括边缘层、平台层、应用层。在边缘层,安全视觉智能平台提供机器人、无人机等硬件设施和智能边缘运行框架Baetyl、应用APP等软件设施,打造软硬一体的基础设施平台;在平台层包括AI中台和天工AIoT智能边缘平台。AI中台为用户提供从数据样本采集、样本标注、模型训练、模型发布的全闭环平台,天工AIoT智能边缘平台为用户提供应用开发、应用编排、应用部署的能力;基于边缘层和平台层,AIoT视觉智能整体技术架构落地于园区安全、生产安全、工业质检等多场景中。

消费电子领域:天工AIoT平台2.0打造了度家-语音语义一体化消费电子平台,为家电、教育类企业提供适合IoT场景的AI语音语义能力。

度家-语音语义一体化消费电子平台整合了百度顶层AI能力以及天工物联网平台能力,集成鸿鹄芯片等各种硬件设施,为客户提供从语音唤醒、语音识别、语义理解、语音合成全流程管理方案。用户只需要简单一键配置就可以获得百度大量底层AI能力,并形成自己的应用。

VR领域:百度VR内容生产&消费平台,以更开放的技术、更通用的平台、更丰富的场景为行业提供VR解决方案。

在技术层面,VR内容生产&消费平台依托百度智能云基础,在三维信息重建、多人互动、内容理解、内容生产等方面具备行业领先的经验积累,并将通过开发者套件形式向行业进行开放,赋能开发者;在平台层,VR内容生产&消费平台构建了VR创作平台和VR交互平台。针对VR创作平台,VR内容生产&消费平台围绕内容生产和消费推出了全品类统一内容格式,并基于渲染基础引擎,让内容消费通路更加顺畅。在VR交互平台,百度仍在积极探索三维化信息在元宇宙中的更多可能;在场景层面,VR内容生产&消费平台基于丰富的产品矩阵和技术积累,开拓了教育、营销、党建、会展等多个场景的VR解决方案。

除以上应用领域,天工AIoT平台2.0还在建筑、家居、农林、交通、矿业等领域落地实施,驱动应用创新,全面推动物联网智能化发展。

物联网不仅是连接,AI的接入为物联网打开了新的窗户。百度智能云将通过天工AIoT平台2.0实现从连接万物到唤醒万物,为所有IoT设备插上智能的翅膀,推动物联网向智能物联网转型。同时,百度智能云秉承开放的态度,将天工AIoT平台2.0边缘计算框架和鸿鹄语音芯片框架开源,赋能百业,与合作伙伴共建智能物联网生态。