Conversa语音套件介绍

NXP管管

Conversa语音套件介绍

Conversa是一个全双工免提电话语音处理综合套件，可全面控制上行和下行音频。Conversa嵌入式多麦克风，全双工语音处理，为扬声器和耳机应用提供终极音质。
无论您是在设计扬声器、耳机、TWS耳机、可穿戴设备还是汽车语音解决方案，都需要将在所有噪音类型中执行的全双工语音处理，而Conversa正是提供此类需求的最佳解答。

Conversa能够将背景的吵杂人声、强风吹拂的声音等等不相干的噪音透过内部的算法将其去除，如同下图中所显示的架构，远程的音频资料收到后或是资频数据要传送之前，Conversa利用内部的SG、NR、EQ等等的模块予以调整出最佳的质量。

目前Conversa在下列的平台上都已经可以支持，其中的i.MX RT500和i.MX RT600更是直接运用强大的DSP资源来做运算
·i.MX RT500: 跨界MCU， 配备Arm® Cortex®-M33内核
·i.MX RT600: 跨界MCU，配备Arm® Cortex®-M33和DSP内核
·i.MX RT1060: 跨界MCU搭载Arm® Cortex®-M7内核
·i.MX RT1170: 跨界MCU系列——首款GHz MCU，带Arm® Cortex®-M7和Cortex-M4内核
以下用i.MX RT1170为例子，跟各位介绍一下整个的操作流程

首先硬件方面有两种选择，基本上都是基于RT1170 EVK, 初次尝试可以利用耳挂式耳麦直接连接到EVK就可以马上开始做测试，如果要追求最极致的声音体验，可以参考上图的mockup配置，包含一个RT1170 EVK再加上两个喇叭和一个功率放大器。软件包的部分则是基于MCU SDK，並且加上了语音通话框架和微软的预认证。

Conversa软件包包含了三种不同的模式，分别为Conversa模式、USB模式和返回模式。其中的差异是在Conversa模式当中，所收送的声音都会经过Conversa演算的处理。

而在USB模式中，音频数据从USB收进来后就直接到耳机或喇叭，麦克风所收到的声音也是直接透过USB传送出去，皆不会做任何的处理。

如果选择返回模式，那表示从本地端的麦克风所收取的音频数据，直接会接往耳机端传送，在这样的模式之下，可以帮助用户先行厘清Conversa之外的问题并且专注于微调算法的各个参数。

介绍完硬件与软件之后，接下来介绍一些预先定义好的配置。下图展示了根据不同采样率与帧的大小，定义了配置1、配置2跟配置3，同时也说明所需要CPU和内存的资源。

总而言之，不同硬件对应到不同的软件模式再对应到不同的配置，在RT1170上就已经预先准备了许许多多的参数以供使用者使用。其中配置3的情况下又特别针对1.5公尺大小的会议空间convswp3d15、2.3公尺convswp3d23、3.5公尺convswp3d35以及4.5公尺大小convswp3d45，等不同大小尺寸的会议空间事先予以优化。

使用者在执行Conversa的同时可以以命令行的形式输入不同的参数。

成功地执行Conversa之后，用户可以在自己的计算机上找到RT1170的装置。

最后附上Conversa的所有功能列表以供参考：
·上行和下行音频全面处理
·高达Fs=32kHz的超宽带音频
·声学回声消除
·55dB总回声消除(AEC)，包括非线性处理(NLP)
·环境降噪
·利用机器学习的自适应多麦克风波束成型
·风噪消除
·处理噪音消除
·动态压缩范围
·限幅器和静噪
·侧音
·参数方程式

阅读全文

jundao721

先收藏再学习