通过麦克风阵列及其算法,可以实现以下哪些功能
麦克风阵列具有对远场干扰噪声很强的抑制作用,应用于便携IT设备如PDA、GPS、NB、手机等在较大噪声环境中使用时表现出较好的效果。小型麦克风阵列由一组麦克风单元在一个小范围内按照一定空间分布组合而成,由于它在噪声环境下具有良好的信号采集性,因此越来越受到声学应用领域的关注。麦克风阵列具有对远场干扰噪声很强的抑制作用,应用于便携IT设备如PDA、GPS、NB、手机等在较大噪声环境中使用时表现出较好的效果。小型麦克风阵列由一组麦克风单元在一个小范围内按照一定空间分布组合而成,由于它在噪声环境下具有良好的信号采集性,因此越来越受到声学应用领域的关注。通过算法控制,麦克风阵列在搜索到讲话者的位置之后可以将波束指向当前的讲话者。麦克风阵列这种极强的智能指向性功能可以显著降低周边环境噪声及回声的影响。
麦克风阵列是什么?
麦克风阵列(Microphone Array),从字面上,指的是麦克风的排列。也就是说由一定数目的声学传感器(一般是麦克风)组成,用来对声场的空间特性进行采样并处理的系统。
早在20世纪70、80年代,麦克风阵列已经被应用于语音信号处理的研究中,进入90年代以来,基于麦克风阵列的语音信号处理算法逐渐成为一个新的研究热点。而到了“声控时代”,这项技术的重要性显得尤为突出。
麦克风阵列能干什么?
1.语音增强(Speech Enhancement)
语音增强是指当语音信号被各种各样的噪声(包括语音)干扰甚至淹没后,从含噪声的语音信号中提取出纯净语音的过程。所以DingDong在嘈杂环境下,也能准确识别语音指令。
通过麦克风阵列波束形成进行语音增强示意图
从20世纪60年代开始,Boll等研究者先后提出了针对使用一个麦克风的语音增强技术,称为单通道语音增强。因为它使用的麦克风个数最少,并且充分考虑到了语音谱和噪声谱的特性,使得这些方法在某些场景下也具有较好的噪声抑制效果,并因其方法简单、易于实现的特点广泛应用于现有语音通信系统与消费电子系统中。
但是,在复杂的声学环境下,噪声总是来自于四面八方,且其与语音信号在时间和频谱上常常是相互交叠的,再加上回波和混响的影响,利用单麦克风捕捉相对纯净的语音是非常困难的。而麦克风阵列融合了语音信号的空时信息,可以同时提取声源并抑制噪声。
目前基于线性阵列、平面阵列以及空间立体阵列的波束形成和降噪技术,效果均达到业界一流水平。
2013年科大讯飞车载降噪产品和国际竞争对手效果对比
2.声源定位(Source Localization)
现实中,声源的位置是不断变化的,这对于麦克风收音来说,是个障碍。麦克风阵列则可以进行声源定位,声源定位技术是指使用麦克风阵列来计算目标说话人的角度和距离,从而实现对目标说话人的跟踪以及后续的语音定向拾取,是人机交互、音视频会议等领域非常重要的前处理技术。所以麦克风阵列技术不限制说话人的运动,不需要移动位置以改变其接收方向,具有灵活的波束控制、较高的空间分辨率、高的信号增益与较强的抗干扰能力等特点,因而成为智能语音处理系统中捕捉说话人语音的重要手段。
混响产生原因示意图
3.去混响(Dereverberation)
一般我们听音乐时,希望有混响的效果,这是听觉上的一种享受。合适的混响会使得声音圆润动听、富有感染力。混响(Reverberation)现象指的是声波在室内传播时,要被墙壁、天花板、地板等障碍物形成反射声,并和直达声形成叠加,这种现象称为混响。
但是,混响现象对于识别就没有什么好处了。由于混响则会使得不同步的语音相互叠加,带来了音素的交叠掩蔽效应(Phoneme Overlap Effect),从而严重影响语音识别效果。
影响语音识别的部分一般是晚期混响部分,所以去混响的主要工作重点是放在如何去除晚期混响上面,多年来,去混响技术抑制是业界研究的热点和难点。利用麦克风阵列去混响的主要方法有以下几种:
(1)基于盲语音增强的方法(Blind signal enhancement approach),即将混响信号作为普通的加性噪声信号,在这个上面应用语音增强算法。
(2)基于波束形成的方法(Beamforming based approach),通过将多麦克风对收集的信号进行加权相加,在目标信号的方向形成一个拾音波束,同时衰减来自其他方向的反射声。
(3)基于逆滤波的方法(An inverse filtering approach),通过麦克风阵列估计房间的房间冲击响应(Room Impulse Response, RIR),设计重构滤波器来补偿来消除混响。
现在科大讯飞实现的基于麦克风阵列的去混响技术能很好的对房间的混响情况进行自适应的估计,从而很好的进行纯净信号的还原,显著的提升了语音听感和识别效果,在测试对比中,多种混响时间下识别效果接近手机近讲水平。
混响语音信号频谱
经过去混响后的语音信号频谱
4.声源信号提取(分离)
家里人说话太多,DingDong听谁的呢。这个时候就需要DingDong聪明的辨别出哪个声音才是指令。而麦克风阵列可以实现声源信号提取,声源信号的提取就是从多个声音信号中提取出目标信号,声源信号分离技术则是将需要将多个混合声音全部提取出来。
通过麦克风阵列波束形成做语音提取和分离
利用麦克风阵列做信号的提取和分离主要有以下几种方式:
(1)基于波束形成的方法,即通过向不同方向的声源分别形成拾音波束,并且抑制其他方向的声音,来进行语音提取或分离;
(2)基于传统的盲源信号分离(Blind Source Separation)的方法进行,主要包括主成分分析(Principal Component Analysis,PCA)和基于独立成分分析(Independent Component Analysis,ICA)的方法。
TGMZ天歌魅尊
二是基于高分辨率谱估计的方法;
三是基于声达时延差(TDOA)的方法。
基于最大输出功率的可控波束形成技术Beamforming,它的基本思想就是将各阵元采集来的信号进行加权求和形成波束,通过搜索声源的可能位置来引导该波束,修改权值使得传声器阵列的输出信号功率最大。
这种方法既能在时域中使用,也能在频域中使用。
它在时域中的时间平移等价于在频域中的相位延迟。
在频域处理中,首先使用一个包含自谱和互谱的矩阵,称之为互谱矩阵(Cross-Spectral Matrix,CSM)。
在每个感兴趣频率之处,阵列信号的处理给出了在每个给定的空间扫描网格点上或每个信号到达方向(Direction ofArrival,DOA)的能量水平。
因此,阵列表示了一种与声源分布相关联的响应求和后的数量。
这种方法适用于大型麦克风阵列,对测试环境适应性强。
GLFore的acam100就是这个原理。
通过麦克风阵列及其算法,可以实现以下哪些功能
一般来说,基于麦克风阵列的声源定位算法划分为三类:一是基于波束形成的方法;二是基于高分辨率谱估计的方法;三是基于声达时延差(TDOA)的方法。基于最大输出功率的可控波束形成技术Beamforming,它的基本思想就是将各阵元采集来的信号进行加权求和形成波束,通过搜索声源的可能位置来引导该波束,修改权值使...
音源追焦是什么原理
该技术的基本原理是通过使用多个麦克风阵列和声源定位算法来实现。音源追焦设备通常会配备多个麦克风,这些麦克风分布在设备的不同位置,可以接收到来自不同方向的声音信号。当用户在录制视频或音频时,这些麦克风会同时捕捉到各种方向的声音,包括来自目标音源的声音。音源追焦系统会使用声源定位算法来确定声音的...
新骁龙8性能全面释放 黑鲨5 Pro评测
组合成最强手机 4 麦克风阵列,结合麦克风降噪、HDR 等多种算法调优,在游戏、免提通话、录音等主要拾音场景提供最佳的收音效果,在录像场景还专门研发了Audio Zoom音源变焦功能,根据录像焦点调整录音收音效果,在视频录制时可以直接对音源进行定位,方便了后期的编辑。
手机麦克风怎么样
2. 清晰度有所提升。在语音识别、通话或录制视频时,麦克风的清晰度至关重要。手机麦克风的设计考虑了这一点,通过优化麦克风阵列和算法,提高了声音信号的捕捉能力,减少了环境噪音的干扰,使得声音更为纯净和清晰。此外手机麦克风提供了便携性特点为用户提供了便捷的使用体验不论是移动通话还是录音应用都能...
如何消除部分声音
声音隔离技术也是一种有效的消除部分声音的方法。这种技术利用麦克风阵列或声音处理算法,能够识别并分离出不同来源的声音。通过调整麦克风的接收方向或使用特定的声音处理算法,可以抑制或消除来自特定方向或声源的声音。这种方法在会议系统、语音识别等领域有广泛应用,能够有效地提高音频的质量和清晰度。除了...
阵列麦克风是属于什么设备
此外,阵列麦克风还被广泛应用于虚拟现实和增强现实领域。虚拟现实和增强现实应用需要采集和处理周围环境的声音,以实现更加真实的虚拟环境。通过使用阵列麦克风,可以实现定向采集声音,并通过特定的算法进行处理和分析,从而达到更真实的声音效果。总而言之,阵列麦克风作为一种重要的声音采集工具,通过多个麦克风...
麦克风阵列是电脑自带的麦克风吗
麦克风阵列是一种先进的音频技术,它由多个麦克风组成,这些麦克风在物理空间上有着特定的排列和布局。每个麦克风负责收集不同方向的声音信号,通过复杂的信号处理算法,可以实现更加精确的声音定位和捕捉效果,广泛应用于语音识别、智能音箱、虚拟助理等场景。相比之下,电脑自带的麦克风则通常只有一个,它通常...
麦克风阵列和外部麦克风用哪个
选择麦克风时,需考虑应用场景、预算和音质要求。麦克风阵列适用于远距离音频采集或自动语音识别等需求,由多个麦克风组成,通过算法合成处理,提供清晰准确的音频信号。其优点包括适用于远距离采集、自动语音识别效果好及降低噪音干扰,但成本较高,需专业安装和维护,不适用于个人使用。而外部麦克风则更适用于...
懂你所想全新体验 长虹人工智能电视Q5K评测
语音交互为人类带来的方便无需多言,但传统语音交互需要通过手动操作来进行,比如按住摇控器发送语音指令,在方便快捷上仍有局限性,这时,能真正实现“解放双手”的远场语音识别的优势就体现出来了。通过电视内置麦克风阵列,不用手接触任何设备,通过说出特定的“唤醒词”激活远场语音识别功能,即可在一定范围之内纯语音操控电...
麦克风阵列什么意思
麦克风阵列技术主要是通过布置多个麦克风,形成一种阵列结构,从而实现对声音信号的捕捉和识别。这些麦克风会同时接收到声音信号,通过特定的算法处理,可以识别出声源的方向,甚至能够区分出多个声源的位置。这种技术常用于语音识别、机器人、视频会议系统等领域。在阵列麦克风中,每个麦克风的位置都是经过精心...