强哥1号拖拉机1
强哥1号拖拉机1

AudioUnit

转至 ： http://www.qingpingshan.com/m/view.php?aid=386657

AudioUnit_第1张图片

声音的渲染在iOS平台上回直接使用 AudioUnit 的API来完成.用来实现一些类似 大叔 , KTV , 耳返等效果 ….

今天带领大家深入了解和学习一下这些音效.

实现iOS变声的背景

声音变声一般都是发生在 一端采集录制另一端播放音频, 忽略中间的转码过程,在输入输出的中间过程中进行相应的音频参数就实现了变声.

下图是AVAudioSession的工作流

AudioUnit_第2张图片

大家常用的变声方案有很多:

FFMpeg提供内部效果器 eg:EQ均衡器

AVFoundation底层的 Audio Unit eg: 混响reverb

SoundTouch

其它方案…

这里我们选用iOS AVFoundation本身提供的音频处理单元 Audio Unit .

Audio Unit 提供如下功能:

低延迟的音频I/O eg:voip

多路声音的合成并回放 eg:游戏中的音乐合成器

Audio Unit 自身提供 eg：回声消除、Mix两轨音频、均衡器、压缩器、混响效果器等.

需要图状的结构来处理音频. eg: 有点类似PC时代的主播经常用的一种叫KX 驱动.

AudioUnit介绍

iOS层级架构图

AudioUnit_第3张图片
AudioUnit_第4张图片

声音的处理过程, 首先需要认识一下 AUGraph

AudioUnit_第5张图片

audio processing graph: A representation of a signal chain comprising an interconnection of audio units. Also called an AUGraph or graph. Core Audio represents such an interconnected network as a software object of typeAUGraph. Audio processing graphs must end in an output unit. See also audio unit.

一种信号链的表示，包括音频单元的互连。也称为AUGraph或graph。Core Audio代表着这样一个相互连接的网络，它是一个 AUGraph 类型的对象。

audio unit 结构图(工作流)

AudioUnit_第6张图片

Audio Unit 构成图

AudioUnit_第7张图片

Unit 一般 分为 Element0 和 Element1

下面我们举Remote I/O Unit为例:

RemoteIO 这个Unit是和硬件IO相关的Unit，它分为输入端和输出端, 输入端一般指麦克风,输出端一般指扬声器.

Element0 控制输出

Element1 控制输入

图中Element 也叫 bus；

音频流从输入域（input scope）输入， 从输出域（output scope）输出

整个Render过程就是一次RenderCycle

AudioUnit_第8张图片

同时每个Element分为Input Scope 和 Output Scope.如果我们想使用扬声器的声音播放功能,必须需将这个Unit的 Element0 的 OutputScope 和Speak进行连接. 如果想使用麦克风录音功能,那么必须将这个Unit的 Element1 的 InputScope 和麦克风进行连接.

构建Audio Unit

首先需要启用音频会话 这些大家自己配置就好 了

//配置会话相关伪代码

[[AVAudioSession sharedInstance].xxxxx xxxxx];

如何用代码构建一个Audio Unit？ 这里我们以Remote I/O Unit 为例:

创建AudioUnit有两种方式

直接使用AudioUnit裸创建

使用AUGraph和AUNode来构建

第一种 裸创建

#import "ViewController.h"

#import

@interface ViewController ()

{

AudioUnit ioUnitInstance; //声明一变量

}

@end

@implementation ViewController

- (void)viewDidLoad {

[super viewDidLoad];

//首先构造出要用到创建Unit的结构体

AudioComponentDescription ioUnitDescription;

ioUnitDescription.componentType = kAudioUnitType_Output;

ioUnitDescription.componentSubType = kAudioUnitSubType_RemoteIO;

ioUnitDescription.componentManufacturer = kAudioUnitManufacturer_Apple;

ioUnitDescription.componentFlags = 0;

ioUnitDescription.componentFlagsMask = 0;

AudioComponent ioUnitRef = AudioComponentFindNext(NULL, &ioUnitDescription);

//创建AudioUnit实例

AudioComponentInstanceNew(ioUnitRef, &ioUnitInstance);

}

第二种使用AUGraph和AUNode

#import "ViewController.h"

#import

#import

@interface ViewController ()

{

AUGraph processingGraph;

AUNode ioNode;

AudioUnit ioUnit;

}

@end

@implementation ViewController

- (void)viewDidLoad {

[super viewDidLoad];

//首先构造出要用到创建Unit的结构体

AudioComponentDescription ioUnitDescription;

ioUnitDescription.componentType = kAudioUnitType_Output;

ioUnitDescription.componentSubType = kAudioUnitSubType_RemoteIO;

ioUnitDescription.componentManufacturer = kAudioUnitManufacturer_Apple;

ioUnitDescription.componentFlags = 0;

ioUnitDescription.componentFlagsMask = 0;

//1 new

NewAUGraph(&processingGraph);

AUGraphAddNode(processingGraph, &ioUnitDescription, &ioNode);

//2 open

AUGraphOpen(processingGraph);

//3 从相应的Node中获得AudioUnit

AUGraphNodeInfo(processingGraph, ioNode, NULL, &ioUnit);

}

推荐使用第二种因为这种创建扩展性更高一些

注意: AUNode必须和AudioUnit成对出现

如下图 ：Remote I/O Unit

AudioUnit_第9张图片

麦克风或者扬声器在Audio Unit中有相应的枚举.

直播中的 耳返 就是用的这个把麦克风采集的数据直接扔给扬声器 这样就能做到 低延迟的实时听到麦克风的声音.

直播中一般使用 Remote I/O unit来进行采集工作

使用AudioUnit连接扬声器

OSStatus status = noErr;

UInt32 onFlag = 1;

UInt32 busZero = 0; //Element0 就是bus0

status = AudioUnitSetProperty(remoteIOUnit, kAudioOutputUnitProperty_EnableIO, kAudioUnitScope_Output, busZero, &onFlag, sizeof(onFlag));

CheckStatus(status, @"不能连接扬声器", YES);

注意: kAudioUnitScope_Output 就是连接扬声器的key

连接麦克风

OSStatus status = noErr;

UInt32 busOne = 1; //Element1 就是bus1 接麦克风输入

UInt32 oneFlag = 1;

status = AudioUnitSetProperty(remoteIOUnit, kAudioOutputUnitProperty_EnableIO, kAudioUnitScope_Input, busOne, &oneFlag, sizeof(oneFlag));

CheckStatus(status, @"不能连接麦克风", YES);

可以使用如下代码检查每一步执行出错debug

static void CheckStatus(OSStatus status, NSString *message, BOOL fatal) {

if (status != noErr) {

char fourCC[16];

*(UInt32 *)fourCC = CFSwapInt32HostToBig(status);

fourCC[4] = '\0';

if (isprint(fourCC[0]) && isprint(fourCC[1]) &&

isprint(fourCC[2]) && isprint(fourCC[4])) {

NSLog(@"%@:%s",message, fourCC);

} else {

NSLog(@"%@:%d",message, (int)status);

}

if (fatal) {

exit(-1);

}

}

}

AVAudioMix

我们一般都在采集、录制或编辑音视频相应的类中使用AVAudioMixer.

举个例子:我们变声实现的流程大概是这个样子 AVAudioPlayer -> AVPlayerItem -> AVAudioMixer-> AUGraph -> AUNode + AudioUnit

AudioUnit_第10张图片

AudioStreamBasicDescription 配置麦克风输入的参数

当我们控制Remote IO Unit的时候想告诉麦克风 各种input的参数 可以通过 一个叫ASBD 格式的结构体数据描述来设置给相应的Unit

Audio Stream Format 描述ASBD

UInt32 bytePerSample = sizeof(Float32);

AudioStreamBasicDescription asbd;

bzero(&asbd, sizeof(asbd));

asbd.mFormatID = kAudioFormatLinearPCM;

asbd.mSampleRate = 44100;

asbd.mChannelsPerFrame = channels;

asbd.mFramesPerPacket = 1;

asbd.mFormatFlags = kAudioFormatFlagsNativeFloatPacked | kAudioFormatFlagIsNonInterleaved;

asbd.mBitsPerChannel = 8 * bytePerSample;

asbd.mBytesPerFrame = bytePerSample;

asbd.mBytesPerPacket = bytePerSample;

上边代码展示了如何填充ASBD结构体,这个描述音视频的具体格式.

下面具体介绍一下各个参数的意思

mFormatID 可用来指定编码格式 eg:PCM

mSampleRate 采样率

mChannelsPerFrame 每个Frame有几个channel

mFramesPerPacket 每个Packet有几Frame

mFormatFlags 这个是用来描述声音格式表示格式的参数,上面代码我们指定的是每个sample的表示格式为Float格式,有点类似SInt16,如果后边是NonInterleaved代表非交错的,对于这个音频来讲就是左右声道的是非交错存放的,实际的音频数据会存储在一个AudioBufferList结构中的变量mBuffers中,如果mFormatFlags指定的是NonInterleaved,那么左声道就在会在mBuffers[0]里面,右声道就在mBuffers[1]里面.

mBitsPerChannel 表示一个声道的音频数据用多少位来表示,上面我们用的是Float来表示, 所以这里使用的是 8 乘以 每个采样的字节数来赋值.

mBytesPerFrame 和 mBytesPerPacket 这两个的赋值需要根据mFormatFlags 的值来进行分配,如果是NonInterleaved非交错的情况下, 就赋值bytePerSample(因为左右声道是分开的).但如果是Interleaved的话,那就应该是 bytePerSample * channels (因为左右声道是交错存放),这样才能表示一个Frame里面到底有多少byte.

讲了这么多 那我们怎么把这个ASDB给 Unit?

如下代码 设置ASBD给相应的Audio Unit

AudioUnitSetProperty(remoteIOUnit, kAudioUnitProperty_StreamFormat, kAudioUnitScope_Output, 1, &asbd, sizeof(asbd));

完整的代码如下

//设置ASBD

AudioStreamBasicDescription inputFormat;

inputFormat.mSampleRate = 44100;

inputFormat.mFormatID = kAudioFormatLinearPCM;

inputFormat.mFormatFlags = kAudioFormatFlagIsSignedInteger | kAudioFormatFlagIsNonInterleaved;

inputFormat.mFramesPerPacket = 1;

inputFormat.mChannelsPerFrame = 1;

inputFormat.mBytesPerPacket = 2;

inputFormat.mBytesPerFrame = 2;

inputFormat.mBitsPerChannel = 16;

//设置给输入端 配置麦克风输出的数据是什么格式

OSStatus status = noErr;

status = AudioUnitSetProperty(audioUnit,

kAudioUnitProperty_StreamFormat,

kAudioUnitScope_Output,

InputBus,

&inputFormat,

sizeof(inputFormat));

CheckStatus(status, @"AudioUnitGetProperty bus1 output ASBD error", YES);

Audio Unit 分类

CF_ENUM(UInt32) {

kAudioUnitType_Output = 'auou',

kAudioUnitType_MusicDevice = 'aumu',

kAudioUnitType_MusicEffect = 'aumf',

kAudioUnitType_FormatConverter = 'aufc',

kAudioUnitType_Effect = 'aufx',

kAudioUnitType_Mixer = 'aumx',

kAudioUnitType_Panner = 'aupn',

kAudioUnitType_Generator = 'augn',

kAudioUnitType_OfflineEffect = 'auol',

kAudioUnitType_MIDIProcessor = 'aumi'

};

分类功能/作用类型

Effect Unit提供声音特效处理kAudioUnitType_Effect

Mixer Units提供Mix多路声音的功能kAudioUnitType_Mixer

I/O UnitsI/O 采集音频与播放音频功能kAudioUnitType_Output

AUConverter Units格式转换 eg:采样格式Float转SInt16、交错或平铺、单双声道的转换kAudioUnitType_FormatConverter

Generator Units提供播放器功能kAudioUnitType_Generator

CF_ENUM(UInt32) {

kAudioUnitSubType_PeakLimiter = 'lmtr',

kAudioUnitSubType_DynamicsProcessor = 'dcmp',

kAudioUnitSubType_LowPassFilter = 'lpas',

kAudioUnitSubType_HighPassFilter = 'hpas',

kAudioUnitSubType_BandPassFilter = 'bpas',

kAudioUnitSubType_HighShelfFilter = 'hshf',

kAudioUnitSubType_LowShelfFilter = 'lshf',

kAudioUnitSubType_ParametricEQ = 'pmeq',

kAudioUnitSubType_Distortion = 'dist',

kAudioUnitSubType_Delay = 'dely',

kAudioUnitSubType_SampleDelay = 'sdly',

kAudioUnitSubType_NBandEQ = 'nbeq'

};

CF_ENUM(UInt32) {

kAudioUnitSubType_Reverb2 = 'rvb2',

kAudioUnitSubType_AUiPodEQ = 'ipeq'

};

Effect Unit 子类型及用途说明

子类型用途说明子枚举类型

均衡效果器为声音的某些 频带 增强或衰减能量，效果器需要指定多个频带,然后为各频带设置增益最终改变声音在音域上的能量分布kAudioUnitSubType_NBandEQ

压缩效果器当声音较小或较大通过设置阀值来提高或降低声音能量 eg:作用时间、释放时间、以及触发值从而最终控制声音在时域上的能量范围kAudioUnitSubType_DynamicsProcessor

混响效果器通过声音反射的延迟控制声音效果kAudioUnitSubType_Reverb2

Effect Unit 下最常用的效果器就上边这三种, 像高通(High Pass)、低通(Low Pass)、带通(Band Pass)、延迟(Delay)、压限(Limiter) 等这些不是很常用,如果大家对这个很熟悉可以试试使用一下.

Mixer Units 子类型及用途说明

子类型用途说明子枚举类型

3D Mixer仅支持 macOS 

MultiChannelMixer多路声音混音效果器,可以接受多路音频输入,还可以分别调整每一路的音频增益和开关,并将多路音频合成一路kAudioUnitSubType_MultiChannelMixer

I/O Units 子类型及用途说明

子类型用途说明子枚举类型

Remote I/O采集音频与播放音频,在Audio Unit中使用麦克风和扬声器的时候会用到这个UnitkAudioUnitType_Output

Generic Output进行离线处理,或者说AUGraph中不使用扬声器来驱动整个数据流,而希望使用一个输出(可以放入内存队列或者磁盘I/O操作)来驱动数据流时kAudioUnitSubType_GenericOutput

AUConverter Units 子类型及用途说明

子类型用途说明子枚举类型

AUConverter格式转换,当某些效果器对输入的音频格式有明确要求时,或者我们将音频数据输入给一些其它的编码器进行编码。。。kAudioUnitSubType_AUConverter

Time Pitch变速变调效果器,调整声音音高. eg:会说话的Tom猫kAudioUnitSubType_NewTimePitch

注意: AUConverter 如果由FFMpeg解码出来的PCM 是SInt16格式 如果要用格式转换效果器unit必须转成Float32格式表示的数据.

Generator Units 子类型及用途说明

子类型用途说明子枚举类型

AudioFilePlayer接收裸PCM 播放 一般大家可以用这个配合Remote I/O 做播放器kAudioUnitSubType_AudioFilePlayer

相关shell命令 将音频文件转成pcm

ffmpeg -i test.mp3 -acodec pcm_s16le -f s16le output.pcm

brew install ffmpeg

(责任编辑：那一抹忧伤)

你可能感兴趣的:(AudioUnit)

  • iOS音视频播放（Audio Unit播放音频+OpenGL ES绘制视频） 辉辉岁月
    前言相关文章：AudioUnit播放PCM文件AudioUnit录音（播放伴奏+耳返）AudioUnit播放aac/m4a/mp3等文件AudioUnit和ExtendedAudioFile播放音频AUGraph结合RemoteI/OUnit与MixerUnit上面的文章介绍了音视频信息的加载和解析，在另外的OpenGL+OpenGLES+Metal也详细介绍了OpenGL如何绘制图像。这次结合A
  • Audio Unit框架（四）构建APP iOS之文一
    音视频开发：OpenGL+OpenGLES+Metal系列文章汇总在上文已经详细讲解了AudioUnit框架的原理和设计模式，本文将开始分析如何构建一个APP1.构建过程认识构建步骤：配置音频会话指定音频单元创建音频处理graph，然后获取音频单元配置音频单元连接音频单元节点提供用户界面初始化然后启动音频处理graph2.配置音频会话音频会话的特性在很大程度上决定了app的音频功能以及与系统其它部
  • AudioUnit 基本知识图 狂风无迹
    废话不多说，看图说话，全部理解并进行过应用，大致就掌握这一块了。图都是摘抄自官方文档。1、iOS的音乐框架：2、iOS提供的音乐处理特性：总结一下，分为四个方面的特性处理：1、特效；2、混音；3、I/O；4、格式转换。可以直接使用Audiounit，但是更推荐使用Audiograph；3、4、I/Ounit的结构5、创建一个AudioGraph分为三步a、将节点加入图中；b、直接配置节点代表的音乐
  • Audio Unit录音（播放伴奏+耳返） 辉辉岁月
    前言AudioUnit播放PCM文件前文介绍了如何用AudioUnit播放PCM文件，这次在原来的基础上添加录音的功能，并且把录制的声音再次播放出来实现耳返的效果。核心思路仍旧使用RemoteI/OUnit，这次开启播放和录制两个功能，播放功能用于伴奏播放，录制功能用于录制人声。耳返功能的实现在于把实时录音的人声播放出来。Demo中使用的录制输入单声道，播放输出双声道的形式，把录制进来的人声数据放
  • Audio Unit框架（一）框架认识和使用 iOS之文一
    音视频开发：OpenGL+OpenGLES+Metal系列文章汇总AudioUnit是一个音频处理插件。它是为应用程序添加复杂的音频操作和处理的底层的API。本文主要认识AudioUnit的原理和简单使用主要内容：音频单元AudioUnit使用audioprocessinggraph回调函数1.认识AudioUnit是一个音频处理插件。它是为应用程序添加复杂的音频操作和处理的底层的API。所有的音
  • Audio Unit播放PCM文件 辉辉岁月
    前言最近对AudioUnit感兴趣，用几周的业余时间研究，顺利习得AudioUnit播放、录制声音，用AudioConvert转格式的技巧。这是AudioUnit系列的第一篇，用AudioUnit播放PCM文件。AudioUnit的知识点较多，围绕demo介绍如何使用AudioUnit。正文AudioUnit是一个处理单元，RemoteI/OUnit是较常用的一个Unit。AudioUnit以pu
  • iOS基于Audio Unit的实时音频录制流程 断点凌er_ZL
    前言本文在基于开发项目中的一个语音模块功能所作出的对AudioUnit的使用的简要总结。在iOS中有很多方法可以进行音视频采集。如AVCaptureDevice,AudioQueue以及AudioUnit。其中AudioUnit是最底层的接口，其优点在于功能强大，延迟低;但弊端在于学习成本高，难度大。对于iOS的AudioUnit一共三种设置：1.一个IOUnit(其中remoteiounit是i
  • Audio Unit详解（一）实时变调音效处理 eaglesue
    AudioUnit详解本篇博客有何不同AudioUnit（以下称AU）是iOS底层的音频框架，对于进阶开发者AU是必需掌握的框架之一，因为面向当下，掌握底层的音频框架可以让你与其他初级开发者区别开，如果面向未来，随着网络带宽的增加，音视频技术的应用范围一定会更广，应用频率也会更高。我看了不少关于AU的技术博客，可能出于项目机密的原因，大多数只讲原理，而且只讲某一个应用方向的原理，比如录音、播放、录
  • 04_QT_Windows开发环境搭建 咸鱼Jay
    FFmpeg为什么选择FFmpeg？每个主流平台基本都有自己的音视频开发库（API），用以处理音视频数据，比如：iOS：AVFoundation、AudioUnit等Android：MediaPlayer、MediaCodec等Windows：DirectShow等...为了让所有平台的开发者都能够学习到音视频开发的通用技术，本教程主要讲解跨平台的音视频开发库FFmpeg。其实只要你掌握了FFmp
  • iOS AudioUnit 总结 孙优秀丶Unique
    iOSAudioUnit总结iOS的AudioUnit功能十分强大，使用图的形式连接各个节点，来实现我们不通的需求，AUGraph就是我们的图,，然后将AudioUnit连接到我们的图上面，就可以实现例如混音功能的实现。AudioUnit提供了低延迟的音频处理，可以实现，混音，回声消除，均衡器，压缩器，混响，滤波器等各个强大的功能。这里有一篇官方文档，图画的很nice以下综合几个不错的博客，混在一
  • JUCE框架教程（2）—— 创建一个基本的音频/MIDI 插件第一部分：设置 正宗咸豆花 JUCE教程c++
    JUCE框架教程（2）——创建一个基本的音频/MIDI插件第一部分：设置本教程将帮助初学者使用JUCE开发音频插件（VST3和AudioUnit）得到一个写有“Hello,World！”的音频插件，并且可以加载到像Cubase或FL这样的VST3主机中。参考文档：https://docs.juce.com/master/tutorial_create_projucer_basic_plugin.h
  • iOS完整推流采集音视频数据编码同步合成流 音视频开发老马 音视频开发ios音视频
    1、实现原理采集:采集视频帧使用AVCaptureSession,采集音频帧使用AudioUnit编码:编码视频数据使用VideoToolbox中vtCompresssion硬编,编码音频数据使用audioconverter软编.同步:根据时间戳生成策略合成:使用FFmpegmux编码的音视频数据以合成视频流后续:合成好的视频流可以通过网络传输或是录制成文件2、阅读前提音视频基础知识推荐必读:H2
  • iOS 使用AudioUnit播放PCM音频 F_Hongpeng
    简介就目前而言，iOS的音频技术都是基于AudioUnits实现的，比较高级别的应用有：MediaPlayer，AVFoundation，OpenAL，AudioToolbox，以上几种都是对AuidoUnits的封装，为满足不同的任务而简化出来的专用API。AudioUnits提供高效，模块化音频处理方案当你需要实现以下需求时，不使用高级API，直接使用audiounits声音的合成，例如合成乐
  • AudioUnit音频特效 BohrIsLay
    概述本文在AudioUnit混音解读基础上，对混音后的音频t使kAudioUnitType_Effect类型的AudioUnit进行特效处理。读取音频文件和建立AUgraph图和前一篇文章类似，稍微有点区别1.将本地两个音频文件读取到内存将本地文件读取到ExtAudioFileRef里面//createtheURLswe'lluseforsourceAandBNSString*sourceA=[[
  • FFmpeg学习之开发Mac播放器(八)：使用AudioUnit播放AV_SAMPLE_FMT_FLTP格式数据 SunBye
    使用FFmpeg解码的PCM音频数据是以一定格式存放的，包含在codec_ctx->sample_fmt中。使用AudioUnit可以直接播放FFmpeg中AV_SAMPLE_FMT_S16、AV_SAMPLE_FMT_S16P、AV_SAMPLE_FMT_FLT和AV_SAMPLE_FMT_FLTP格式的PCM数据。//通过AUGraph来创建AudioUnit-(OSStatus)setupA
  • 如何使用Audio Unit 混合音频 zhonglaoban
    在之前的AudioUnit和ExtAudioFile两篇文章基础之上，我们来做一些更有意思也更有挑战性的工作，那就是从文件中读取两个音频，将它们混合之后播放出来。本篇文章分为以下2个部分：使用ExtAudioFile读取文件。AudioMixerUnit的具体使用。使用ExtAudioFile读取文件ExtAudioFile可以按照我们设置的数据格式读取文件，很方便，具体参照这篇文章。ExtAud
  • Audio Unit播放aac/m4a/mp3等文件 辉辉岁月
    前言相关文章：AudioUnit播放PCM文件AudioUnit录音（播放伴奏+耳返）前面两篇介绍了AudioUnit播放PCM文件和边录边播，这次引入AudioConvert实现aac/m4a/mp3格式的播放。正文1、格式转换音频数据的格式转换包括采样率改变，单声道到多声道的转变、音调的升高降低等，audiounit有一个专门格式转换unit（kAudioUnitType_FormatConv
  • 1、ffmpeg+QT开发环境搭建 想文艺一点的程序员 ##环境搭建ffmpeg
    开发环境搭建1、开发库的选择（1）音视频开发库每个主流平台基本都有自己的音视频开发库（API），用以处理音视频数据，比如：iOS：AVFoundation、AudioUnit等Android：MediaPlayer、MediaCodec等Windows：DirectShow等但是有一个跨平台的库：FFmpeg库。其实只要你掌握了FFmpeg，也可以很快上手其他音视频开发库，因为底层原理都是一样的，
  • Audio Unit详解 流星泪x
    一、什么是AudioUnitiOS提供了音频处理插件，支持混合、均衡、格式转换和实时输入/输出用于录制、播放、离线渲染和实时对话如VoIP（互联网协议语音）。你可以从iOS应用动态加载和使用它，这些强大和灵活的插件叫做AudioUnit。Audiounits通常工作在一个封闭对象的上下文中，该对象为audioprocessinggraph，如下图。在此例中，你的app通过一个或多个callback
  • ffmpeg(一) ffmpeg+QT开发环境搭建 小道士写程序 ffmpegQt5ffmpegqt音视频
    1、开发库的选择（1）音视频开发库每个主流平台基本都有自己的音视频开发库（API），用以处理音视频数据，比如：iOS：AVFoundation、AudioUnit等Android：MediaPlayer、MediaCodec等Windows：DirectShow等但是有一个跨平台的库：FFmpeg库。其实只要你掌握了FFmpeg，也可以很快上手其他音视频开发库，因为底层原理都是一样的，你最终操作的
  • [Ray's音视频01]Audio Units录制音频 xlw92
    iOS录音根据开发文档的图可知，iOS音频相关的用的比较多的自顶向下的又AVFoundation->AudioToolBox->AudioUnit技术选择上如果是录音然后获取内存中音频的数据，然后进行网络传输或者存本地，那么AudioQueue或者AudioUnit都能做到。因为之后可能会用到一些混响之类的，所以以下说明都是根据AudioUnit来讲述的。文章会根据代码来引出每个参数涉及到的知识点
  • AudioUnit采集PCM & PCM转AAC & AAC转PCM & AudioUnit播放PCM 兰州啊兰州
    audioUnitpcmaac学习记录，仅供参考截屏2022-08-17上午11.57.10.png代码地址：https://gitlab.com/Cc-19931/audiounitdemo.git
  • AudioUnit实现简单的录音和耳返 改变自己_now
    最近学习了AudioUnit的官方指南，按照官方文档简单实现录音和耳返的功能。1、首先配置AudioSession，代码如下：self.graphSampleRate=44100.0;self.ioBufferDuration=0.005;NSError*error=nil;AVAudioSession*audioSession=[AVAudioSessionsharedInstance];[au
  • Swift与硬件打交道封装的方法二 T92
    之前写过一篇Swift与硬件打交道封装的方法，现在又开始做硬件开发了，主要方向是音频(AudioUnit)视频的采集、播放、合成、以及蓝牙、socket通讯，这里继续记录下开发中封装的一些方法，以便以后再次使用。获取AudioBuffer中音频数据的平均分贝值这里是AudioBuffer，且采样位数为16bit，如果是Data类型，也可以按照下文的方法将Data转为UInt16数组再计算（如果采样
  • 2. 【音频采集实战】 东也_
    每个端音频采集的底层和应用层的库是不一样的，所以使用ffmpeg中间层能够实现跨平台开发；Android端的底层库是AudioRecorder，应用层是MediaRecorder；iOS端的底层库是AudioUnit，应用层是AVFoundation；Windows端的常用的是DirectshowOpenAL还有Windows7之上的AudioCore；使用ffmpeg有两种采集方式：使用命令方式
  • iOS音频播放(三)AudioUnit介绍与实战 音视频开发老马 音视频开发音视频iosffmpeg
    在iOS平台上，所有的音频框架底层都是基于AudioUnit实现的。较高层次的音频框架包括:MediaPlayer、AVFoundation、OpenAL和AudioToolbox，这些框架都封装了AudioUnit，然后提供了更高层次的API(功能更少，职责更单一的接口)。当开发者在开发音视频相关产品的时候，如果对音视频需要更高程度的控制、性能以及灵活性，或者想要使用一些特殊功能(回声消除)的时
  • Audio Unit: iOS中最底层最强大音频控制API 小东邪啊
    阅读前提:AudioSession基础-AudioSessionCoreAudio基本数据结构-CoreAudio音视频基础知识C/C++简单数据结构,函数使用以下概念是文中常用的词语,因为其含义一般直接用英文表达,一般不需中文翻译,可将其理解为固定名词词组.audiounit:主要介绍的技术名称audioprocessinggraph:另一种处理audiounit的技术node:承载audiou
  • AudioToolbox音频入门（一） flyWhite
    AudioToolbox,记录或播放音频，转换格式，解析音频流以及配置音频会话。音频工具箱框架提供了用于记录，回放和流解析的接口。在iOS中，该框架提供了用于管理音频会话的其他接口。整合音效和乐器(IncorporatingAudioEffectsandInstruments)通过托管音频单元（AU）插件，将自定义音频处理和MIDI乐器添加到您的应用程序。注释:AU（AudioUnit）MIDI(
  • webrtc发送端-音频采集编码发送 bigonelby
    github：https://github.com/bigonelby/webrtcUml/tree/master/latestwebrtc-new-发送端-audio采集编码发送.drawio.png这张图介绍了音频发送端采集，编码，发送的流程。整个内容分为8部分，分别为：核心Core；音频采集；AudioUnit；AudioSession；Resample&&Process；SendStrea
  • 如何使用Audio Unit 播放音频 zhonglaoban
    AudioUnit实现音频播放功能播放音频流程图使用AudioUnit播放音频的时候，我们使用一个I/OUnit就可以完成了，整体步骤和录制时差不多，具体如下：设置好AudioComponentDescription，确定我们使用的AudioUnit类型获取AudioUnit实例，我们有两种获取方式，通过AUGraph获取，通过AudioComponent获取。设置AudioUnit的属性，告诉系
  • C/C++Win32编程基础详解视频下载 择善Zach 编程C++Win32
    课题视频：C/C++Win32编程基础详解 视频知识：win32窗口的创建                   windows事件机制 主讲：择善Uncle老师 学习交流群：386620625 验证码：625 --
  • Guava Cache使用笔记 bylijinnan javaguavacache
    1.Guava Cache的get/getIfPresent方法当参数为null时会抛空指针异常 我刚开始使用时还以为Guava Cache跟HashMap一样，get(null)返回null。 实际上Guava整体设计思想就是拒绝null的，很多地方都会执行com.google.common.base.Preconditions.checkNotNull的检查。 2.Guava
  • 解决ora-01652无法通过128（在temp表空间中） 0624chenhong oracle
    解决ora-01652无法通过128（在temp表空间中）扩展temp段的过程 一个sql语句后，大约花了10分钟，好不容易有一个结果，但是报了一个ora-01652错误，查阅了oracle的错误代码说明：意思是指temp表空间无法自动扩展temp段。这种问题一般有两种原因：一是临时表空间空间太小，二是不能自动扩展。 分析过程：    既然是temp表空间有问题，那当
  • Struct在jsp标签 不懂事的小屁孩 struct
    非UI标签介绍： 控制类标签： 1：程序流程控制标签   if   elseif    else <s:if test="isUsed"> <span class="label label-success">True</span> </
  • 按对象属性排序 换个号韩国红果果 JavaScript对象排序
    利用JavaScript进行对象排序，根据用户的年龄排序展示 <script> var bob={ name;bob, age:30 } var peter={ name;peter, age:30 } var amy={ name;amy, age:24 } var mike={ name;mike, age:29 } var john={
  • 大数据分析让个性化的客户体验不再遥远 蓝儿唯美 数据分析
    顾客通过多种渠道制造大量数据，企业则热衷于利用这些信息来实现更为个性化的体验。 分析公司Gartner表示，高级分析会成为客户服务的关键，但是大数据分析的采用目前仅局限于不到一成的企业。 挑战在于企业还在努力适应结构化数据，疲于根据自身的客户关系管理（CRM）系统部署有效的分析框架，以及集成不同的内外部信息源。 然而，面对顾客通过数字技术参与而产生的快速变化的信息，企业需要及时作出反应。要想实
  • java笔记4 a-john java
    操作符 1，使用java操作符       操作符接受一个或多个参数，并生成一个新值。参数的形式与普通的方法调用不用，但是效果是相同的。加号和一元的正号（+）、减号和一元的负号（-）、乘号（*）、除号（/）以及赋值号（=）的用法与其他编程语言类似。       操作符作用于操作数，生成一个新值。另外，有些操作符可能会改变操作数自身的
  • 从裸机编程到嵌入式Linux编程思想的转变------分而治之：驱动和应用程序 aijuans 嵌入式学习
        笔者学习嵌入式Linux也有一段时间了，很奇怪的是很多书讲驱动编程方面的知识，也有很多书将ARM9方面的知识，但是从以前51形式的（对寄存器直接操作，初始化芯片的功能模块）编程方法，和思维模式，变换为基于Linux操作系统编程，讲这个思想转变的书几乎没有，让初学者走了很多弯路，撞了很多难墙。     笔者因此写上自己的学习心得，希望能给和我一样转变
  • 在springmvc中解决FastJson循环引用的问题 asialee 循环引用fastjson
              我们先来看一个例子：           package com.elong.bms; import java.io.OutputStream; import java.util.HashMap; import java.util.Map; import co
  • ArrayAdapter和SimpleAdapter技术总结 百合不是茶 androidSimpleAdapterArrayAdapter高级组件基础
    ArrayAdapter比较简单，但它只能用于显示文字。而SimpleAdapter则有很强的扩展性，可以自定义出各种效果   ArrayAdapter;的数据可以是数组或者是队列        // 获得下拉框对象 AutoCompleteTextView textview = (AutoCompleteTextView) this
  • 九封信 bijian1013 人生励志
            有时候，莫名的心情不好，不想和任何人说话，只想一个人静静的发呆。有时候，想一个人躲起来脆弱，不愿别人看到自己的伤口。有时候，走过熟悉的街角，看到熟悉的背影，突然想起一个人的脸。有时候，发现自己一夜之间就长大了。         2014，写给人
  • Linux下安装MySQL Web 管理工具phpMyAdmin sunjing PHPInstallphpMyAdmin
    PHP http://php.net/ phpMyAdmin http://www.phpmyadmin.net Error compiling PHP on CentOS x64   一、安装Apache 请参阅http://billben.iteye.com/admin/blogs/1985244   二、安装依赖包 sudo yum install gd
  • 分布式系统理论 bit1129 分布式
    FLP One famous theory in distributed computing, known as FLP after the authors Fischer, Lynch, and Patterson, proved that in a distributed system with asynchronous communication and process crashes,
  • ssh2整合(spring+struts2+hibernate)-附源码 白糖_ eclipsespringHibernatemysql项目管理
    最近抽空又整理了一套ssh2框架，主要使用的技术如下： spring做容器，管理了三层(dao,service,actioin)的对象 struts2实现与页面交互(MVC)，自己做了一个异常拦截器，能拦截Action层抛出的异常 hibernate与数据库交互 BoneCp数据库连接池，据说比其它数据库连接池快20倍，仅仅是据说 MySql数据库   项目用eclipse
  • treetable bug记录 braveCS table
    // 插入子节点删除再插入时不能正常显示。修改： //不知改后有没有错，先做个备忘 Tree.prototype.removeNode = function(node) { // Recursively remove all descendants of +node+ this.unloadBranch(node); // Remove
  • 编程之美-电话号码对应英语单词 bylijinnan java算法编程之美
    import java.util.Arrays; public class NumberToWord { /** * 编程之美 电话号码对应英语单词 * 题目： * 手机上的拨号盘，每个数字都对应一些字母，比如2对应ABC，3对应DEF.........，8对应TUV，9对应WXYZ， * 要求对一段数字，输出其代表的所有可能的字母组合
  • jquery ajax读书笔记 chengxuyuancsdn jQuery ajax
    1、jsp页面 <%@ page language="java" import="java.util.*" pageEncoding="GBK"%> <% String path = request.getContextPath(); String basePath = request.getScheme()
  • JWFD工作流拓扑结构解析伪码描述算法 comsci 数据结构算法工作活动J#
      对工作流拓扑结构解析感兴趣的朋友可以下载附件，或者下载JWFD的全部代码进行分析   /*  流程图拓扑结构解析伪码描述算法         public java.util.ArrayList DFS(String graphid, String stepid, int j)
  • oracle I/O 从属进程 daizj oracle
    I/O 从属进程 　　I/O从属进程用于为不支持异步I/O的系统或设备模拟异步I/O.例如，磁带设备(相当慢)就不支持异步I/O.通过使用I/O 从属进程，可以让磁带机模仿通常只为磁盘驱动器提供的功能。就好像支持真正的异步I/O 一样，写设备的进程(调用者)会收集大量数据，并交由写入器写出。数据成功地写出时，写入器(此时写入器是I/O 从属进程，而不是操作系统)会通知原来的调用者，调用者则会
  • 高级排序:希尔排序 dieslrae 希尔排序
    public void shellSort(int[] array){ int limit = 1; int temp; int index; while(limit <= array.length/3){ limit = limit * 3 + 1;
  • 初二下学期难记忆单词 dcj3sjt126com englishword
    kitchen 厨房 cupboard 厨柜 salt 盐 sugar 糖 oil 油 fork 叉；餐叉 spoon 匙；调羹 chopsticks 筷子 cabbage 卷心菜；洋白菜 soup 汤 Italian 意大利的   Indian 印度的 workplace  工作场所 even 甚至；更 Italy 意大利 laugh 笑 m
  • Go语言使用MySQL数据库进行增删改查 dcj3sjt126com mysql
    目前Internet上流行的网站构架方式是LAMP，其中的M即MySQL, 作为数据库，MySQL以免费、开源、使用方便为优势成为了很多Web开发的后端数据库存储引擎。MySQL驱动Go中支持MySQL的驱动目前比较多，有如下几种，有些是支持database/sql标准，而有些是采用了自己的实现接口,常用的有如下几种: http://code.google.c...o-mysql-dri
  • git命令 shuizhaosi888 git
    ---------------设置全局用户名： git config --global user.name "HanShuliang" //设置用户名 git config --global user.email "[email protected]" //设置邮箱 ---------------查看环境配置 git config --li
  • qemu-kvm 网络 nat模式 (四) haoningabc kvmqemu
    qemu-ifup-NAT #!/bin/bash BRIDGE=virbr0 NETWORK=192.168.122.0 GATEWAY=192.168.122.1 NETMASK=255.255.255.0 DHCPRANGE=192.168.122.2,192.168.122.254 TFTPROOT= BOOTP= function check_bridge()
  • 不要让未来的你，讨厌现在的自己 jingjing0907 生活 奋斗 工作 梦想
     故事one 　23岁，他大学毕业，放弃了父母安排的稳定工作，独闯京城，在家小公司混个小职位，工作还算顺手，月薪三千，混了混，混走了一年的光阴。　　　　24岁，有了女朋友，从二环12人的集体宿舍搬到香山民居，一间平房，二人世界，爱爱爱。偶然约三朋四友，打扑克搓麻将，日子快乐似神仙；　　　　25岁，出了几次差，调了两次岗，薪水涨了不过百，生猛狂飙的物价让现实血淋淋，无力为心爱银儿购件大牌
  • 枚举类型详解 一路欢笑一路走 enum枚举详解enumsetenumMap
    枚举类型详解 一.Enum详解      1.1枚举类型的介绍   JDK1.5加入了一个全新的类型的”类”—枚举类型，为此JDK1.5引入了一个新的关键字enum,我们可以这样定义一个枚举类型。      Demo:一个最简单的枚举类   public enum ColorType { RED
  • 第11章 动画效果（上） onestopweb 动画
    index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
  • Eclipse中jsp、js文件编辑时，卡死现象解决汇总 ljf_home eclipsejsp卡死js卡死
    使用Eclipse编辑jsp、js文件时，经常出现卡死现象，在网上百度了N次，经过N次优化调整后，卡死现象逐步好转，具体那个方法起到作用，不太好讲。将所有用过的方法罗列如下：   1、取消验证 windows–>perferences–>validation 把 除了manual 下面的全部点掉，build下只留 classpath dependency Valida
  • MySQL编程中的6个重要的实用技巧 tomcat_oracle mysql
    每一行命令都是用分号(;)作为结束 对于MySQL，第一件你必须牢记的是它的每一行命令都是用分号(;)作为结束的，但当一行MySQL被插入在PHP代码中时，最好把后面的分号省略掉，例如： mysql_query("INSERT INTO tablename(first_name,last_name)VALUES('$first_name',$last_name')");
  • zoj 3820 Building Fire Stations(二分+bfs) 阿尔萨斯 Build
    题目链接：zoj 3820 Building Fire Stations 题目大意：给定一棵树，选取两个建立加油站，问说所有点距离加油站距离的最大值的最小值是多少，并且任意输出一种建立加油站的方式。 解题思路：二分距离判断，判断函数的复杂度是o(n)，这样的复杂度应该是o(nlogn)，即使常数系数偏大，但是居然跑了4.5s，也是醉了。 判断函数里面做了3次bfs，但是每次bfs节点最多
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他