宝塔服务器面板,一键全能部署及管理,送你10850元礼包,点我领取

【写在前面】

因为最近需要写 FFmpeg 播放音频的文章,所以就先写了这篇文章。

并且,FFmpeg 解码出来的音频是 PCM 原始音频数据。

然后,我使用 Qt 的 QAudioOutput 作为底层音频输出(输出设备)。

本篇主要内容:

1、音频基础概念

2、PCM数据格式

3、QAudioOutput 的使用方法( 两种 )

【正文开始】 在介绍 PCM 之前,必须先了解一些音频基础概念:

采样率( Sample Rate ):每秒采样的频率,即每秒样本数,单位 HZ ,常见的频率有 22050HZ、44100HZ( CD级 )。并且人耳的听力范围是 20HZ ~ 20000HZ,因此超过 48000HZ 就没有意义了( 根据采样定理 )。

采样定理:采样在进行模拟/数字信号的转换过程中,当采样频率fs.max大于信号中最高频率fmax的2倍时(fs.max>2fmax),采样之后的数字信号完整地保留了原始信号中的信息,一般实际应用中保证采样频率为信号最高频率的2.56~4倍,采样定理又称奈奎斯特定理。

样本大小( Sample Size ):每个样本的大小,也就是振幅,假如样本大小为16 Bit = 2 ^ 16 = 65536,即能够记录 65535 个数,常见的有 8Bit、16Bit( CD级 ),而到了 32Bit 意义就不大了。

声道( Sound Channel ):指声音在录制或播放时,在不同空间位置采集或回放的相互独立的音频信号,常见的有单声道,双声道,四声道,这个倒是声道越多效果越好。

比特率( Bit Rate ):单位( bps 比特每秒 ),可以使用 比特率 = 采样率 x 样本大小 x 声音通道数 来计算。

字节序( Byte Ordering ):字节序,这个大家应该都知道,分大端和小端,一般都是小端字节序(低位低地址,高位高地址)。

好了,现在开始介绍 PCM 格式:

PCM 全名脉冲编码调制( Pulse Code Modulation ),它是原始的音频脉冲数据,在一般情况下,一帧PCM数据包含2048个样本( 数据帧,注意是一帧而不是一秒 )。

因此,对于一帧PCM数据,使用小端字节序存储为(每个 [ ] 为一个样本):

内存地址:    |  低地址  |  >>>>>>>  |  高地址  |

8Bit 单声道:[ 8 bit ] – [ 8 bit ] – [ 8 bit ] – [ 8 bit ]   } 总 2048个。

8Bit 双声道:[ 8 bit 声道1 ] – [ 8 bit 声道2 ] – [ 8 bit 声道1 ] – [ 8 bit 声道2 ]  } 总 2048个。

16Bit 单声道:[ 8 bit 低位 + 8 bit 高位 ] – [ 8 bit 低位 + 8 bit 高位 ] – [ 8 bit 低位 + 8 bit 高位 ] – [ 8 bit 低位 + 8 bit 高位 ]   } 总 2048个。

16Bit 双声道:[ 8 bit 低位 + 8 bit 高位 声道1 ] – [ 8 bit 低位 + 8 bit 高位 声道2 ] – [ 8 bit 低位 + 8 bit 高位 声道1 ] – [ 8 bit 低位 + 8 bit 高位 声道2 ]  } 总 2048个。

到这里,我们已经大概了解了 PCM 数据格式,现在可以尝试手动生成一份 PCM 数据:

QByteArray generateRandomPCM(){ qsrand(uint(time(nullptr))); //幅度,因为sampleSize = 16bit qint16 amplitude = INT16_MAX; //单声道 int channels = 1; //采样率 int samplerate = 8000; //持续时间ms int duration = 20000; //总样本数 int n_samples = int(channels * samplerate * (duration / 1000.0)); QByteArray data; QDataStream out(&data, QIODevice::WriteOnly); out.setByteOrder(QDataStream::LittleEndian); for (int i = 0; i < n_samples; i++) { qint16 sample = qrand() % amplitude; out << sample; } QFile file(“raw”); file.open(QIODevice::WriteOnly); file.write(data); file.close(); return data;}

利用这个函数,可以生成一份 8000HZ,16Bit,单声道,持续 20s 的随机 PCM 数据,部分波形如下:

呃。。这种都是噪音,听不出什么来,于是我尝试生成一些有规律的: 

QByteArray generatePCM(){ //幅度,因为sampleSize = 16bit qint16 amplitude = INT16_MAX; //单声道 int channels = 1; //采样率 int samplerate = 8000; //持续时间ms int duration = 20; //总样本数 int n_samples = int(channels * samplerate * (duration / 1000.0)); //声音频率 int frequency = 100; bool reverse = false; QByteArray data; QDataStream out(&data, QIODevice::WriteOnly); out.setByteOrder(QDataStream::LittleEndian); for (int i = 0; i < 1000; i++) { for (int j = 0; j < n_samples; j++) { qreal radians = qreal(2.0 * M_PI * j * frequency / qreal(samplerate)); qint16 sample = qint16(qSin(radians) * amplitude); out << sample; } if (!reverse) { if (frequency < 2000) { frequency += 100; } else reverse = true; } else { if (frequency > 100) { frequency -= 100; } else reverse = false; } } QFile file(“raw”); file.open(QIODevice::WriteOnly); file.write(data); file.close(); return data;}

这种生成的音频就是,频率(声调)由低到高再到低,部分波形如下:

到这里,PCM 相关的就讲解完了。

现在 PCM 数据有了,那么如何在Qt中播放它呢?答案是 QAudioOutput。

QAudioOutput是Qt中播放音频的类( 另一个是QSound,但只支持WAV ),要使用它,需要在pro中加入  QT += multimedia

我们先来看看代码:

int main(int argc, char *argv[]){ QCoreApplication a(argc, argv); QByteArray pcm1 = generatePCM(); QAudioFormat format; format.setCodec(“audio/pcm”); format.setSampleRate(8000); format.setSampleSize(16); format.setSampleType(QAudioFormat::SignedInt); format.setChannelCount(1); format.setByteOrder(QAudioFormat::LittleEndian); QAudioOutput output(format, qApp); QIODevice *device = output.start(); QTimer *timer_play = new QTimer(qApp); timer_play->setTimerType(Qt::PreciseTimer); QObject::connect(timer_play, &QTimer::timeout, [&]{ if (pcm1.size() > 0) { int readSize = output.periodSize(); int chunks = output.bytesFree() / readSize; while (chunks) { QByteArray samples = pcm1.mid(0, readSize); int len = samples.size(); pcm1.remove(0, len); if (len) device->write(samples); if (len != readSize) break; chunks–; } } }); timer_play->start(100); return a.exec();}

1、创建一个 QAudioFormat ,它描述了音频的格式,setCodec() 只支持 PCM,而其他的参数根据前面所讲,你应该知道是什么了吧。

2、根据 QAudioFormat 创建一个 QAudioOutput,它是用来管理音频设备( 即声卡 )的。

3、使用 start() 返回一个指向实际音频设备的指针,往这个里面写入数据就能够播放出声音了。

4、我使用定时器来定时写入数据,这样可以保证声音是连续的。

5、periodSize() 返回一个周期所必需要的数据量,而 bytesFree() 返回内部缓冲区的空闲空间的字节数,也就是说,我们只需要每次写入所需的数据量 periodSize(),然后直到填充满内部缓沖 bytesFree() 即可实现连续播放。

至此,第一种 QAudioOutput 的使用方法讲解完毕。

第二种 QAudioOutput 的使用方法:

QAudioOutput 的 start() 函数的重载版本 start(QIODevice *),它需要传入一个 QIODevice 指针,然后由 QAudioOutput 进行读取。

因此,我们需要实现一个自己的IODevice,并实现 readData() 和 writeData() (纯虚函数,必须实现):

class AudioDevice : public QIODevice{public: AudioDevice(const QByteArray &data, QObject *parent = nullptr) : QIODevice(parent), m_data(data) { } ~AudioDevice() { } virtual qint64 readData(char *data, qint64 maxlen); virtual qint64 writeData(const char *data, qint64 len){ Q_UNUSED(data); Q_UNUSED(len); return 0; }private: QByteArray m_data;};qint64 AudioDevice::readData(char *data, qint64 maxlen){ if (m_data.size() >= maxlen) { QByteArray d = m_data.mid(0, int(maxlen)); memcpy(data, d.data(), size_t(d.size())); m_data.remove(0, int(maxlen)); return d.size(); } else { QByteArray d = m_data; memcpy(data, d.data(), size_t(d.size())); m_data.clear(); return d.size(); }}

因为 QAudioOutput 需要数据时在提供的 QIODdevice 中读取,所以实现 readData() 即可。

然后我们就可以使用它了:

int main(int argc, char *argv[]){ QCoreApplication a(argc, argv); QAudioFormat format; format.setCodec(“audio/pcm”); format.setSampleRate(8000); format.setSampleSize(16); format.setSampleType(QAudioFormat::SignedInt); format.setChannelCount(1); format.setByteOrder(QAudioFormat::LittleEndian); QAudioOutput output(format, qApp); QByteArray pcm1 = generatePCM(); AudioDevice *device = new AudioDevice(pcm1, qApp); device->open(QIODevice::ReadOnly); output.start(device); return a.exec();} 【结语】

其实说起来,QAudioOutput 的两种方并没有太大的区别,所以使用哪种就看个人喜好了。

[2021-12-19]  注意:第一种方法在 Android 无法正确写入,原因不明,请使用第二种。

然后本篇已经很详细的讲了音频基础,PCM 的格式以及如何简单的生成它。(啊。写了一天,累死我了。。)

最后,所有的代码在:理解PCM音频数据,使用QAudioOutput播放音频的两种方法_qaudiooutput-C++文档类资源-CSDN下载 (可能需要点积分,但我不想放在Github上Ծ‸ Ծ )。