私は、独自のC ++ APIを使用して、マイクアレイシステムから生のオーディオを読み取り/処理/再生するC ++プロジェクトに取り組んでいます。Qtを使用してソフトウェアをプログラムしています。
QAudioOutput(Qt)を使用したリアルタイムストリーミングに関するこの投稿から、生のオーディオデータが処理に約1000ミリ秒(1秒)かかる関数呼び出しからのものである場合の対処方法についてフォローアップしてアドバイスを求めたいと思いました。どうすればリアルタイムのオーディオ再生を実現できますか。
QIODevice :: QAudioFormat-> start();に書き込むときに読んだので、処理には約1秒かかります。バッファのアンダーラン/オーバーランを防ぐために、ピリオドに相当するバイトを使用することをお勧めします。http://cell0907.blogspot.sg/2012/10/qt-audio-output.html
関数呼び出しから受信したデータをストリーミングするようにQByteArrayとQDataStreamを設定しました。
テスト済み:スロットを約50ミリ秒の通知に接続して、1期間分のバイトを書き込みました。循環バッファスタイルのQByteArray。読み取り/書き込み部分にミューテックスロック/ロック解除を追加しました。
結果:実際に再生されたオーディオの非常に短いスプリットミリ秒、多くのジッターおよび録音されていないサウンド。
コードを改善する方法についてフィードバックを提供してください。
QAudioFormatの設定
void MainWindow::init_audio_format(){
m_format.setSampleRate(48000); //(8000, 11025, 16000, 22050, 32000, 44100, 48000, 88200, 96000, 192000
m_format.setByteOrder(QAudioFormat::LittleEndian);
m_format.setChannelCount(1);
m_format.setCodec("audio/pcm");
m_format.setSampleSize(32); //(8, 16, 24, 32, 48, 64)
m_format.setSampleType(QAudioFormat::SignedInt); //(SignedInt, UnSignedInt, Float)
m_device = QAudioDeviceInfo::defaultOutputDevice();
QAudioDeviceInfo info(m_device);
if (!info.isFormatSupported(m_format)) {
qWarning() << "Raw audio format not supported by backend, cannot play audio.";
return;
}
}
オーディオとQByteArray / Datastreamの初期化
void MainWindow::init_audio_output(){
m_bytearray.resize(65536);
mstream = new QDataStream(&m_bytearray,QIODevice::ReadWrite);
mstream->setByteOrder(QDataStream::LittleEndian);
audio = new QAudioOutput(m_device,m_format,this);
audio->setBufferSize(131072);
audio->setNotifyInterval(50);
m_audiodevice = audio->start();
connect(audio,SIGNAL(notify()),this,SLOT(slot_writedata()));
read_frames();
}
スロット:
void MainWindow::slot_writedata(){
QMutex mutex;
mutex.lock();
read_frames();
mutex.unlock();
}
フレームを読み取るには:
void MainWindow::read_frames(){
qint32* buffer;
int frameSize, byteCount=0;
DWORD tdFrames, fdFrames;
float fvalue = 0;
qint32 q32value;
frameSize = 40 * mBlockSize; //40 mics
buffer = new int[frameSize];
int periodBytes = audio->periodSize();
int freeBytes = audio->bytesFree();
int chunks = qMin(periodBytes/mBlockSize,freeBytes/mBlockSize);
CcmStartInput();
while(chunks){
CcmReadFrames(buffer,NULL,frameSize,0,&tdFrames,&fdFrames,NULL,CCM_WAIT);
if(tdFrames==0){
break;
}
int diffBytes = periodBytes - byteCount;
if(diffBytes>=(int)sizeof(q32value)*mBlockSize){
for(int x=0;x<mBlockSize;x++){
q32value = (quint32)buffer[x]/256;
*mstream << (qint32)fvalue;
byteCount+=sizeof(q32value);
}
}
else{
for(int x=0;x<(diffBytes/(int)sizeof(q32value));x++){
q32value = (quint32)buffer[x]/256;
*mstream << (qint32) fvalue;
byteCount+=sizeof(q32value);
}
}
--chunks;
}
CcmStopInput();
mPosEnd = mPos + byteCount;
write_frames();
mPos += byteCount;
if(mPos >= m_bytearray.length()){
mPos = 0;
mstream->device()->seek(0); //change mstream pointer back to bytearray start
}
}
フレームを書き込むには:
void MainWindow::write_frames()
{
int len = m_bytearray.length() - mPos;
int bytesWritten = mPosEnd - mPos;
if(len>=audio->periodSize()){
m_audiodevice->write(m_bytearray.data()+mPos, bytesWritten);
}
else{
w_data.replace(0,qAbs(len),m_bytearray.data()+mPos);
w_data.replace(qAbs(len),audio->periodSize()-abs(len),m_bytearray.data());
m_audiodevice->write(w_data.data(),audio->periodSize());
}
}
Qtでのオーディオサポートは実際には非常に初歩的なものです。目標は、可能な限り低い実装および保守コストでメディアを再生することです。状況は特にWindowsで悪く、古代のMMEAPIがまだオーディオ再生に使用されていると思います。
その結果、QtオーディオAPIはリアルタイムとはほど遠いため、このようなアプリケーションには特に適していません。portaudioまたはrtaudioを使用することをお勧めします。これらは、必要に応じてQtスタイルのIOデバイスでラップできます。これにより、パフォーマンスの高いプラットフォームオーディオAPIにアクセスし、非常に低いレイテンシではるかに優れた再生パフォーマンスを実現できます。
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加