ブラウザからNodejsサーバーに送信されたBlobを使用してSpeech-to-TextをGoogleで検索する方法

を使用してクライアントブラウザから音声を受信するようにサーバーを設定し、SocketIOそれをGoogle Speech-to-Textで処理して、最後にテキストでクライアントに返信しようとしています。

もともと理想的には、このページのツールのように機能するように設定したかった：https：//cloud.google.com/speech-to-text/

を使用getUserMediaしてストリーミングしてみましたがSocketIO-Stream、「パイプ」する方法がわかりませんでしたMediaStream。

代わりMediaRecorderに、クライアント側で使用し、データ全体をblobとして送信することにしました（この例を参照）。

次にtoString('base64')、blobに適用し、blobでgoogle-cloud / speech'sを呼び出しますclient.recognize()。

クライアント側（私はVueJSを使用しています）：

        new Vue({
            el: '#app',
            data: function () {
                return ({
                    msgs: [],
                    socket: null,
                    recorder: null,
                    : []
                })
            },
            mounted: function () {
                this.socket = io.connect('localhost:3000/user');
                console.log('Connected!')
                this.socket.on('text', function (text) {
                    this.msgs.push(text)
                })
            },
            methods: {
                startRecording: function () {
                    if (this.recorder && this.recorder.state == 'recording') {
                        console.log("Stopping!")
                        this.recorder.stop()
                    } else {
                        console.log("Starting!")
                        navigator.mediaDevices.getUserMedia({ audio: true, video: false })
                            .then(this.handleSuccess);
                    }
                },
                handleSuccess: function (stream) {
                    this.recorder = new MediaRecorder(stream)
                    this.recorder.start(10000)
                    this.recorder.ondataavailable = (e) => {
                        this.chunks.push(e.data)
                        console.log(e.data)
                    }
                    this.recorder.onstop = (e) => {
                        const blob = new Blob(this.chunks, { 'type': 'audio/webm; codecs=opus' })
                        this.socket.emit('audio', blob)
                    }
                }
            }
        })

サーバ側：

const speech = require('@google-cloud/speech');
const client = new speech.SpeechClient();

const io = require('socket.io').listen(3000)
const ss = require('socket.io-stream')

const encoding = 'LINEAR16';
const sampleRateHertz = 16000;
const languageCode = 'en-US';

const audio = {
    content: null
}

const config = {
    encoding: encoding,
    sampleRateHertz: sampleRateHertz,
    languageCode: languageCode,
}

async function main() {
    const [response] = await client.recognize({
        audio: audio,
        config: config
    })
    const transcription = response.results
        .map(result => result.alternatives[0].transcript)
        .join('\n');
    console.log(`Transcription: ${transcription}`);
}

io.of('/user').on('connection', function (socket) {
    console.log('Connection made!')
    socket.on('audio', function (data) {
        audio.content = data.toString('base64')
        main().catch(console.error)
    });
});

main()サーバー側の関数からのログは常に次のとおりです。

「文字起こし：」

-これは空です！

送信された音声からのテキストが含まれている必要があります。前もって感謝します！