DeepSpeechを使用してアプリ内で音声をテキストに変換する

アプリでの音声認識は単なる楽しい機能ではなく、重要なアクセシビリティ機能です。

コンピュータの主な機能の 1 つは、データを解釈することです。一部のデータは他のデータよりも解析が容易であり、音声入力はまだ開発中です。しかし、近年この分野では多くの改善が行われており、その 1 つが、Firefox ブラウザを保守する財団である Mozilla のプロジェクトである DeepSpeech です。 DeepSpeech は音声をテキストに変換するコマンドとライブラリであり、音声入力をテキストに変換する必要のあるユーザーと、アプリケーションに音声入力を提供したい開発者の両方に役立ちます。

DeepSpeechをインストールする

DeepSpeech はオープンソースであり、Mozilla Public License (MPL) に基づいてリリースされています。ソースコードは GitHub ページからダウンロードできます。

インストールするには、まず Python の仮想環境を作成します。

 $ python3 -m pip インストール deepspeech --user

DeepSpeech は機械学習に依存しています。自分でトレーニングすることもできますが、最初に開始するときに事前トレーニング済みのモデル ファイルをダウンロードするのが最も簡単です。

 $ mkdir ディープスピーチ
$ cd ディープスピーチ
$ カール -LO \
 https://github.com/mozilla/DeepSpeech/releases/download/vX.YZ/deepspeech-XYZ-models.pbmm
 $ カール -LO \
 https://github.com/mozilla/DeepSpeech/releases/download/vX.YZ/deepspeech-XYZ-models.scorer

ユーザーアプリケーション

DeepSpeech を使用すると、音声録音をテキストに書き起こすことができます。最適な条件下できれいに録音された音声から、最良の結果が得られます。ただし、いざというときには、どんな録音でも試すことができ、最終的には手動で書き起こす必要があるものになる可能性があります。

これをテストするには、「これはテストです。Hello world、これはテストです」という簡単なフレーズを含むオーディオ ファイルを録音します。オーディオを​hello-test.wav​という名前の​.wav​ファイルとして保存します。

DeepSpeech フォルダーで、モデル ファイル、スコアラー ファイル、オーディオを指定して文字起こしを開始します。

 $ deepspeech --model deepspeech*pbmm \
 --スコアラー deepspeech*スコアラー \
 --audio hello-test.wav

標準出力（端末）に出力します。

これはテストです こんにちは世界 これはテストです

​--json​オプションを使用すると、JSON 形式の出力を取得できます。

 $ deepspeech --model deepspeech*pbmm \
 --json
 --スコアラー deepspeech*スコアラー \
 --audio hello-test.wav

これは各単語をタイムスタンプとともにレンダリングします。

 {
 「トランスクリプト」: [
 {
 「信頼度」: -42.7990608215332,
 「単語」: [
 {
 "単語": "これ",
 「開始時間」: 2.54,
 「持続時間」: 0.12
 },
 {
 "単語": "は",
 「開始時間」: 2.74,
 「期間」: 0.1
 },
 {
 "単語": "a",
 「開始時間」: 2.94,
 「持続時間」: 0.04
 },
 {
 "単語": "テスト",
 「開始時間」: 3.06,
 「持続時間」: 0.74
 },
 [...]

開発者

DeepSpeech は、録音済みの音声を書き起こすだけのコマンドではありません。また、これを使用してオーディオ ストリームをリアルタイムで処理することもできます。 GitHubリポジトリDeepSpeech-examplesには、Android向けのJavaScript、Python、C#、Javaなどのさまざまなコードが含まれています。

大変な作業のほとんどはすでに行われているため、DeepSpeech の統合は通常、DeepSpeech ライブラリを参照して、ホスト デバイスからオーディオを取得する方法を知るだけで済みます (これは通常、Linux の​/dev​​​ ファイルシステムまたは Android やその他のプラットフォームの SDK を通じて行います)。

音声認識

開発者にとって、アプリで音声認識を有効にすることは単なる楽しいトリックではなく、運動障害のある人、視覚障害のある人、慢性的にマルチタスクを行う人にとってアプリをより使いやすくする重要なアクセシビリティ機能です。ユーザーにとって、DeepSpeech は音声ファイルをテキストに変換できる便利な文字起こしツールです。どのようなユースケースでも、DeepSpeech を試してみて、それが何をもたらすかを確認してください。