Awesome Whisper
Whisperを扱う資料や関連プロジェクトをまとめたAwesomeリストです。
目次
公式
モデルの派生版
- Whisper.cpp - C++ による Whisper の移植版。
- WhisperX - 単語単位のタイムスタンプと話者ダイアライゼーションを備えた高速な自動話者認識を追加する。
- faster-whisper - CTranslate2 を用いる Whisper の高速な再実装。
- Whisper JAX - TPU で最大 70 倍の高速化を実現する Whisper の JAX 実装。
- whisper-timestamped - 単語単位のタイムスタンプと信頼度スコアを追加する。
- whisper-openvino - OpenVINO 上で動作する Whisper。
- whisper.tflite - TensorFlow Lite 上で動作する Whisper。
- Whisper variants - Hugging Face 上のさまざまな Whisper 派生版。
- Whisper-AT - 音声に加え、非音声の音響イベントも認識できる Whisper。
アプリ
- Aiko - 音声文字起こし用 iOS・macOS アプリ。
- MacWhisper - 音声文字起こし用 macOS アプリ。（フリーミアム）
- Whisper Memos - 音声文字起こし用 iOS アプリ。（フリーミアム）
- FourYou - 音声日記用 iOS アプリ。
- Jojo Transcribe - 音声文字起こし用 macOS アプリ。
- Buzz - 音声文字起こし・翻訳用 macOS アプリ。
- WhisperScript - 音声文字起こし用 macOS アプリ。（フリーミアム・Electron）
- Audio Podium - 音声・動画管理用 macOS アプリ。
- superwhisper - グローバル音声文字起こし用 macOS メニューバーアプリ。
- TypeWhisper - システム全体のディクテーションに対応する、macOS・Windows 向けローカル音声テキスト化。
- Speech Note - 音声文字起こし用 Linux アプリ。
- FridayGPT - OpenAI API 搭載のディクテーション用 macOS アプリ。
- EasyWhisper - 音声文字起こし・話者ダイアライゼーション用 Windows・macOS アプリ。（フリーミアム）
- Audio Note - macOS・Windows 用のリアルタイム音声文字起こし。（フリーミアム・Electron）
- Whisper - 文字起こし・翻訳用 Android アプリ。（FOSS）
- VoiceInk - ディクテーション・文字起こし用 macOS アプリ。（FOSS）
- Ito AI - Mac 向け AI 音声ディクテーション。（FOSS）
- OpenSuperWhisper - macOS 向けディクテーションアプリ。（FOSS）
- Screenpipe - AI 検索機能付きの 24 時間ローカル画面・音声録画。（FOSS）
Web アプリ
ホスト型
- bigWav - 音声文字起こし・注釈ツール。
- Free Podcast Transcription - ブラウザー内でローカル実行する。
- Gladia - リアルタイム処理による文字起こし。
- Whisper-Web - 複数言語用に最適化・ファインチューニングしたモデルを用いる WebGPU によるローカル文字起こし。（FOSS）
セルフホスト型
- Subs AI - 字幕生成。
- WaaS - Whisper 用 GUI と API。
- writeout.ai - 音声ファイルを文字起こし・翻訳する Laravel アプリ。
- Meeper - 会議や任意のブラウザータブ向けの文字起こし、要約など。（Chrome アプリ）
CLI ツール
- yt-whisper - YouTube 字幕生成。
- phonix - 動画用キャプションを生成する。
- whisper-standalone-win - Whisper と Faster Whisper 用のスタンドアロン Windows 実行ファイル。
- whisper-ctranslate2 - CTranslate2 に基づきオリジナルと互換性のある Whisper コマンドラインツール。
- insanely-fast-whisper-cli - いくつかの最適化により、実時間の約 30 倍に近い文字起こし速度を達成する。
- whisper-diarization - 話者ダイアライゼーションを備える自動音声認識。
- hns - 自動クリップボードコピー付き faster-whisper を使うオンデバイス音声テキスト化 CLI。
プレイグラウンド
- Hugging Faces - Hugging Face 上で動作する Whisper デモ。(Source)
- Monster API - Monster API 上で動作する Whisper デモ。(Source)
- Web Whisper - Pluja による Whisper デモ。(Source)
- YouTube Video Transcription - Colab 上で動作する。
パッケージ
JavaScript
- use-whisper - React hook。
記事
- Whispers of A.I.’s Modular Future - 機械学習の未来は、適応性とアクセス性を備えたオープンソース音声文字起こしプログラムにある。
- How to Run Whisper Speech Recognition Model - モデルのインストール・実行方法と、Whisper を他モデルと比較する性能分析を解説する。
- Create your own speech to text app using Flask - Whisper の音声テキスト化モデル、Gradient Notebook での実行デモ、Gradient Deployments を使用する Flask アプリの設定ガイドを紹介するチュートリアル。
- Convert Podcasts to Text - Whisper API を Python で音声テキスト化に使うチュートリアル。GPU の高速な文字起こしと高度な技術を紹介する。
動画
- Open AI’s Whisper is Amazing! - Whisper の紹介。
- How to do Free Speech-to-Text Transcription Better Than Google Premium API - チュートリアル。
- Multilingual AI Speech Recognition Live App - チュートリアル。
コミュニティ
サードパーティ API
Whisper を使用する API。
- Whisper+ - 話者識別、カスタム語彙、要約、チャプター生成などの強力な機能を追加する Whisper モデルの拡張。
- Replicate - Replicate 上で動作する Whisper を使用する。
関連リスト
- awesome-chatgpt - ChatGPT リソース。