پشت صحنه سیستم‌های تشخیص گفتار

سیستم‌های تشخیص خودکار گفتار (ASR) چگونه کار می‌کنند و چطور صوت را به متن دقیق تبدیل می‌کنند؟ در این جلسه به بررسی عمیق و گام‌به‌گام فرآیند تبدیل صدا به متن در یکی از قدرتمندترین مدل‌های متن‌باز یعنی Whisper (توسعه‌داده‌شده توسط OpenAI) می‌پردازیم.

از لحظه دریافت موج فیزیکی صدا و نمونه‌برداری دیجیتال تا تبدیل آن به طیف‌نگاشت لوگ-مل (Log-Mel Spectrogram) و پردازش در بلوک‌های کدگذار (Encoder) و کدگشا (Decoder) مبتنی بر ترنسفورمر، تمام مراحل را به‌صورت فنی و دقیق کالبدشکافی می‌کنیم.

📌 آنچه در این ارائه بررسی می‌شود:

مبانی فیزیکی صوت و تبدیل آن به سیگنال دیجیتال (Sampling & Quantization در نرخ 16kHz)

تبدیل فوریه زمان‌کوتاه (STFT)، فیلتر پنچره‌بندی هان (Hann Window) و طیف‌نگاشت لوگ-مل (Log-Mel Spectrogram)

معماری کدگذار صوت (Audio Encoder) با لایه‌های کانوولوشن و خودتوجهی (Self-Attention)

کاهش ابعاد محاسباتی و افزودن کدگذاری موضعی سینوسی (Positional Encoding)

سازوکار کدگشای متنی (Text Decoder) و تولید خودبازگشتی توکن‌ها (Autoregressive Generation)

مقایسه الگوریتم‌های رمزگشایی و جستجو: حریصانه (Greedy Search) در برابر جستجوی پرتو (Beam Search)

نقش دما (Temperature) در کنترل تصادفی بودن و خروج از حلقه‌های تکرار

نحوه ارزیابی و سنجش دقت مدل با معیار نرخ خطای کلمه (WER - Word Error Rate)