Domas' Blog

Odliczając dni do premiery pełnej wersji pakietu Visual Studio 2010, mamy okazję  zapoznać się z wersją beta tego oprogramowania oraz poznać nowe możliwości technologii Silverlight. Jej czwarta odsłona przynosi długo oczekiwaną funkcjonalność: obsługę mikrofonów oraz kamerek internetowych. Tradycyjnie dołożono starań, by interfejs był jak najbardziej przystępny dla programisty.

Pokażę tutaj typowy sposób na przechwytywanie dźwięku za pomocą mikrofonu. Korzystać będziemy z przestrzeni nazw System.Windows.Media, która udostępnia zestaw potrzebnych klas:

• CaptureDeviceConfiguration - pozwala uzyskać listę dostępnych  urządzeń przechwytujących dźwięk (GetAvailableAudioCaptureDevices), poznać urządzenie domyślne (GetDefaultAudioCaptureDevice) oraz zażądać do nich dostępu  (RequestDeviceAccess),
• CaptureSource - reprezentuje źródło dźwięku/obrazu,
• AudioSink - klasa abstrakcyjna posiadająca metody związane z przepływem danych audio.

Nasze zadanie składa się z następujących kroków:

1. Uzyskanie urządzenia przechwytującego dźwięk,
2. Utworzenie źródła przechwytywania i powiązanie go z urządzeniem,
3. Utworzenie własnego obiektu dziedziczącego po AudioSink i określenie jego źródła przechwytywania,
4. Uzyskanie zgody na dostęp do mikrofonu i rozpoczęcie przechwytywania dźwięku,
5. Przechwytywanie dźwięku,
6. Zakończenie przechwytywania dźwięku.

Załóżmy że będziemy przechwytywać z domyślnego urządzenia – wtedy 3 pierwsze kroki można załatwić w kilku linijkach kodu:

AudioCaptureDevice audioCapDev = CaptureDeviceConfiguration.GetDefaultAudioCaptureDevice();
CaptureSource capSrc = new CaptureSource();
capSrc.AudioCaptureDevice = audioCapDev;
MyAudioSink myAudioSink = new MyAudioSink();
myAudioSink.CaptureSource = capSrc;

MyAudioSink jest przykładową klasą pochodną AudioSink:

class MyAudioSink : AudioSink
{
    private MemoryStream m_stream; // strumień pamięciowy do przechowywania danych
    private AudioFormat m_format; // bieżący format audio
    public Stream DataStream
    {
        get { return m_stream; }
    }

    public AudioFormat CurrentAudioFormat
    {
        get { return m_format; }
    }

    protected override void OnCaptureStarted()
    {
        m_stream = new MemoryStream();
    }

   protected override void OnCaptureStopped()
    {
        // manipulacje na zarejestrowanych danych
    }

    protected override void OnFormatChange(AudioFormat audioFormat)
    {
        m_format = audioFormat;
    }

    protected override void OnSamples(long sampleTime, long sampleDuration, byte[] sampleData)
    {
        m_stream.Write(sampleData, 0, sampleData.Length);
    }
}

Prywatne pole m_stream jest strumieniem znajdującym się w pamięci do którego zapisujemy przechwycone próbki; m_format jest strukturą zawierającą informację o formacie materiału (częstotoliwość próbkowania, liczba kanałów, liczba bitów na próbkę itp.) – własności DataStream oraz CurrentAudioFormat udostępniają te pola na zewnątrz tylko do odczytu. Najważniejsze są tu jednak przeciążane metody: OnCaptureStarted, OnCaptureStopped, OnFormatChange i OnSamples. OnCaptureStarted jest wywoływana w odpowiedzi na rozpoczęcie przechwytywania – tworzymy tutaj nowy strumień do zapisu. Wywołanie OnCaptureStopped oznacza, że przechwytywanie zostało zakończone i można np. zająć się obróbką pozyskanych danych. OnFormatChange jest wywoływana co najmniej jeden raz w wyniku rozpoczęcia pierwszego przechwytywania i pozwala ostatecznie określić format danych audio, a także reagować na jego zmianę. OnSamples wykonuje się, gdy urządzenie przechwyci ramkę danych o odpowiedniej długości czasowej, określonej przez właściwość AudioFrameSize bieżącego urządzenia przechwytującego (AudioCaptureDevice) – domyślnie jest to 1000 ms. Tutaj można zapisać dane do wcześniej utworzonego strumienia – argumenty funkcji to kolejno czas przechwycenia ramki (w jednostce odpowiadającej 100 ns), jej długość (j/w) oraz tablica bajtów zawierająca dane.

Przejdźmy do kolejnych kroków. Musimy uzyskać zgodę użytkownika na korzystanie z urządzeń przechwytujących – służy do tego funkcja RequestDeviceAccess. Jej wywołanie powoduje wyświetlenie okienka dialogowego z zapytaniem, podobnego do tego na ilustracji – zwracana jest wartość logiczna określająca, czy użytkownik zezwolił na dostęp. Zezwolenie jest ważne na okres trwania sesji, a ponowne wywołanie funkcji w czasie danej sesji nie powoduje ponownego wyświetlenia okna. Zaleca się, by funkcja była wywoływana przez zdarzenie zainicjowane przez użytkownika.

Warto tu wspomnieć jeszcze o właściwości AllowedDeviceAccess (bool) klasy CaptureDeviceConfiguration - określa ona czy użytkownik udzielił wcześniej pozwolenia na wykorzystanie urządzeń.

Po wspomnianej weryfikacji można przejść do przechwytywania dźwięku, wywołując metodę Start obiektu typu CaptureSource – odpowiednie zdarzenia są obsługiwane przez powiązany obiekt dziedziczący po AudioSink. Do zakończenia przechwytywania służy metoda Stop. Stan przechwytywania można sprawdzić za pomocą własności State typu CaptureState, która może przyjmować trzy różne wartości:

• Failed - przechwytywanie nie udało się lub nie zostało jeszcze wykonane,
• Started - przechwytywanie jest w toku,
• Stopped - wywołano metodę Stop, przechwytywanie zakończyło się sukcesem.

To wszystko. Obsługa mikrofonu w Silverlight 4 jest naprawdę prosta i daje dużo możliwości. Informacje które tutaj przedstawiłem stanowią jedynie wierzchołek góry lodowej – więcej można znaleźć oczywiście na MSDN.