- Jiménez Fernández, Ángel Francisco
- Ríos Navarro, José Antonio
- Montes-Sánchez, Juan Manuel
- Muñoz González, Tomás
- Barocci, Michelangelo
- Linares Barranco, Alejandro
En el proyecto se USECHIP desarrolla este dataset neuromórfico para estudiar la clasificación de aves mediante sistemas autónomos de bajo consumo y bajo coste. El conjunto incluye vídeos de canario, periquito, cotorra y gorrión, transformados mediante un Neuromorphic Auditory Sensor (NAS) en eventos pulsantes distribuidos en 64 bandas de frecuencia en estéreo. Las señales, registradas en ficheros .AEDAT con direcciones AER y marcas temporales, se procesan en MATLAB para generar muestras destinadas al acelerador de redes neuronales pulsantes y recurrentes ReckOn. El dataset final ofrece ficheros .dat equilibrados, creados con distintos umbrales de agrupación temporal., 1. Objetivo y alcance del dataset
Uno de los objetivos del proyecto USECHIP es estudiar la biodiversidad mediante circuitos y sistemas autónomos, de bajo consumo y bajo coste, contribuyendo al objetivo europeo PERTE-chip. En este trabajo se evalúa la viabilidad de clasificar aves utilizando sistemas neuromórficos para el sensado y la grabación de audio, así como Redes Neuronales Pulsantes y Recurrentes para su clasificación.
2. Archivos mp4 de origen y clases de aves
El dataset contiene vídeos en formato .mp4 (carpeta mp4) correspondientes a cuatro aves: canario, periquito, cotorra y gorrión. Los vídeos se han descargado de YouTube y sus enlaces se encuentran en el archivo links.txt. Los nombres de estos archivos son: 0_Canario_Canary.mp4, 1_Cotorra_Parakeet.mp4, 2_Gorrion_Sparrow.mp4 y 3_Jilguero_Goldfinch.mp4. El número al principio del nombre del archivo corresponde con la clase en numérica en el dataset.
3. Conversión del audio mediante el NAS a ficheros .aedat
El Neuromorphic Auditory Sensor (NAS) descompone el audio en 64 bandas de frecuencia comprendidas entre 20 Hz y 20 kHz. El sistema emula la cóclea humana, que transmite al córtex auditivo información pulsante sobre las bandas detectadas en el audio de entrada. El NAS convierte el audio en modulación por frecuencia de pulsos (PFM) y filtra este flujo de pulsos mediante dos bancos de filtros de paso de banda, configurables en cascada o en paralelo.
En la configuración en cascada, los filtros de paso de banda de mayor frecuencia reciben la señal pulsante, conservan la banda detectada y descartan los pulsos correspondientes a frecuencias menores. La salida descartada alimenta el filtro configurado con la siguiente banda de alta frecuencia. Este procedimiento se repite 64 veces, una por cada banda. Cada filtro dispone de dos salidas pulsantes, que representan la actividad positiva o negativa de la señal de audio.
Las salidas pulsantes de los filtros se multiplexan en un bus digital asíncrono. Cada pulso genera un evento identificado numéricamente con el filtro que lo produjo. Los filtros de mayor frecuencia tienen identificadores menores. Cada filtro emplea dos identificadores: uno par para los eventos positivos y otro impar para los negativos.
El NAS dispone de dos entradas de audio y permite trabajar con sonido estéreo. Las direcciones de ambas entradas son correlativas y abarcan de 0 a 255: las direcciones de 0 a 127 corresponden a la «oreja» izquierda y las de 128 a 255 a la derecha.
La salida pulsante del NAS contiene información sobre el identificador de cada evento, en formato Address-Event Representation (AER), y sobre el instante en que se produce. Para conservar ambos datos, el sistema de captura OKAERTool asigna una marca temporal a cada evento y los empaqueta en tramas que se envían por USB al PC. El programa específico jAER almacena la información en ficheros .AEDAT, que contienen la secuencia AER y la marca temporal (timestamp) de cada evento.
Por tanto, los ficheros .AEDAT representan la transformación del audio de los vídeos .mp4 a un formato neuromórfico descompuesto en bandas de frecuencia. Estos archivos se encuentran en la carpeta “aedat”.
4. Generación de muestras para ReckOn en ficheros .dat
A partir de las grabaciones .AEDAT se extraen las muestras de entrenamiento y test destinadas al acelerador de redes neuronales pulsantes y recurrentes ReckOn. El procesamiento se realiza en MATLAB mediante los siguientes archivos (carpeta Matlab):
1. Loadaerdat.m. Recibe la ruta y el nombre de un fichero .aedat y devuelve un array de dos columnas y tantas filas como eventos contiene el archivo. Las columnas representan los eventos y sus marcas temporales.
2. gen_ds_reckon_birds_mw_max.m. Recibe un umbral (th) y un booleano que indica si deben mostrarse gráficos de las muestras extraídas. El umbral determina cuántos eventos consecutivos de cada filtro y con la misma polaridad deben recibirse para generar un evento de salida para ese filtro y polaridad. Se implementa con un contador por cada filtro que incrementa 1 si llega un evento positivo, y decrementa 1 si el evento que llega es negativo. Este comportamiento representa el umbral de una neurona Integrate & Fire situada a la salida de cada filtro. Esta neurona IF no incorpora ni olvido ni tiempo refractario. Además, el valor de th también se emplea para crear muestras de mayor duración temporal. Para ello, las marcas temporales se dividen por th antes de comprobar la duración. Todas las muestras tienen 2250 timesteps, con la relación 1 timestep = 1 timestamp × th.
gen_ds_reckon_birds_mw_max.m itera sobre los cuatro archivos .aedat, llama a plot_reckon_mw_max.m para cada uno y, una vez extraídas las muestras de cada ave, las mezcla y concatena en un único fichero .dat con el formato de ReckOn.
3. Plot_reckon_mw_max.m. Recibe como parámetros de entrada el nombre del archivo .aedat, el número de clase asociado al ave, el umbral, el número máximo de muestras que se desea extraer y un booleano para representar gráficamente cada muestra. Llama a loadaerdat.m, recorre los eventos para implementar el circuito de filtro IF con el umbral indicado y procesa la lista reducida tras el filtrado haciendo un proceso de segmentación y etiquetado. La función recorta secuencias de eventos con marcas temporales de hasta 2250 × th. En cada muestra inserta un evento especial con dirección AER -2 y con timestep igual a la clase correspondiente. Al final añade otro evento especial con dirección -1 y timestep 2250. Los timesteps se calculan dividiendo entre th, mediante números enteros, la marca temporal del fichero .aedat. Además, las marcas temporales de cada muestra se desplazan para que comiencen siempre en el timestep 0.
5. Ficheros .dat disponibles
El dataset contiene los siguientes archivos equilibrados (carpeta dat):
o birds_mw_th1_balanced_max.dat: generado con th = 1; contiene 4000 muestras, 1000 por ave.
o birds_mw_th20_balanced_max.dat: generado con th = 20; contiene 940 muestras, 235 por ave.
o birds_mw_th50_balanced_max.dat: generado con th = 50; contiene 504 muestras, 126 por ave.
o birds_mw_th100_balanced_max.dat: generado con th = 100; contiene 264 muestras, 66 por ave.