Métodos multimodales profundos para monitoreo alimentario en ganadería de precisión

Abstract

El monitoreo del comportamiento alimentario es una tarea esencial para una gestión eficiente del rodeo y la utilización efectiva de los recursos disponibles. Ser capaz de reconocer automáticamente los movimientos masticatorios mandibulares que ocurren durante las principales actividades de alimentación, e identificar estas últimas, permite la detección temprana de enfermedades, la optimización de las dietas y la mejora en la estimación de las fechas de celo y parto, entre otros beneficios. La utilización de sensores que permiten obtener señales para realizar este seguimiento se ha popularizado en las últimas décadas, debido a que presenta una alternativa a la práctica clásica de observación directa que resulta inviable en la generalidad de los casos.

Esta tesis aborda el monitoreo automático del comportamiento alimentario en rumiantes mediante la fusión de información con sensores acústicos e inerciales utilizando arquitecturas de redes neuronales profundas. Para llevar adelante esto, ha sido necesario en primer lugar explorar y proponer arquitecturas profundas que permitan detectar eventos masticatorios a partir de señales acústicas debido a que no existían propuestas en el estado del arte para dicha problemática. Luego se ha evaluado el uso de técnicas de fusión de información mediante la formulación y evaluación de arquitecturas de redes neuronales profundas a distintos niveles de fusión. Los mejores resultados de reconocimiento de eventos masticatorios fueron obtenidos por una arquitectura de fusión a nivel de características que utiliza distintas redes convolucionales para procesar las señales de entrada. Esta arquitectura ha alcanzado resultados superiores respecto a otras propuestas existentes en la literatura, confirmando de esta forma que la fusión de información resulta beneficiosa en el contexto del problema abordado en esta tesis.

Monitoring feeding behavior is crucial for efficient herd management and optimal resource utilization. Recognizing jaw movements occurring during feeding activities automatically allows for early disease detection, optimization of diets, and estimation of calving dates, among other benefits. The use of sensors for signal generation has gained popularity in recent decades as it provides an alternative to the traditional method of direct observation, which is impractical in most of the cases.

This thesis addresses the monitoring of feeding behavior in ruminants by fusing information from acoustic and inertial sensors using deep neural network architectures. To carry out this, it has first been necessary to explore and propose deep learning architectures that allow detecting jaw movement events from acoustic signals because there were no proposals in the state-of-the-art for this problem. The use of information fusion techniques has then been evaluated through the formulation and evaluation of deep neural network architectures at different fusion levels. The best recognition results for jaw movement events were obtained by a feature-level fusion architecture that uses different independent convolutional networks to process the input signals. This architecture outperformed existing proposals in the literature, confirming the benefits of information fusion in this context. Furthermore, the application of transfer learning techniques was also evaluated demonstrating improved performance with their implementation.