Disciplina Inteligência Artificial Integrada

A unidade curricular de “Embedded AI” aborda a aplicação prática de técnicas avançadas de deep learning em contextos de computação Embedded. Este campo emergente combina os princípios fundamentais das redes neurais profundas com as restrições de recursos e as exigências de eficiência dos dispositivos embedded, como sensores IoT, wearables, ou dispositivos móveis. A UC explora métodos de compressão de modelos, otimização de desempenho e implementação eficiente de redes neurais profundas em dispositivos embedded, preparando os alunos para enfrentar os desafios do desenvolvimento de aplicações inteligentes em ambientes de baixo poder de computação e de baixa latência.

Não aplicável

Parte I: Estruturas e definições de Deep Learning Redes neuronais do tipo Feedforward (FNN). Redes neuronais convolucionais (CNN) e operações de convolução. Redes neuronais recorrentes, memória de longo prazo (LSTM) e unidades recorrentes fechadas (GRU). Representações de Transformadores e Codificadores Bidirecionais (BERT). O mecanismo de atenção. Definição e exposição de Hiperparâmetros Parte II: Pruning Pruning Estático, Critérios de Pruning, Pruning combinado com Tuning ou Re-treino. Pruning Dinâmico, Computação Condicional, Redes Adaptativas de Aprendizagem por Reforço, Redes Adaptativas Diferenciáveis. Parte III: Quantização Precisão Numérica reduzida, Quantização Linear e Não Linear, Quantização Uniforme e Não Uniforme, Quantização Simétrica e Assimétrica, Quantização Simulada e Inteira, Quantização de Precisão Mista. Quantização pós-treino e treino consciente de quantização. Parte IV: Casos de Estudo TensorFlow e TensorFlow Lite para a implementação de redes neurais profundas.

As metodologias de ensino assume uma abordagem blended, onde existe uma primeira fase da unidade curricular com a exposição de conteúdos teóricos, e uma segunda centrada no acompanhamento tutorico de casos práticos de implementação e análise dos algoritmos. Em ambas serão usadas ferramentas colaborativas de programação como o Google Colaboratory.

Vadera, Sunil, and Salem Ameen. "Methods for pruning deep neural networks." IEEE Access 10 (2022): 63280-63300. Han, Song, Huizi Mao, and William J. Dally. "Deep compression: Compressing deep neural networks with pruning, trained quantization and huffman coding." arXiv preprint arXiv:1510.00149 (2015). Molchanov, Pavlo, et al. "Pruning convolutional neural networks for resource efficient inference." arXiv preprint arXiv:1611.06440 (2016). Novac, Pierre-Emmanuel, et al. "Quantization and deployment of deep neural networks on microcontrollers." Sensors 21.9 (2021): 2984. Gholami, Amir, et al. "A survey of quantization methods for efficient neural network inference." Low-Power Computer Vision. Chapman and Hall/CRC, 2022. 291-326. Nagel, Markus, et al. "A white paper on neural network quantization." arXiv preprint arXiv:2106.08295 (2021).