Disciplina Fundamentos de Engenharia de Dados

Esta cadeira aborda uma variedade de tópicos relacionados à engenharia de dados numa perspectiva do Cientista de Dados, desde as diversas fontes de dados até a estrutura e disponibilização dos dados processados para modelos e visualização. Os alunos aprendem os fundamentos conceituais da engenharia de dados que permitem disponibilizar dados com qualidade para utilização em aplicações de ciência de dados.

Não aplicável

A UC está organizada nos seguintes conteúdos programáticos: CP1 - Introdução O que é um Engenheiro de Dados? O que um cientista de dados necessita saber de engenharia de dados? Pipelines de engenharia de dados CP2 - Bases de Dados relacionais Revisão de SQL Conceitos utilizdos em modelos de dados CP3 - Modelagem de dados Fontes de dados Data Lake Data Warehouse Data Lakehouse Modelos de dados CP4 - Fundamentos de Big-data Hadoop MapReduce CP5 - Transformação de dados Transformações necessárias para armazenar os dados para projetos de Data Science CP6 - Ferramentas de visualização de dados CP7 - Bases de dados NoSQL CP8 - Projetos de engenharia de dados

As aulas são expositivas e presenciais. Incentiva-se a participação ativa dos alunos/as no processo de ensino através de perguntas que estimulam o interesse pelos conteúdos da disciplina. Quando apropriado, a apresentação dos conteúdos é precedida pelo estudo de problemas específicos que os alunos conhecem. Alguns tópicos surgem na sequência da análise de problemas cuja resolução leva naturalmente à seu questionamento e/ou formulação. Sempre que possível, os conteúdos são ilustrados com exemplos e contraexemplos. Na maioria das sessões de aula, são apresentados problemas para que os alunos trabalhem independentemente, a fim de garantir a compreensão dos conceitos e técnicas abordados.

Lau, S., Gonzales, J., Nolan, D. - Learning Data Science. available at: https://learningds.org/intro.html Kleppmann, M. (2017). Designing Data-Intensive Applications. O'Reilly Media.