Extração e Transformação de Dados

Imagem d@ Sebastião Pais [Ficheiro Local]
Sebastião Pais
Código:
16677
Ano:
2
Semestre:
S2
Créditos ECTS:
6
Carga Horária:
PL(30H)/T(30H)
Área Científica:
Informática
Objectivos de Aprendizagem:
Após a conclusão bem-sucedida da UC, os alunos devem ser capazes de:
- Conhecer e aplicar métodos de extração de dados de várias fontes;
- Saber aplicar as metodologias de processamento de dados para melhorar a qualidade dos dados e estabelecer consistência;
- Saber identificar e usar tecnologias de carregamento de dados em base de dados relacionais ou não relacionais.
Conteúdos programáticos:
- Data wharehouse
- Crawler e Scraping de dados;
- Parsing de dados;
- Representação de texto
- Representação de dados multimédia
- Filtragem, validação e autenticação de dados;
- Mecanismos de garantia de qualidade e fidelidade das fontes;
- Proteção/encriptação de dados sensíveis em termos de privacidade;
- Replica de dados;
- Virtualização de dados;
- Integração de streams multi-fonte.
Metodologias de Ensino e Critérios de Avaliação:
Os conteúdos desta unidade curricular são expostos em aulas teóricas (métodos expositivo e interativo) e sua vertente prática é explorada em aulas práticas laboratoriais. Cada tipo de aula tem duas horas de contacto semanais.
As aulas práticas regem-se por guias laboratoriais que os estudantes executam em computadores de laboratório. Os trabalhos individuais e de grupo propostos são concebidos para que os alunos desenvolvam as capacidades técnicas descritas nos objetivos por meio do projeto e da implementação de laboratórios. Avaliam-se as componentes teóricas e práticas recorrendo a 2 elementos principais:
- Labs 50% - 10 Valores;
- Project 50% - 10 Valores.
Bibliografia principal:
- Caserta, Joe, and Ralph Kimball. The Data Warehouseetl Toolkit: Practical Techniques for Extracting, Cleaning, Conforming, and Delivering Data. Wiley, 2013.
- Sharda, Ramesh, Dursun Delen, and Efraim Turban. Analytics, data science, & artificial intelligence: Systems for decision support. Pearson Education Limited, 2021.
- Ankam, Venkat. Big data analytics. Packt Publishing Ltd, 2016.
- Furht, Borko, and Flavio Villanustre. Big data technologies and applications. Berlin, Germany: Springer, 2016.
- Sedkaoui, Soraya. Data analytics and big data. John Wiley & Sons, 2018.
- Leskovec, Rajaraman, Ullman. “Mining of massive datasets”. Cambridge University Press, 2014. Available at http://www.mmds.org/
Língua:
Português