DP-203 Data Engineering on Microsoft Azure

Módulo 1: Introducción a la ingeniería de datos en Azure

• Introducción
• ¿En qué consiste la ingeniería de datos?
• Conceptos importantes de ingeniería de datos
• Ingeniería de datos de Microsoft Azure

Módulo 2: Introducción a Azure Data Lake Storage Gen2

• Introducción
• Descripción de Azure Data Lake Storage Gen2
• Habilitación de Azure Data Lake Storage Gen2 en Azure Storage
• Comparación entre Azure Data Lake Storage y Azure Blob Storage
• Fases del procesamiento de macrodatos
• Uso de Azure Data Lake Storage Gen2 en cargas de trabajo de análisis de datos

Módulo 3: Introducción a Azure Synapse Analytics

• Introducción
• Qué es Azure Synapse Analytics
• Cómo funciona Azure Synapse Analytics
• Cuándo usar Azure Synapse Analytics
• Ejercicio: exploración de Azure Synapse Analytics

Módulo 4: Uso de un grupo de SQL sin servidor de Azure Synapse para consultar archivos en un lago de datos

• Introducción
• Descripción de las capacidades y los casos de uso de los grupos de SQL sin servidor de Azure Synapse
• Consulta de archivos mediante un grupo de SQL sin servidor
• Creación de objetos de base de datos externos
• Ejercicio: Consulta de archivos mediante un grupo de SQL sin servidor

Módulo 5: Uso de grupos de SQL sin servidor de Azure Synapse para transformar datos en un lago de datos

• Introducción
• Transformación de archivos de datos con la instrucción CREATE EXTERNAL TABLE AS SELECT
• Encapsulación de transformaciones de datos en un procedimiento almacenado
• Inclusión de un procedimiento almacenado de transformación de datos en una canalización
• Ejercicio: Transformación de archivos mediante un grupo de SQL sin servidor

Módulo 6: Creación de una base de datos de lago en Azure Synapse Analytics

• Introducción
• Entender los conceptos de la base de datos de lago
• Exploración de las plantillas de base de datos
• Creación de una base de datos de lago
• Uso de una base de datos de lago
• Ejercicio: Análisis de los datos en una base de datos de lago

Módulo 7: Protección de datos y administración de usuarios en grupos de SQL sin servidor de Azure Synapse

• Introducción
• Elección de un método de autenticación en grupos de SQL sin servidor de Azure Synapse
• Administración de usuarios en grupos de SQL sin servidor de Azure Synapse
• Administración de permisos de usuarios en grupos de SQL sin servidor de Azure Synapse

Módulo 8: Análisis de datos con Apache Spark en Azure Synapse Analytics

• Introducción
• Introducción a Apache Spark
• Uso de Spark en Azure Synapse Analytics
• Análisis de datos con Spark
• Visualización de datos con Spark
• Ejercicio: Análisis de datos con Spark

Módulo 9: Transformación de datos con Spark en Azure Synapse Analytics

• Introducción
• Modificación y guardado de objetos DataFrame
• Creación de particiones de archivos de datos
• Transformación de datos con SQL
• Ejercicio: Transformación de datos con Spark en Azure Synapse Analytics

Módulo 10: Uso de Delta Lake en Azure Synapse Analytics

• Introducción
• Descripción de Delta Lake
• Creación de tablas de Delta Lake
• Creación de tablas de catálogo
• Uso de Delta Lake con datos de streaming
• Uso de Delta Lake en un grupo de SQL
• Ejercicio: Uso de Delta Lake en Azure Synapse Analytics

Módulo 11: Creación de una canalización de datos en Azure Synapse Analytics

• Introducción
• Descripción de las canalizaciones en Azure Synapse Analytics
• Creación de una canalización en Azure Synapse Studio
• Definición de flujos de datos
• Ejecución de una canalización
• Ejercicio: Creación de una canalización de datos en Azure Synapse Analytics

Módulo 12: Uso de cuadernos de Spark en una canalización de Azure Synapse

• Introducción
• Descripción de los cuadernos y canalizaciones de Synapse
• Uso de una actividad de cuaderno de Synapse en una canalización
• Uso de parámetros en un cuaderno
• Ejercicio: Uso de un cuaderno de Apache Spark en una canalización

Módulo 13: Introducción a Azure Synapse Analytics

• Introducción
• Qué es Azure Synapse Analytics
• Cómo funciona Azure Synapse Analytics
• Cuándo usar Azure Synapse Analytics
• Ejercicio: exploración de Azure Synapse Analytics
• Comprobación de conocimiento
• Resumen

Módulo 14: Uso de un grupo de SQL sin servidor de Azure Synapse para consultar archivos en un lago de datos

• Introducción
• Descripción de las capacidades y los casos de uso de los grupos de SQL sin servidor de Azure Synapse
• Consulta de archivos mediante un grupo de SQL sin servidor
• Creación de objetos de base de datos externos
• Ejercicio: Consulta de archivos mediante un grupo de SQL sin servidor
• Comprobación de conocimiento
• Resumen

Módulo 15: Análisis de datos con Apache Spark en Azure Synapse Analytics

• Introducción
• Introducción a Apache Spark
• Uso de Spark en Azure Synapse Analytics
• Análisis de datos con Spark
• Visualización de datos con Spark
• Ejercicio: Análisis de datos con Spark
• Prueba de conocimientos
• Resumen

Módulo 16: Uso de Delta Lake en Azure Synapse Analytics

• Introducción
• Descripción de Delta Lake
• Creación de tablas de Delta Lake
• Creación de tablas de catálogo
• Uso de Delta Lake con datos de streaming
• Uso de Delta Lake en un grupo de SQL
• Ejercicio: Uso de Delta Lake en Azure Synapse Analytics
• Comprobación de conocimiento
• Resumen

Módulo 17: Análisis de datos en un almacenamiento de datos relacional

• Introducción
• Diseño de un esquema de almacenamiento de datos
• Creación de tablas de almacenamiento de datos
• Carga de tablas de almacenamiento de datos
• Consulta de un almacenamiento de datos
• Ejercicio: Exploración de un almacenamiento de datos
• Comprobación de conocimiento
• Resumen

Módulo 18: Creación de una canalización de datos en Azure Synapse Analytics

• Introducción
• Descripción de las canalizaciones en Azure Synapse Analytics
• Creación de una canalización en Azure Synapse Studio
• Definición de flujos de datos
• Ejecución de una canalización
• Ejercicio: Creación de una canalización de datos en Azure Synapse Analytics

Módulo 19: Análisis de datos en un almacenamiento de datos relacional

• Introducción
• Diseño de un esquema de almacenamiento de datos
• Creación de tablas de almacenamiento de datos
• Carga de tablas de almacenamiento de datos
• Consulta de un almacenamiento de datos
• Ejercicio: Exploración de un almacenamiento de datos
• Comprobación de conocimiento
• Resumen

Módulo 20: Carga de datos en un almacenamiento de datos relacional

• Introducción
• Carga de tablas de almacenamiento provisional
• Carga de tablas de dimensiones
• Carga de tablas de dimensiones de tiempo
• Carga de dimensiones de variación lenta
• Carga de tablas de hechos
• Realización de la optimización posterior a la carga
• Ejercicio: Carga de datos en un almacenamiento de datos relacional
• Prueba de conocimientos
• Resumen

Módulo 21: Administrar y supervisar las actividades del almacenamiento de datos en Azure Synapse Analytics

• Introducción
• Escalar recursos de proceso en Azure Synapse Analytics
• Pausar el proceso de Azure Synapse Analytics
• Administrar cargas de trabajo en Azure Synapse Analytics
• Uso de Azure Advisor para consultar recomendaciones
• Uso de las vistas de administración dinámica para identificar y solucionar problemas de rendimiento de las consultas
• Comprobación de conocimiento
• Resumen

Módulo 22: Creación de un almacenamiento de datos en Azure Synapse Analytics

• Introducción
• Entender las opciones de seguridad de red de Azure Synapse Analytics
• Configuración del acceso condicional
• Configurar la autenticación
• Administración de la autorización mediante la seguridad de nivel de columna y de fila
• Ejercicio: Administración de la autorización mediante la seguridad de nivel de columna y de fila
• Administración de datos confidenciales con enmascaramiento dinámico de datos
• Implementar el cifrado en Azure Synapse Analytics

Módulo 23: Planeamiento del procesamiento analítico y transaccional híbrido mediante Azure Synapse Analytics

• Introducción
• Comprensión de los patrones de procesamiento analítico y transaccional híbrido
• Descripción de Azure Synapse Link

Módulo 24: Implementación de Azure Synapse Link con Azure Cosmos DB

• Introducción
• Habilitación de una cuenta de Cosmos DB para usar Azure Synapse Link
• Crear un contenedor habilitado para el almacén analítico
• Creación de un servicio vinculado para Cosmos DB
• Consulta de datos de Cosmos DB con Spark
• Consulta de Cosmos DB con Synapse SQL
• Ejercicio: Implementación de Azure Synapse Link para Cosmos DB

Módulo 25: Implementación de Azure Synapse Link para SQL

• Introducción
• ¿Qué es Azure Synapse Link para SQL?
• Configuración de Azure Synapse Link para Azure SQL Database
• Configuración de Azure Synapse Link para SQL Server 2022
• Ejercicio: Implementación de Azure Synapse Link para SQL

Módulo 26: Introducción a Azure Stream Analytics

• Introducción
• Definición de los flujos de datos
• Descripción del procesamiento de eventos
• Comprender las funciones de ventana
• Ejercicio: Introducción a Azure Stream Analytics

Módulo 27: Ingesta de datos de streaming mediante Azure Stream Analytics y Azure Synapse Analytics

• Introducción
• Escenarios de ingesta de flujos
• Configuración de entradas y salidas
• Definición de una consulta para seleccionar, filtrar y agregar datos
• Ejecución de un trabajo para ingerir datos
• Ejercicio: Ingesta de datos de streaming en Azure Synapse Analytics

Módulo 28: Visualización de datos en tiempo real con Azure Stream Analytics y Power BI

• Introducción
• Uso de una salida de Power BI en Azure Stream Analytics
• Creación de una consulta para la visualización en tiempo real
• Creación de visualizaciones de datos en tiempo real con Power BI
• Ejercicio: Creación de una visualización de datos en tiempo real

Módulo 29: Explorar Azure Databricks

• Introducción
• Introducción a Azure Databricks
• Identificación de las cargas de trabajo de Azure Databricks
• Descripción de los conceptos clave
• Gobierno de datos mediante Unity Catalog y Microsoft Purview
• Ejercicio: Explorar Azure Databricks

Módulo 30: Haga análisis de datos con Azure Databricks

• Introducción
• Ingesta de datos con Azure Databricks
• Herramientas de exploración de datos en Azure Databricks
• Análisis de datos mediante las API de DataFrame
• Ejercicio: Exploración de datos con Azure Databricks

Módulo 31: Uso de Apache Spark en Azure Databricks

• Introducción
• Descubra Spark
• Creación de un clúster de Spark
• Uso de Spark en cuadernos
• Uso de Spark para trabajar con archivos de datos
• Visualización de datos
• Ejercicio: Uso de Spark en Azure Databricks

Módulo 32: Administración de datos con Delta Lake

• Introducción
• Primeros pasos con Delta Lake
• Administración de transacciones ACID
• Implementar el cumplimiento de esquemas
• Control de versiones de datos y desplazamiento y viaje en el tiempo en Delta Lake
• Integridad de datos con Delta Lake
• Ejercicio: Uso de Delta Lake en Azure Databrick

Módulo 33: Compilación de canalizaciones de datos con Delta Live Tables

• Introducción
• Exploración de delta Live Tables
• Ingesta e integración de datos
• Procesamiento en tiempo real
• Ejercicio: Creación de una canalización de datos con Delta Live Tables

Módulo 34: Implementación de cargas de trabajo con flujos de trabajo de Azure Databricks

• Introducción
• ¿Qué son los flujos de trabajo de Azure Databricks?
• Descripción de los componentes clave de los flujos de trabajo de Azure Databricks
• Exploración de las ventajas de los flujos de trabajo de Azure Databricks
• Implementación de cargas de trabajo mediante flujos de trabajo de Azure Databricks
• Ejercicio: Creación de un flujo de trabajo de Azure Databricks

Módulo 35: Introducción a Microsoft Purview

• Introducción
• ¿Qué es Microsoft Purview?
• Funcionamiento de Microsoft Purview
• Cuándo usar Microsoft Purview

Módulo 36: Descubra datos confidenciales con Microsoft Purview

• Introducción
• Buscar recursos
• Examinar los activos
• Uso de recursos con Power BI
• Integración con Azure Synapse Analytics

Módulo 37: Catalogación de artefactos de datos con Microsoft Purview

• Introducción
• Registro y examen de datos
• Clasificación y etiquetado de datos
• Búsqueda en el catálogo de datos

Módulo 38: Administración de activos de Power BI con Microsoft Purview

• Introducción
• Registro y examen de un inquilino de Power BI
• Búsqueda y examen de activos de Power BI
• Visualización de metadatos y linaje de Power BI

Módulo 39: Integración de Microsoft Purview y Azure Synapse Analytics

• Introducción
• Catalogación de recursos de datos de Azure Synapse Analytics en Microsoft Purview
• Conexión de Microsoft Purview con un área de trabajo de Azure Synapse Analytics
• Búsquedas en un catálogo de Purview en Synapse Studio
• Seguimiento del linaje de datos en las canalizaciones
• Ejercicio: Integrar Azure Synapse Analytics y Microsoft Purview