Información del
Programa
Duración:
20 horas
Localidad:
Madrid
Modalidad:
Online direct via Teams
Fecha:
07/01/2025
Curso DP-203 Data Engineering on Microsoft Azure
La formación DP-203 Data Engineering on Microsoft Azure está diseñada principalmente para los profesionales de datos, arquitectos de datos y profesionales de la inteligencia empresarial que desean aprender sobre ingeniería de datos y creación de soluciones analíticas mediante tecnologías de la plataforma que existen en Microsoft Azure.
Objetivos
Implementar y administrar cargas de trabajo de datos con servicios de Azure como Synapse Analytics, Data Lake Storage Gen2 y Databricks.
Diseñar canalizaciones de transferencia y transformación de datos.
Crear y gestionar almacenes de datos relacionales.
Capturar y agregar flujos de datos en tiempo real.
Monitorear recursos y rastrear linaje de datos.
Temario
Módulo 1 – Introducción a la ingeniería de datos en Azure
- ¿En qué consiste la ingeniería de datos?
- Conceptos importantes de ingeniería de datos
- Ingeniería de datos de Microsoft Azure
Módulo 2 – Introducción a Azure Data Lake Storage Gen2
- Descripción de Azure Data Lake Storage Gen2
- Habilitación de Azure Data Lake Storage Gen2 en Azure Storage
- Comparación entre Azure Data Lake Storage y Azure Blob Storage
- Fases del procesamiento de macrodatos
- Uso de Azure Data Lake Storage Gen2 en cargas de trabajo de análisis de datos
Módulo 3 – Introducción a Azure Synapse Analytics
- Qué es Azure Synapse Analytics
- Cómo funciona Azure Synapse Analytics
- Cuándo usar Azure Synapse Analytics
- Ejercicio: exploración de Azure Synapse Analytics
Módulo 4 – Uso de un grupo de SQL sin servidor de Azure Synapse para consultar archivos en un lago de datos
- Descripción de las capacidades y los casos de uso de los grupos de SQL sin servidor de Azure Synapse
- Consulta de archivos mediante un grupo de SQL sin servidor
- Creación de objetos de base de datos externos
- Ejercicio: Consulta de archivos mediante un grupo de SQL sin servidor
Módulo 5 – Uso de grupos de SQL sin servidor de Azure Synapse para transformar datos en un lago de datos
- Transformación de archivos de datos con la instrucción CREATE EXTERNAL TABLE AS SELECT
- Encapsulación de transformaciones de datos en un procedimiento almacenado
- Inclusión de un procedimiento almacenado de transformación de datos en una canalización
- Ejercicio: Transformación de archivos mediante un grupo de SQL sin servidor
Módulo 6 – Creación de una base de datos de lago en Azure Synapse Analytics
- Entender los conceptos de la base de datos de lago
- Exploración de las plantillas de base de datos
- Creación de una base de datos de lago
- Uso de una base de datos de lago
- Ejercicio: Análisis de los datos en una base de datos de lago
Módulo 7 – Protección de datos y administración de usuarios en grupos de SQL sin servidor de Azure Synapse
- Elección de un método de autenticación en grupos de SQL sin servidor de Azure Synapse
- Administración de usuarios en grupos de SQL sin servidor de Azure Synapse
- Administración de permisos de usuarios en grupos de SQL sin servidor de Azure Synapse
Módulo 8 – Análisis de datos con Apache Spark en Azure Synapse Analytics
- Introducción a Apache Spark
- Uso de Spark en Azure Synapse Analytics
- Análisis de datos con Spark
- Visualización de datos con Spark
- Ejercicio: Análisis de datos con Spark
Módulo 9 – Transformación de datos con Spark en Azure Synapse Analytics
- Modificación y guardado de objetos DataFrame
- Creación de particiones de archivos de datos
- Transformación de datos con SQL
- Ejercicio: Transformación de datos con Spark en Azure Synapse Analytics
Módulo 10 – Uso de Delta Lake en Azure Synapse Analytics
- Descripción de Delta Lake
- Creación de tablas de Delta Lake
- Creación de tablas de catálogo
- Uso de Delta Lake con datos de streaming
- Uso de Delta Lake en un grupo de SQL
- Ejercicio: Uso de Delta Lake en Azure Synapse Analytics
Módulo 11 – Creación de una canalización de datos en Azure Synapse Analytics
- Descripción de las canalizaciones en Azure Synapse Analytics
- Creación de una canalización en Azure Synapse Studio
- Definición de flujos de datos
- Ejecución de una canalización
- Ejercicio: Creación de una canalización de datos en Azure Synapse Analytics
Módulo 12 – Uso de cuadernos de Spark en una canalización de Azure Synapse
- Descripción de los cuadernos y canalizaciones de Synapse
- Uso de una actividad de cuaderno de Synapse en una canalización
- Uso de parámetros en un cuaderno
- Ejercicio: Uso de un cuaderno de Apache Spark en una canalización
Módulo 13 – Introducción a Azure Synapse Analytics
- Qué es Azure Synapse Analytics
- Cómo funciona Azure Synapse Analytics
- Cuándo usar Azure Synapse Analytics
- Ejercicio: exploración de Azure Synapse Analytics
Módulo 14 – Uso de un grupo de SQL sin servidor de Azure Synapse para consultar archivos en un lago de datos
- Descripción de las capacidades y los casos de uso de los grupos de SQL sin servidor de Azure Synapse
- Consulta de archivos mediante un grupo de SQL sin servidor
- Creación de objetos de base de datos externos
- Ejercicio: Consulta de archivos mediante un grupo de SQL sin servidor
Módulo 15 – Análisis de datos con Apache Spark en Azure Synapse Analytics
- Introducción a Apache Spark
- Uso de Spark en Azure Synapse Analytics
- Análisis de datos con Spark
- Visualización de datos con Spark
- Ejercicio: Análisis de datos con Spark
Módulo 16 – Uso de Delta Lake en Azure Synapse Analytics
- Descripción de Delta Lake
- Creación de tablas de Delta Lake
- Creación de tablas de catálogo
- Uso de Delta Lake con datos de streaming
- Uso de Delta Lake en un grupo de SQL
- Ejercicio: Uso de Delta Lake en Azure Synapse Analytics
Módulo 17 – Análisis de datos en un almacenamiento de datos relacional
- Diseño de un esquema de almacenamiento de datos
- Creación de tablas de almacenamiento de datos
- Carga de tablas de almacenamiento de datos
- Consulta de un almacenamiento de datos
- Ejercicio: Exploración de un almacenamiento de datos
Módulo 18 – Creación de una canalización de datos en Azure Synapse Analytics
- Descripción de las canalizaciones en Azure Synapse Analytics
- Creación de una canalización en Azure Synapse Studio
- Definición de flujos de datos
- Ejecución de una canalización
- Ejercicio: Creación de una canalización de datos en Azure Synapse Analytics
Módulo 19 – Análisis de datos en un almacenamiento de datos relacional
- Diseño de un esquema de almacenamiento de datos
- Creación de tablas de almacenamiento de datos
- Carga de tablas de almacenamiento de datos
- Consulta de un almacenamiento de datos
- Ejercicio: Exploración de un almacenamiento de datos
Módulo 20 – Carga de datos en un almacenamiento de datos relacional
- Carga de tablas de almacenamiento provisional
- Carga de tablas de dimensiones
- Carga de tablas de dimensiones de tiempo
- Carga de dimensiones de variación lenta
- Carga de tablas de hechos
- Realización de la optimización posterior a la carga
- Ejercicio: Carga de datos en un almacenamiento de datos relacional
Módulo 21 – Administrar y supervisar las actividades del almacenamiento de datos en Azure Synapse Analytics
- Escalar recursos de proceso en Azure Synapse Analytics
- Pausar el proceso de Azure Synapse Analytics
- Administrar cargas de trabajo en Azure Synapse Analytics
- Uso de Azure Advisor para consultar recomendaciones
- Uso de las vistas de administración dinámica para identificar y solucionar problemas de rendimiento de las consultas
Módulo 22 – Creación de un almacenamiento de datos en Azure Synapse Analytics
- Entender las opciones de seguridad de red de Azure Synapse Analytics
- Configuración del acceso condicional
- Configurar la autenticación
- Administración de la autorización mediante la seguridad de nivel de columna y de fila
- Ejercicio: Administración de la autorización mediante la seguridad de nivel de columna y de fila
- Administración de datos confidenciales con enmascaramiento dinámico de datos
- Implementar el cifrado en Azure Synapse Analytics
Módulo 23 – Planeamiento del procesamiento analítico y transaccional híbrido mediante Azure Synapse Analytics
- Comprensión de los patrones de procesamiento analítico y transaccional híbrido
- Descripción de Azure Synapse Link
Módulo 24 – Implementación de Azure Synapse Link con Azure Cosmos DB
- Habilitación de una cuenta de Cosmos DB para usar Azure Synapse Link
- Crear un contenedor habilitado para el almacén analítico
- Creación de un servicio vinculado para Cosmos DB
- Consulta de datos de Cosmos DB con Spark
- Consulta de Cosmos DB con Synapse SQL
- Ejercicio: Implementación de Azure Synapse Link para Cosmos DB
Módulo 25 – Implementación de Azure Synapse Link para SQL
- ¿Qué es Azure Synapse Link para SQL?
- Configuración de Azure Synapse Link para Azure SQL Database
- Configuración de Azure Synapse Link para SQL Server 2022
- Ejercicio: Implementación de Azure Synapse Link para SQL
Módulo 26 – Introducción a Azure Stream Analytics
- Definición de los flujos de datos
- Descripción del procesamiento de eventos
- Comprender las funciones de ventana
- Ejercicio: Introducción a Azure Stream Analytics
Módulo 27 – Ingesta de datos de streaming mediante Azure Stream Analytics y Azure Synapse Analytics
- Escenarios de ingesta de flujos
- Configuración de entradas y salidas
- Definición de una consulta para seleccionar, filtrar y agregar datos
- Ejecución de un trabajo para ingerir datos
- Ejercicio: Ingesta de datos de streaming en Azure Synapse Analytics
Módulo 28 – Visualización de datos en tiempo real con Azure Stream Analytics y Power BI
- Uso de una salida de Power BI en Azure Stream Analytics
- Creación de una consulta para la visualización en tiempo real
- Creación de visualizaciones de datos en tiempo real con Power BI
- Ejercicio: Creación de una visualización de datos en tiempo real
Módulo 29 – Explorar Azure Databricks
- Introducción a Azure Databricks
- Identificación de las cargas de trabajo de Azure Databricks
- Descripción de los conceptos clave
- Gobierno de datos mediante Unity Catalog y Microsoft Purview
- Ejercicio: Explorar Azure Databricks
Módulo 30 – Haga análisis de datos con Azure Databricks
- Ingesta de datos con Azure Databricks
- Herramientas de exploración de datos en Azure Databricks
- Análisis de datos mediante las API de DataFrame
- Ejercicio: Exploración de datos con Azure Databricks
Módulo 31 – Uso de Apache Spark en Azure Databricks
- Descubra Spark
- Creación de un clúster de Spark
- Uso de Spark en cuadernos
- Uso de Spark para trabajar con archivos de datos
- Visualización de datos
- Ejercicio: Uso de Spark en Azure Databricks
Módulo 32 – Administración de datos con Delta Lake
- Primeros pasos con Delta Lake
- Administración de transacciones ACID
- Implementar el cumplimiento de esquemas
- Control de versiones de datos y desplazamiento y viaje en el tiempo en Delta Lake
- Integridad de datos con Delta Lake
- Ejercicio: Uso de Delta Lake en Azure Databrick
Módulo 33 – Compilación de canalizaciones de datos con Delta Live Tables
- Exploración de delta Live Tables
- Ingesta e integración de datos
- Procesamiento en tiempo real
- Ejercicio: Creación de una canalización de datos con Delta Live Tables
Módulo 34 – Implementación de cargas de trabajo con flujos de trabajo de Azure Databricks
- ¿Qué son los flujos de trabajo de Azure Databricks?
- Descripción de los componentes clave de los flujos de trabajo de Azure Databricks
- Exploración de las ventajas de los flujos de trabajo de Azure Databricks
- Implementación de cargas de trabajo mediante flujos de trabajo de Azure Databricks
- Ejercicio: Creación de un flujo de trabajo de Azure Databricks
Módulo 35 – Introducción a Microsoft Purview
- ¿Qué es Microsoft Purview?
- Funcionamiento de Microsoft Purview
- Cuándo usar Microsoft Purview
Módulo 36 – Descubra datos confidenciales con Microsoft Purview
- Buscar recursos
- Examinar los activos
- Uso de recursos con Power BI
- Integración con Azure Synapse Analytics
Módulo 37 – Catalogación de artefactos de datos con Microsoft Purview
- Registro y examen de datos
- Clasificación y etiquetado de datos
- Búsqueda en el catálogo de datos
Módulo 38 – Administración de activos de Power BI con Microsoft Purview
- Registro y examen de un inquilino de Power BI
- Búsqueda y examen de activos de Power BI
- Visualización de metadatos y linaje de Power BI
Módulo 39 – Integración de Microsoft Purview y Azure Synapse Analytics
- Catalogación de recursos de datos de Azure Synapse Analytics en Microsoft Purview
- Conexión de Microsoft Purview con un área de trabajo de Azure Synapse Analytics
- Búsquedas en un catálogo de Purview en Synapse Studio
- Seguimiento del linaje de datos en las canalizaciones
- Ejercicio: Integrar Azure Synapse Analytics y Microsoft Purview
