Preparación para la Certificación Microsoft DP-900
Procesamiento por Lotes y Streaming con Real-Time Intelligence de Fabric y Spark
Lote, streaming, patrones lambda y kappa, ventanas temporales, orígenes y receptores, Real-Time Intelligence, Structured Streaming y Delta Lake
Tiempo de estudio sugerido: 90 minutos • Nivel principiante • Alineado con la guía DP-900 y la documentación oficial de Microsoft Learn
Por João Ricardo Dutra••Material completo
1. Por qué importa el procesamiento en tiempo real
Los dispositivos inteligentes, las aplicaciones conectadas y el acceso a Internet generan eventos continuamente. Muchos pierden valor con rapidez: el sistema debe revelar una tendencia, recomendar o reaccionar antes del siguiente trabajo programado.
Tiempo real indica que el procesamiento comienza al llegar el evento; casi en tiempo real admite un pequeño retraso. Este capítulo es conceptual y no pretende enseñar una implementación detallada.
Resumen del tema
El convierte eventos continuos en información o acción oportuna; casi tiempo real tolera una pequeña latencia.
2. Procesamiento por lotes
El procesamiento por lotes reúne y almacena muchos registros y procesa el grupo completo en una operación. Puede iniciarse por horario, volumen o evento. La facturación mensual de tarjetas consolida compras antes de crear un estado de cuenta.
Los lotes procesan grandes volúmenes eficientemente y pueden ejecutarse fuera de horas punta. A cambio, retrasan los resultados y requieren entradas preparadas y validadas. Un dato erróneo o fallo puede detener todo el trabajo y exigir corrección antes de repetirlo.
Figura 1 — Procesamiento por lotes
Resumen del tema
El lote sirve para conjuntos completos, voluminosos y análisis complejos que pueden esperar, pero el resultado llega después de preparar y procesar el grupo.
3. y escenarios urgentes
El supervisa un origen y procesa cada evento, o un microlote pequeño, al llegar. Puede agregar por ventanas, como vehículos por minuto, sin esperar todo el tráfico diario.
Incluye riesgo de mercado y carteras, interacciones de juegos, recomendaciones inmobiliarias por ubicación y seguridad de edificios que detecta humo o calor, activa alarmas y abre salidas inmediatamente.
Figura 2 — y escenarios urgentes
Resumen del tema
El encaja cuando datos dinámicos continuos deben producir respuesta en segundos o milisegundos.
4. Comparación de lote y
El lote puede analizar todo el conjunto, maneja entradas grandes y análisis complejos, pero su latencia suele medirse en horas. El ve el evento reciente o una ventana, trabaja con registros o microlotes y busca segundos o milisegundos.
Las consultas filtran, proyectan, cuentan, agregan o calculan medias móviles. Son tendencias, no límites: motores modernos comparten código y almacenamiento en ambos modos.
Tendencias de lote y
Dimensión
Alcance
Conjunto completo
Evento reciente o ventana
Unidad
Conjunto grande
Registro o microlote
Latencia
A menudo horas
Segundos o milisegundos
Análisis
Histórico complejo
Filtros, agregaciones y cálculos móviles
Figura 3 — Comparación de lote y
Resumen del tema
Elija por alcance, tamaño, latencia y complejidad, no como si lote y fueran marcas rivales.
5. Combinación de análisis histórico y en vivo
Las soluciones empresariales filtran o agregan eventos en vivo para paneles y conservan resultados para análisis histórico. Incluso sin visualización inmediata, la capa de eventos captura datos continuos para lotes posteriores.
Lambda usa una ruta rápida para lo actual y otra por lotes para el histórico. Las arquitecturas delta unifican sobre tablas de almacén de lago fiables. Kappa elimina la capa de lote y reproduce el flujo cuando hace falta reprocesar. y Apache Kafka facilitan este estilo.
Figura 4 — Combinación de análisis histórico y en vivo
Resumen del tema
Las arquitecturas modernas conservan un evento para análisis inmediato e histórico duradero.
6. Los cuatro elementos de una arquitectura de
Un evento crea datos digitales: sensor, publicación, registro, transacción o mensaje. Un origen de lo captura. Puede ser carpeta o tabla, pero los sistemas sólidos usan colas o brokers para separar productores y consumidores, ordenar por partición y aplicar garantías.
Una consulta perpetua selecciona tipos, proyecta campos, transforma o agrega. La salida llega a un receptor: archivo, tabla, panel u otra cola para la siguiente etapa.
Figura 5 — Los cuatro elementos de una arquitectura de
Resumen del tema
Toda solución puede explicarse con eventos, origen o broker, procesamiento continuo y uno o varios receptores.
7. Consultas perpetuas, ventanas y entrega
La consulta sigue activa mientras llegan eventos. Como el flujo no termina, totales y medias requieren ventanas temporales, por ejemplo eventos por minuto o media móvil de 30 segundos.
Las particiones permiten consumidores paralelos y conservan el orden interno. La entrega al menos una vez puede repetir eventos; la lógica debe tolerar o quitar duplicados. Exactamente una vez requiere coordinación entre origen, procesador, estado y receptor.
Resumen del tema
Las ventanas acotan cálculos infinitos; las particiones y garantías determinan orden, escala y duplicados.
8. Servicios de procesamiento y orígenes
Real-Time Intelligence de integra ingesta, almacenamiento, KQL, paneles y acción. es una biblioteca programable de Apache Spark en y . es administrado para trabajos independientes o híbridos.
Los orígenes comunes son para alto volumen, para dispositivos , Gen2 para llegada de archivos y Apache Kafka como plataforma abierta asociada a Spark.
Opciones representativas
Servicio
Función principal
Real-Time Intelligence de Fabric
Análisis y acción integrados
Spark mediante código
Trabajos administrados independientes o híbridos
Resumen del tema
Elija motor por alcance y código, y origen por volumen, dispositivos, orden y ecosistema.
9. Receptores comunes de
Los eventos pueden ir a para consumidores posteriores. Gen2, OneLake o conservan archivos para reproducción e histórico.
, y guardan tablas consultables. presenta informes y paneles en vivo o casi en vivo. Una consulta puede enviar a varios receptores.
Resumen del tema
Los receptores permiten mensajes posteriores, archivos duraderos, tablas analíticas o visualización en tiempo real.
10. Real-Time Intelligence de
Real-Time Intelligence cubre desde la llegada hasta la respuesta en un área de trabajo. Eventstream ingiere, enruta, filtra y transforma. Eventhouse almacena series temporales, telemetría y registros en bases KQL consultadas con Kusto Query Language.
Los paneles en tiempo real muestran métricas cambiantes; Activator evalúa condiciones y dispara alertas o acciones. El conjunto evita ensamblar productos independientes.
Figura 6 — Real-Time Intelligence de
Resumen del tema
Real-Time Intelligence une Eventstream, Eventhouse y KQL, paneles y Activator en una experiencia controlada por eventos.
11. Centro en tiempo real, Copilot y acción
El Centro en tiempo real es el catálogo central de datos en movimiento. Los equipos descubren, conectan, exploran, comparten y gobiernan transmisiones internas y externas.
Patrones, anomalías y previsiones se exploran con KQL, herramientas visuales, lenguaje natural y Copilot. Los paneles amplían el acceso y Activator convierte una condición en alerta o respuesta automatizada.
Resumen del tema
El centro hace descubribles las transmisiones, el análisis las explica y Activator convierte condiciones en acción.
12. Apache
Apache Spark distribuye procesamiento en un clúster y admite Python, Scala, Java y SQL. Structured aplica DataFrame a una tabla ilimitada que crece cuando llegan eventos.
El flujo es origen, DataFrame continuo, consulta y receptor. Puede contar eventos, calcular medias móviles o enriquecer registros. Encaja con equipos que ya usan Spark en o .
Figura 7 — Apache
Resumen del tema
Structured trata el flujo como tabla creciente y ejecuta transformaciones DataFrame incrementalmente.
13. Delta Lake unifica lote y
Un lago básico es una colección de archivos sin transacciones. Delta Lake agrega registro, escrituras fiables, aplicación de esquema y versiones sobre Parquet, evitando inconsistencias por fallos parciales.
La misma tabla Delta recibe y sirve consultas por lotes. Los entornos Spark de y incluyen Delta para compartir un almacén consistente entre ingesta en vivo e histórico.
Figura 8 — Delta Lake unifica lote y
Resumen del tema
Delta Lake proporciona tablas fiables como receptor de y origen de lote sin duplicar almacenamiento.
14. Ejercicio práctico y razonamiento de evaluación
El ejercicio usa datos de ejemplo para explorar Real-Time Intelligence de . Reserve unos 15 minutos y use una cuenta o prueba de Fabric. Conecte o genere eventos, explórelos, visualice y elimine elementos o capacidad innecesarios al terminar.
En la evaluación, significa procesar continuamente conforme llegan registros. En , el Centro en tiempo real —no cuadernos ni accesos directos de OneLake— centraliza el descubrimiento y administración de .
Resumen del tema
Para DP-900, identifique lote o y luego mapee origen, consulta perpetua, ventana, receptor y componente de plataforma.
