Plataforma de procesamiento de eventos

Índice IntroducciónArquitecturas Event-drivenData Flow vs Data Store (eventos vs registros) 1. Introducción En este artículo quiero hablar de cosas básicas en el diseño de arquitecturas basadas en eventos que sean capaces de servir los datos en tiempo real y evitar las duplicidades del dato. En el año 2020 todavía se siguen utilizando en las grandes... Leer más →

Elasticsearch

Elasticsearch es un servidor de búsqueda y analítica distribuido y RESTful basado en Lucene que es capaz de cubrir multitud de casos de uso. Una de las partes fundamentales de Elastic es la centralización de datos de forma indexada.

El pipeline de datos de Netflix

En Netflix cualquier decisión de negocio o de producto está tomada a partir de ideas obtenidas del análisis de datos. El objetivo del pipeline de datos es obtener, agregar, procesar y mover datos a escala Cloud. Casi todas las aplicaciones en Netflix utilizan el pipeline de datos para la consulta o la escritura de datos.

Kafka vs Flume vs Spark

Si se necesitan los procesos en tiempo real, optaría por Spark Streaming, si el tiempo no fuera un factor importante entonces utilizaría trabajos Spark.
El consumidor Kafka es muy simple de utilizar pero proporciona poca funcionalidad. Estos consumidores serán sustituidos por los nuevos Kafka Streams que permiten leer, procesar y analizar datos almacenados en Kafka.

Sitio web ofrecido por WordPress.com.

Subir ↑