Kafka vs Flume vs Spark

Si se necesitan los procesos en tiempo real, optaría por Spark Streaming, si el tiempo no fuera un factor importante entonces utilizaría trabajos Spark. El consumidor Kafka es muy simple de utilizar pero proporciona poca funcionalidad. Estos consumidores serán sustituidos por los nuevos Kafka Streams que permiten leer, procesar y analizar datos almacenados en Kafka.

Apache Flume

Apache Flume es un sistema distribuido, confiable y disponible para recoger, agregar y mover grandes cantidades de datos en logs desde diferentes orígenes a un almacén centralizado. Si tenemos una situación en la que los datos no se generan regularmente y queremos hacer una carga masiva de ellos, quizás Flume sea excesivo para esa tarea.... Leer más →

Sitio web ofrecido por WordPress.com.

Subir ↑