in

Apache Kafka – Arquitectura de clúster

cluster architecture

Eche un vistazo a la siguiente ilustración. Muestra el diagrama de conglomerados de Kafka.

Arquitectura de clúster

La siguiente tabla describe cada uno de los componentes que se muestran en el diagrama anterior.

S. No Componentes y descripción
1

Corredor

El clúster de Kafka generalmente consta de varios agentes para mantener el equilibrio de carga. Los corredores de Kafka no tienen estado, por lo que utilizan ZooKeeper para mantener el estado de su clúster. Una instancia de intermediario de Kafka puede manejar cientos de miles de lecturas y escrituras por segundo y cada intermediario puede manejar TB de mensajes sin afectar el rendimiento. La elección del líder del corredor de Kafka la puede realizar ZooKeeper.

2

ZooKeeper

ZooKeeper se utiliza para gestionar y coordinar el corredor de Kafka. El servicio ZooKeeper se utiliza principalmente para notificar al productor y al consumidor sobre la presencia de un nuevo corredor en el sistema Kafka o la falla del corredor en el sistema Kafka. De acuerdo con la notificación recibida por el Zookeeper con respecto a la presencia o falla del corredor, el productor y el consumidor toman una decisión y comienzan a coordinar su tarea con algún otro corredor.

3

Productores

Los productores envían datos a los corredores. Cuando se inicia el nuevo corredor, todos los productores lo buscan y automáticamente envía un mensaje a ese nuevo corredor. El productor de Kafka no espera los reconocimientos del corredor y envía mensajes tan rápido como el corredor puede manejar.

4

Consumidores

Dado que los corredores de Kafka no tienen estado, lo que significa que el consumidor debe mantener la cantidad de mensajes que se han consumido mediante el desplazamiento de partición. Si el consumidor reconoce un desplazamiento de mensaje en particular, implica que el consumidor ha consumido todos los mensajes anteriores. El consumidor emite una solicitud de extracción asincrónica al intermediario para tener un búfer de bytes listo para consumir. Los consumidores pueden retroceder o saltar a cualquier punto de una partición simplemente proporcionando un valor de compensación. ZooKeeper notifica el valor de compensación del consumidor.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

icono de virtual box 6

Cómo poner Virtualbox / Máquina virtual en modo de pantalla completa

apple touch icon@2

ios – Xcode 6.4 La aplicación que ha seleccionado no existe