Curso de Apache Kafka for Python Programmers
Apache Kafka es una plataforma de procesamiento de flujos de código abierto que proporciona una plataforma rápida, confiable y de baja latencia para manejar análisis de datos en tiempo real. Apache Kafka se puede integrar con los lenguajes de programación disponibles, como Python.
Esta capacitación en vivo dirigida por un instructor (en línea o presencial) está dirigida a ingenieros de datos, científicos de datos y programadores que deseen utilizar las funciones Apache Kafka en la transmisión de datos con Python.
Al final de esta capacitación, los participantes podrán usar Apache Kafka para monitorear y administrar condiciones en flujos de datos continuos utilizando Python programación.
Formato del curso
- Charla interactiva y discusión.
- Muchos ejercicios y práctica.
- Implementación práctica en un entorno de laboratorio en vivo.
Opciones de personalización del curso
- Para solicitar una formación personalizada para este curso, póngase en contacto con nosotros para concertarlo.
Programa del Curso
Introducción
Descripción general de Apache Kafka Características y arquitectura para Python
- API principales (productor, consumidor, flujos, conector)
- Conceptos y usos
AccessIng. Kafka en Python
- Bibliotecas disponibles Python para su uso
- Formatos de compresión compatibles
Instalación Apache Kafka
- Instalación del ordenador
- Instalación de servidor privado virtual y máquina virtual
Inicio de Kafka Broker Server
- Lectura y edición mediante un IDE (Entorno de Desarrollo Integrado)
- Guardián del zoológico en funcionamiento
- Carpeta de registros
Creación de un tema de Kafka
- Conexión a un clúster de Kafka
- Lectura de los detalles del tema
Envío de mensajes mediante productores
- Iniciando un productor
- Examen de los mensajes entrantes
- Ejecución de varios productores
Consumo de mensajes
- Consumidor de consola Kafka
- Ejecución de varios consumidores
Solución de problemas
Resumen y conclusión
Requerimientos
- Experiencia con Python lenguaje de programación
- Familiaridad con las plataformas de procesamiento de flujos
Audiencia
- Ingenieros de datos
- Científicos de datos
- Programadores
Los cursos de formación abiertos requieren más de 5 participantes.
Curso de Apache Kafka for Python Programmers - Booking
Curso de Apache Kafka for Python Programmers - Enquiry
Apache Kafka for Python Programmers - Consultas
Consultas
Testimonios (4)
Suficiente práctica, el instructor es conocedor
Chris Tan
Curso - A Practical Introduction to Stream Processing
Traducción Automática
Durante los ejercicios, James me explicó cada paso en detalle donde me estaba atascando. Yo era completamente nuevo en NIFI. Él explicó el propósito real de NIFI, incluso conceptos básicos como ser código abierto. Cubrió todos los conceptos de Nifi, desde nivel principiante hasta nivel desarrollador.
Firdous Hashim Ali - MOD A BLOCK
Curso - Apache NiFi for Administrators
Traducción Automática
Que lo tuviera en primer lugar.
Peter Scales - CACI Ltd
Curso - Apache NiFi for Developers
Traducción Automática
Recordatorio/revisión de puntos clave de los temas discutidos.
Paolo Angelo Gaton - SMS Global Technologies Inc.
Curso - Building Stream Processing Applications with Kafka Streams
Traducción Automática
Próximos cursos
Cursos Relacionados
Apache Kafka Connect
7 HorasEsta capacitación en vivo dirigida por un instructor en Argentina (en línea o en el sitio) está dirigida a desarrolladores que desean integrarse Apache Kafka con bases de datos y aplicaciones existentes para procesamiento, análisis, etc.
Al final de esta formación, los participantes serán capaces de:
- Utilice Kafka Connect para ingerir grandes cantidades de datos de una base de datos en temas de Kafka.
- Ingesta de datos de registro generados por un servidor de aplicaciones en temas de Kafka.
- Haga que los datos recopilados estén disponibles para el procesamiento de flujos.
- Exporte datos de temas de Kafka a sistemas secundarios para su almacenamiento y análisis.
Unified Batch and Stream Processing with Apache Beam
14 HorasApache Beam es un modelo de programación unificado de código abierto para definir y ejecutar tuberías de procesamiento de datos paralelas. Su poder radica en su capacidad para ejecutar canalizaciones por lotes y de transmisión, y la ejecución la lleva a cabo uno de los back-ends de procesamiento distribuido compatibles con Beam: Apache Apex, Apache Flink, Apache Spark y Google Cloud Dataflow. Apache Beam es útil para tareas ETL (Extracción, Transformación y Carga), como mover datos entre diferentes medios de almacenamiento y fuentes de datos, transformar datos a un formato más deseable y cargar datos en un nuevo sistema.
En esta capacitación en vivo dirigida por un instructor (presencial o remota), los participantes aprenderán a implementar los SDK Apache Beam en una aplicación Java o Python que define una canalización de procesamiento de datos para descomponer un conjunto de datos grandes en fragmentos más pequeños para un procesamiento paralelo e independiente.
Al final de esta formación, los participantes serán capaces de:
- Instalar y configurar Apache Beam.
- Utilice un único modelo de programación para llevar a cabo el procesamiento por lotes y por secuencias desde su aplicación Java o Python.
- Ejecute canalizaciones en múltiples entornos.
Formato del curso
- En parte conferencia, en parte discusión, ejercicios y práctica práctica pesada
Nota
- Este curso estará disponible Scala en el futuro. Póngase en contacto con nosotros para organizarlo.
Building Kafka Solutions with Confluent
14 Horaseste entrenamiento en vivo (in situ o remoto) dirigido por un instructor está dirigido a ingenieros que deseen utilizar Confluent (una distribución de Kafka) para construir y administrar una plataforma de procesamiento de datos en tiempo real para sus aplicaciones.
al final de esta formación, los participantes podrán:
- instalar y configurar la plataforma Confluent.
- use herramientas y servicios de administración de Confluent & #39; s para ejecutar Kafka más fácilmente.
- Store y procese los datos de la secuencia entrante.
- optimice y administre clústeres de Kafka. flujos de datos
- Secure.
Format del curso
-
Conferencia y discusión
- Interactive.
- muchos ejercicios y prácticas. implementación práctica de
- en un entorno de laboratorio en vivo.
Course
- este curso se basa en la versión de código abierto de Confluent: fuente abierta Confluent.
- para solicitar una formación personalizada para este curso, póngase en contacto con nosotros para organizar.
Flink para Flujo Escalable y Procesamiento de Datos por Lotes
28 HorasEsta capacitación en vivo dirigida por un instructor en Argentina (en línea o presencial) presenta los principios y enfoques detrás del procesamiento de datos de flujo distribuido y por lotes, y guía a los participantes a través de la creación de una aplicación de transmisión de datos en tiempo real en Apache Flink.
Al final de esta formación, los participantes serán capaces de:
- Configure un entorno para desarrollar aplicaciones de análisis de datos.
- Comprender cómo funciona la biblioteca de procesamiento de gráficos (Gelly) de Apache Flink.
- Empaquete, ejecute y supervise aplicaciones de transmisión de datos tolerantes a errores y basadas en Flink.
- Administre diversas cargas de trabajo.
- Realizar analíticas avanzadas.
- Configure un clúster de Flink de varios nodos.
- Mida y optimice el rendimiento.
- Integre Flink con diferentes Big Data sistemas.
- Compare las capacidades de Flink con las de otros marcos de procesamiento de big data.
Una introducción práctica al procesamiento de flujo
21 HorasEn esta capacitación en vivo dirigida por un instructor en Argentina (presencial o remoto), los participantes aprenderán cómo configurar e integrar diferentes marcos Stream Processing con los sistemas de almacenamiento de big data existentes y las aplicaciones de software y microservicios relacionados.
Al final de esta formación, los participantes serán capaces de:
- Instale y configure diferentes marcos Stream Processing, como Spark Streaming y Kafka Streaming.
- Comprender y seleccionar el marco más adecuado para el trabajo.
- Procesamiento de datos de forma continua, simultánea y registro por registro.
- Integre Stream Processing soluciones con bases de datos, almacenes de datos, lagos de datos, etc. existentes.
- Integre la biblioteca de procesamiento de flujos más adecuada con aplicaciones empresariales y microservicios.
Creación de aplicaciones de procesamiento de flujo con Kafka Streams
7 HorasKafka Streams es una biblioteca del lado del cliente para crear aplicaciones y microservicios cuyos datos se pasan hacia y desde un sistema de mensajería de Kafka. Tradicionalmente, Apache Kafka se ha basado en Apache Spark o Apache Storm para procesar datos entre los productores de mensajes y los consumidores. Al llamar a la API de Kafka Streams desde una aplicación, los datos se pueden procesar directamente dentro de Kafka, evitando la necesidad de enviar los datos a un clúster independiente para su procesamiento.
En esta capacitación en vivo dirigida por un instructor, los participantes aprenderán cómo integrar Kafka Streams en un conjunto de aplicaciones de muestra Java que pasan datos hacia y desde Apache Kafka para el procesamiento de flujos.
Al final de esta formación, los participantes serán capaces de:
- Comprender las características y ventajas de Kafka Streams sobre otros marcos de procesamiento de flujos
- Procese datos de flujo directamente dentro de un clúster de Kafka
- Escribir una aplicación Java o Scala o un microservicio que se integre con Kafka y Kafka Streams
- Escribir código conciso que transforme los temas de Kafka de entrada en temas de Kafka de salida
- Compilar, empaquetar e implementar la aplicación
Audiencia
- Desarrolladores
Formato del curso
- En parte conferencia, en parte discusión, ejercicios y práctica práctica intensa
Notas
- Para solicitar una formación personalizada para este curso, póngase en contacto con nosotros para concertar
Confluent KSQL
7 HorasEsta capacitación en vivo dirigida por un instructor en Argentina (en línea o presencial) está dirigida a desarrolladores que desean implementar Apache Kafka el procesamiento de flujos sin escribir código.
Al final de esta formación, los participantes serán capaces de:
- Instale y configure Confluent KSQL.
- Configure una canalización de procesamiento de secuencias utilizando solo los comandos SQL (sin codificación Java o Python).
- Lleve a cabo el filtrado de datos, las transformaciones, las agregaciones, las uniones, las ventanas y la sessionización íntegramente en SQL.
- Diseñe e implemente consultas interactivas y continuas para la transmisión de ETL y análisis en tiempo real.
Apache NiFi para administradores
21 HorasEn esta capacitación en vivo dirigida por un instructor en Argentina (presencial o remoto), los participantes aprenderán cómo implementar y administrar Apache NiFi en un entorno de laboratorio en vivo.
Al final de esta formación, los participantes serán capaces de:
- Instala y configura Apachi NiFi.
- Obtenga, transforme y administre datos de fuentes de datos dispares y distribuidas, incluidas bases de datos y lagos de big data.
- Automatice los flujos de datos.
- Habilite el análisis de transmisión.
- Aplique varios enfoques para la ingesta de datos.
- Transforme Big Data y conviértase en información empresarial.
Apache NiFi para desarrolladores
7 HorasEn esta capacitación en vivo dirigida por un instructor en Argentina, los participantes aprenderán los fundamentos de la programación basada en flujo a medida que desarrollan una serie de extensiones, componentes y procesadores de demostración utilizando Apache NiFi.
Al final de esta formación, los participantes serán capaces de:
- Comprenda la arquitectura de NiFi y los conceptos de flujo de datos.
- Desarrolle extensiones utilizando NiFi y API de terceros.
- Desarrollar a medida su propio procesador Apache Nifi.
- Ingiera y procese datos en tiempo real de formatos de archivo y fuentes de datos dispares y poco comunes.
Spark Streaming with Python and Kafka
7 HorasEsta capacitación en vivo dirigida por un instructor en Argentina (en línea o en el sitio) está dirigida a ingenieros de datos, científicos de datos y programadores que deseen utilizar Spark Streaming funciones en el procesamiento y análisis de datos en tiempo real.
Al final de esta capacitación, los participantes podrán usar Spark Streaming para procesar flujos de datos en vivo para su uso en bases de datos, sistemas de archivos y paneles de control en vivo.