Moja lekcja

Co to jest ActiveMQ i do czego służy?

Broker wiadomości (Message Broker) implementujący JMS, służy do asynchronicznej komunikacji między aplikacjami.

Czym jest Maven

Narzędzie do budowania projektów Java i zarządzania zależnościami na podstawie POM.

Kolejki (Queues) i tematy (Topics) w ActiveMQ

• Queue – model Point-to-Point, jedna wiadomość → jeden konsument • Topic – model Publish-Subscribe, jedna wiadomość → wielu subskrybentów

Czym jest protokół STOMP?

Tekstowy, prosty protokół do przesyłania wiadomości w systemach kolejkowych.

Czym jest protokół AMQP?

Binarny, wydajny protokół komunikacji wiadomościowej, niezależny od platformy.

Czym jest protokół MQTT?

Lekki protokół komunikacyjny dla IoT i systemów o ograniczonych zasobach.

Czym jest protokół OpenWire?

Natywny, binarny protokół ActiveMQ umożliwiający wydajną komunikację z brokerem.

Czym jest Apache Camel?

Framework open-source do integracji systemów, umożliwiający tworzenie tras routingu i implementację wzorców integracyjnych (EIP) w aplikacjach rozproszonych.

Czym jest trasa (Route) w Apache Camel?

Sekwencja kroków przetwarzania wiadomości, definiująca, jak dane są przesyłane i transformowane między źródłem a celem.

Czym jest Exchange w Apache Camel?

Obiekt reprezentujący wiadomość i jej kontekst podczas przepływu przez trasę. Zawiera dane wejściowe, dane wyjściowe i metadane.

Czym są komponenty (Components) w Apache Camel?

Moduły umożliwiające integrację z różnymi protokołami, systemami i usługami (np. HTTP, JMS, ActiveMQ, FTP), obsługujące źródła i cele wiadomości w trasach.

Czym jest Apache Hadoop i do czego służy?

Apache Hadoop to framework do rozproszonego przetwarzania dużych zbiorów danych. Służy do składowania i analizy Big Data w klastrach komputerów, z możliwością skalowania i odporności na awarie.

Co to jest HDFS i jakie są jego zalety?

HDFS to rozproszony system plików Hadoop. Zalety: skalowalność, odporność na awarie (replikacja danych), wysoka wydajność przy dużych plikach.

Co to jest MapReduce i jakie są jego etapy?

MapReduce to model przetwarzania rozproszonego dużych danych. Etapy: 1. Map – dzieli dane na fragmenty i tworzy pary klucz-wartość. 2. Shuffle/Sort – grupuje dane po kluczach. 3. Reduce – agreguje wartości dla każdego klucza, np. sumuje.

Czym jest Apache Kafka?

Apache Kafka to otwartoźródłowa platforma do przetwarzania strumieni danych w czasie rzeczywistym, umożliwiająca szybki, skalowalny i niezawodny transfer informacji między systemami i aplikacjami.

Czym jest Zookeeper i jakie pełni funkcje?

Zookeeper to narzędzie do zarządzania rozproszonymi systemami. Koordynuje usługi w klastrze, synchronizuje dane między węzłami, zarządza konfiguracją, wybiera lidera i monitoruje stan systemu.

Czym są tematy (topics) w Apache Kafka?

Tematy to podstawowe kanały w Kafka, służące do publikowania i odbierania wiadomości. Mogą mieć wiele partycji, umożliwiając równoległe przetwarzanie, i działają jak kolejki w tradycyjnych brokerach wiadomości.

Czym jest OpenESB i jakie są jego główne zastosowania?

OpenESB (Open Enterprise Service Bus) to platforma integracyjna oparta na SOA, łącząca różne systemy i aplikacje. Zastosowania: integracja systemów, automatyzacja procesów biznesowych, transformacja danych, monitorowanie przepływów.

Co to jest JavaEE i dlaczego jest używana w OpenESB?

JavaEE to zestaw standardów do tworzenia aplikacji korporacyjnych w Javie. W OpenESB: zapewnia stabilne środowisko dla serwisów, umożliwia skalowalność, obsługę SOAP/REST, transakcji i kolejek wiadomości.

Czym jest WSDL i jakie ma znaczenie w tworzeniu serwisów SOA?

WSDL to język XML opisujący usługi sieciowe (operacje, wiadomości, protokoły, adresy). Znaczenie: standaryzuje usługi, umożliwia automatyczne generowanie klienta i serwera, ułatwia integrację w SOA.

Co to jest Composite Application i jaka jest jej rola w OpenESB?

Composite Application to pakiet wielu komponentów (BPEL, WSDL, bindingi) działających razem. Rola w OpenESB: pozwala na modularną integrację i wdrożenie usług w jednym pakiecie, ułatwia automatyzację procesów biznesowych.

Co to jest Apache NiFi i do czego służy?

Platforma do automatyzacji przepływu danych między systemami w czasie rzeczywistym.

Czym jest FlowFile w Apache NiFi?

Podstawowa jednostka danych z zawartością i metadanymi, przesyłana przez potoki danych.

Główne komponenty Apache NiFi:

• Procesory – operacje na danych (np. transformacja, zapis). • Łącza – przesyłanie FlowFiles między procesorami. • Grupy procesorów – organizacja potoków. • Szablony – zapis i przenoszenie potoków.

Co to jest procesor w Apache NiFi i jakie są jego przykłady?

Komponent wykonujący operacje na FlowFiles. Przykłady: GenerateFlowFile, PutFile, ListenHTTP, RouteOnContent, MergeContent.

Jakie są zalety stosowania Apache NiFi w zarządzaniu strumieniami danych?

Łatwe tworzenie i monitorowanie potoków, obsługa danych w czasie rzeczywistym, skalowalność, routing i transformacja danych, ponowne użycie potoków przez szablony.

Wyjaśnij, czym jest Apache Spark i jakie są jego główne zastosowania.

Apache Spark to szybka platforma do przetwarzania dużych danych w pamięci. Zastosowania: analiza danych, ETL, machine learning, przetwarzanie strumieniowe.

Jak wygląda architektura Apache Spark? Wymień i opisz główne komponenty.

• Driver – zarządza aplikacją, planuje zadania. • Cluster Manager – przydziela zasoby (YARN, Mesos). • Executor – wykonuje zadania. • Task – najmniejsza jednostka pracy. • RDD/DataFrame – dane w pamięci do przetwarzania.

Wyjaśnij pojęcie RDD w Apache Spark i jakie są jego podstawowe cechy.

RDD (Resilient Distributed Dataset) – rozproszona, niezmienna kolekcja danych w pamięci; odporna na awarie, dzielona na partycje, wspiera operacje równoległe.

Wyjaśnij rolę obiektu SparkContext w Apache Spark.

SparkContext inicjuje sesję Spark i umożliwia tworzenie RDD oraz komunikację z klastrem.

Jak działają operacje map, flatMap i filter? Podaj przykłady ich użycia w Spark.

• map – przekształca elementy: rdd. map(x => x*2) • flatMap – przekształca i spłaszcza: rdd. flatMap(x => x. split(" ")) • filter – wybiera elementy spełniające warunek: rdd. filter(x => x > 5)

Wyjaśnij różnicę między operacjami reduce i collect.

• reduce – agreguje dane do jednej wartości: rdd. reduce(_ + _) • collect – pobiera wszystkie elementy RDD do lokalnej pamięci.