Hadoop und Spark: Grundlagen und Anwendungen in der Big Data Analyse

Question 1

Welches Framework wird für die parallele Verarbeitung und Analyse großer Datenmengen eingesetzt?

Accepted Answer

Spark

Answer

Pig

Answer

Hive

Answer

Hadoop

Question 2

Welcher der folgenden Vorteile ist mit der Verwendung von Hadoop verbunden?

Accepted Answer

Alle genannten Punkte

Answer

Skalierbare Datenverarbeitung in parallelen Umgebungen

Answer

Bereitstellung eines fehlertoleranten Speichersystems

Answer

Implementierung komplexer Analysen

Question 3

Welche Hadoop-Komponente ist für die Verwaltung des zugrunde liegenden Dateisystems verantwortlich?

Accepted Answer

HDFS

Answer

MapReduce

Answer

Pig

Answer

Oozie

Question 4

Welches Spark-Tool ermöglicht es, umfangreiche Datenmengen in einem In-Memory-Format zu verarbeiten?

Accepted Answer

Resilient Distributed Datasets (RDDs)

Answer

DataFrames

Answer

Datasets

Answer

Streams

Question 5

Welche Programmiersprachen werden typischerweise in Spark-Anwendungen verwendet?

Accepted Answer

Alle genannten Sprachen

Answer

Java

Answer

Python

Answer

Scala

Question 6

Welche Spark-Eigenschaft ermöglicht die Verarbeitung von Daten aus verschiedenen Quellen?

Accepted Answer

Einheitliche Schnittstelle

Answer

Skalierbarkeit

Answer

Fehlertoleranz

Answer

Echtzeitanwendungen

Question 7

Welches Hadoop-Tool wird zur Koordination und Planung von Big-Data-Aufgaben verwendet?

Accepted Answer

Oozie

Answer

Pig

Answer

Hive

Answer

HBase

Question 8

Welche Spark-Komponente ist für die Optimierung und Ausführung von Datenverarbeitungsvorgängen verantwortlich?

Accepted Answer

Catalyst-Optimierer

Answer

SQL-Kontext

Answer

RDD

Answer

DataFrames

Question 9

Welche Technologie bietet eine skalierbare und fehlertolerante Datenspeicherung für große Datenmengen?

Accepted Answer

HDFS

Answer

Hive

Answer

Pig

Answer

Flume

Question 10

Welche Hadoop-Komponente ist für die Koordination und Verwaltung von Ressourcen sowie die Planung und Überwachung von Hadoop-Jobs verantwortlich?

Accepted Answer

Yarn

Answer

HDFS

Answer

MapReduce

Answer

Hive

Question 11

Welche der folgenden Komponenten ist **nicht** Teil der Hadoop-Architektur?

Accepted Answer

SQL-Datenbank

Answer

Name Node

Answer

Data Node

Answer

ResourceManager

Question 12

Welche der folgenden Aussagen zum MapReduce-Paradigma ist **nicht** korrekt?

Accepted Answer

Map- und Reduce-Aufgaben werden sequentiell ausgeführt.

Answer

Map-Aufgaben verarbeiten Datenblöcke.

Answer

Reduce-Aufgaben aggregieren Zwischenergebnisse.

Question 13

Welches der folgenden Konzepte ist für die Fehlerbehandlung in Spark von zentraler Bedeutung?

Accepted Answer

Resilient Distributed Datasets (RDDs)

Answer

Cluster-Manager

Answer

Yarn

Answer

Worker-Knoten

Question 14

Welche der folgenden Spark-Komponenten ist für die Verwaltung des Workflow- und Ressourcenmanagements verantwortlich?

Accepted Answer

SparkContext

Answer

SQLContext

Answer

MLlib

Answer

Resilient Distributed Datasets (RDDs)

Question 15

Welche der folgenden Anwendungen ist für Hadoop **nicht** geeignet?

Accepted Answer

Echtzeit-Datenanalyse

Answer

Datenaufbereitung

Answer

Stapelverarbeitung

Answer

Maschinelles Lernen

Question 16

Welche der folgenden Aussagen zur Skalierbarkeit von Spark ist **korrekt**?

Accepted Answer

Spark kann horizontal und vertikal skaliert werden.

Answer

Spark kann nur vertikal skaliert werden.

Answer

Spark kann nur horizontal skaliert werden.

Question 17

Welche der folgenden Komponenten ist ein Kernelement des Hadoop-Ökosystems?

Accepted Answer

HDFS (Hadoop Distributed File System)

Answer

Elasticsearch

Answer

MongoDB

Answer

Cassandra

Question 18

Welche Komponente ist für die Speicherung großer Datenmengen in Hadoop verantwortlich?

Accepted Answer

Hadoop Distributed File System (HDFS)

Answer

MapReduce

Answer

Yarn (Yet Another Resource Negotiator)

Question 19

Welche Aufgabe erfüllt MapReduce in Hadoop?

Accepted Answer

Verarbeitung großer Datenmengen durch parallele Verarbeitung

Answer

Clusterverwaltung

Answer

Verwaltung des Dateisystems

Question 20

Welches Dateiformat wird für die Datenspeicherung in HDFS verwendet?

Accepted Answer

Hadoop Sequence File (HDFS)

Answer

CSV

Answer

XML

Answer

JSON

Question 21

Was ist die Hauptfunktion von Spark SQL?

Accepted Answer

Ermöglicht die Ausführung von SQL-Abfragen auf Spark Dataframes

Answer

Ist ein eigenständiges Tool, das nicht zu Spark gehört

Answer

Unterstützt nur begrenzte SQL-Funktionen

Question 22

Welche Komponente ist für die Clusterverwaltung in Spark verantwortlich?

Accepted Answer

SparkContext

Answer

Resilient Distributed Dataset (RDD)

Answer

SQLContext

Answer

Dataframe

Question 23

Welche Spark-Transformation wird verwendet, um doppelte Elemente aus einem Dataset zu entfernen?

Accepted Answer

distinct()

Answer

filter()

Answer

map()

Answer

reduce()

Question 24

Welche Aussage über Spark Streaming ist falsch?

Accepted Answer

Kann nur Daten aus HDFS verarbeiten

Answer

Verwendet eine ähnliche API wie Spark Core

Answer

Ermöglicht die Verarbeitung von Echtzeitdaten

Question 25

Welche Aufgabe übernimmt ein DataNode im Hadoop-System?

Accepted Answer

Speichert Datenblöcke und verwaltet deren Replikate.

Answer

Koordiniert den Ablauf von Hadoop-Jobs.

Answer

Verarbeitet MapReduce-Aufgaben.

Answer

Verwaltet den Zugriff auf das Dateisystem.

Question 26

Über welches Netzwerkprotokoll kommunizieren Worker-Knoten in Spark?

Accepted Answer

Netty

Answer

Thrift

Answer

RPC

Answer

Avro

Question 27

Was beschreibt Hadoop am treffendsten?

Accepted Answer

Ein Framework zur verteilten Speicherung und Verarbeitung großer Datenmengen.

Answer

Ein maschinelles Lerntool.

Answer

Ein relationales Datenbankmanagementsystem.

Answer

Ein Cloud-basierter Speicherdienst.

Question 28

Welche Komponente ist zentraler Bestandteil der Hadoop-Architektur?

Accepted Answer

HDFS (Hadoop Distributed File System)

Answer

Spark

Answer

Cassandra

Answer

Hive

Question 29

Welche Aufgabe hat MapReduce in Hadoop?

Accepted Answer

Verteilt Verarbeitungsaufgaben auf mehrere Knoten.

Answer

Verwaltet Ressourcen im Hadoop-Cluster.

Answer

Führt Datenbankabfragen aus.

Answer

Stellt ein verteiltes Dateisystem bereit.

Question 30

Welche Spark DataFrame-API wird zum Laden von Daten aus einer Datei verwendet?

Accepted Answer

read()

Answer

get()

Answer

load()

Answer

import()

Question 31

Welches Szenario ist ein typischer Anwendungsfall für Hadoop und Spark?

Accepted Answer

Analyse von Social-Media-Daten zur Ermittlung der Stimmung (Sentiment Analysis)

Answer

Verarbeitung von Textdokumenten

Answer

Betrieb relationaler Datenbanken

Answer

Verwaltung von E-Mails

Question 32

Welche Aussage beschreibt den Unterschied zwischen Hadoop und Spark am besten?

Accepted Answer

Hadoop bietet ein robustes Dateisystem für die Speicherung großer Datenmengen, während Spark eine schnellere Verarbeitung dieser Daten ermöglicht.

Answer

Hadoop ist für die Verarbeitung strukturierter Daten geeignet, während Spark für unstrukturierte Daten optimiert ist.

Answer

Hadoop ist ein In-Memory-Computing-Framework, während Spark für batch-basierte Verarbeitung optimiert ist.

Answer

Spark ist eine Erweiterung von Hadoop, die zusätzliche Funktionen für die Datenanalyse bietet.

Question 33

Welche Technologie wird in Hadoop für die verteilte Speicherung und den Zugriff auf große Datenmengen verwendet?

Accepted Answer

Hadoop Distributed File System (HDFS)

Answer

Apache Hive

Answer

Apache Pig

Answer

MapReduce

Question 34

Welche Komponente von Spark ist für die Verwaltung der Ressourcen und die Ausführung von Anwendungen verantwortlich?

Accepted Answer

ResourceManager

Answer

JobScheduler

Answer

Executor

Answer

Scheduler

Question 35

Welches Datenmodell verwendet Spark, um Daten in einer verteilten und fehlertoleranten Weise zu speichern und zu verarbeiten?

Accepted Answer

Resilient Distributed Dataset (RDD)

Answer

NoSQL Document

Answer

Parquet File

Answer

Hive Table

Question 36

Welche Operation in Spark wird verwendet, um Daten in ein neues Dataset zu transformieren, indem eine Funktion auf jedes Element angewendet wird?

Accepted Answer

Map

Answer

Join

Answer

Reduce

Answer

Aggregate

Question 37

Welcher der folgenden Vorteile ist charakteristisch für die Verwendung von Spark?

Accepted Answer

Schnelle Datenverarbeitung durch In-Memory-Berechnungen

Answer

Kostengünstige Implementierung im Vergleich zu anderen Big-Data-Technologien

Answer

Komplexe Datenmodellierung mit Unterstützung für verschiedene Datenformate

Answer

Hohe Datensicherheit durch Verschlüsselung und Zugriffskontrolle

Question 38

Welches Framework ermöglicht die Ausführung von SQL-Abfragen auf Spark-Daten?

Accepted Answer

Apache Hive

Answer

Apache Pig

Answer

Apache Impala

Answer

Apache Phoenix

Question 39

Für welche Art von Aufgaben sind Hadoop und Spark besonders gut geeignet?

Accepted Answer

Analyse großer Datenmengen, z. B. für Machine Learning, Data Mining und Business Intelligence

Answer

Webentwicklung und Erstellung dynamischer Websites

Answer

Datenbankanwendungen mit relationalen Datenbanken

Answer

Cloud Computing und Bereitstellung von virtuellen Servern

Question 40

Welches Protokoll wird in Hadoop für die Kommunikation zwischen dem NameNode und den DataNodes verwendet?

Accepted Answer

Remote Procedure Call (RPC)

Answer

TCP

Answer

UDP

Answer

HTTP

Question 41

Welche Komponente von Spark ist für die Speicherung von persistenten Daten und die Wiederherstellung nach Fehlern verantwortlich?

Accepted Answer

Resilient Distributed Dataset (RDD)

Answer

Stream

Answer

Dataset

Answer

Dataframe

Question 42

Welcher Dateityp wird in Hadoop primär für die persistente Speicherung großer Datenmengen verwendet?

Accepted Answer

Hadoop Sequence File (HDFS)

Answer

TXT-Datei

Answer

CSV-Datei

Answer

JSON-Datei

Question 43

Welche transformative Operation kann Spark auf einem Resilient Distributed Dataset (RDD) anwenden?

Accepted Answer

Map

Answer

Join

Answer

Sort

Answer

Union

Question 44

Welcher Hauptvorteil zeichnet Spark im Vergleich zu Hadoop aus?

Accepted Answer

Signifikant höhere Verarbeitungsgeschwindigkeit

Answer

Geringerer Speicherbedarf

Answer

Erhöhte Fehlertoleranz

Answer

Vereinfachte Programmierung

Question 45

Was ist die Funktion von Spark SQL?

Accepted Answer

Bereitstellung einer Schnittstelle zur Ausführung von SQL-Abfragen auf Spark-Dataframes

Answer

Eine eigenständige Komponente, die zusätzlich zu Spark installiert werden muss

Answer

Unterstützung einer begrenzten Teilmenge von SQL-Befehlen

Question 46

Welcher Algorithmus ist in Spark für Aufgaben im Bereich maschinelles Lernen weit verbreitet?

Accepted Answer

Random Forest

Answer

QuickSort

Answer

Dijkstra

Answer

Bellman-Ford

Question 47

Was ist die Hauptaufgabe des Yarn Resource Managers in Hadoop?

Accepted Answer

Zentrale Verwaltung der Ressourcenzuteilung für Anwendungen

Answer

Durchführung von Berechnungen

Answer

Speicherung von Daten

Answer

Koordination der Knoten

Question 48

Wie unterscheiden sich die Rollen von Driver-Programm und Executor in Spark?

Accepted Answer

Das Driver-Programm initiiert und koordiniert Executor-Tasks, während Executors die eigentlichen Berechnungen ausführen.

Answer

Der Executor startet das Driver-Programm, während das Driver-Programm die Berechnungen durchführt.