Mit Apache Atlas können Unternehmen in Hadoop ein zentrales Auditing, eine Datenklassifizierung und Abstammungsfunktionen mit einer eigenen Richtlinien-Engine integrieren. Metadaten und die Speicherung von Audits spielen zusammen mit entsprechenden Richtlinien eine wichtige Rolle im Projekt, Data Governance steht also im Zentrum…Weiterlesen
Schlagwort: Hadoop
So machen Sie Hadoop Beine mit Apache Tez
Apache Tez hilft Unternehmen dabei Anwendungen, zu entwickeln, die zusammen mit Hadoop, Yarn, Hive und Pig eine effiziente Big-Data-Umgebung bieten. Die ursprünglich von Hortonworks entwickelte Anwendung unterstützt Directed Acyclic Graph (DAG) und soll, einfach ausgedrückt, eine Schnittstelle für andere Big-Data-Anwendungen liefern, um deren Leistung zusammen mit Hadoop deutlich zu verbessern…Weiterlesen
So installieren Sie Hadoop mit Ambari auf Microsoft Azure
Ambari zu installieren, ist der beste Weg, möchte man Hadoop im Netzwerk betreiben, denn mit dem Tool lässt sich Hadoop sowohl installieren als auch überwachen. Außerdem lassen sich auch die anderen Zusatzwerkzeuge für Hadoop bequem nutzen. In diesem Beitrag zeigen wir die Installation am Beispiel eines Netzwerkes in Microsoft Azure…Weiterlesen
Neues Videotraining: Hadoop-Cluster in Microsoft Azure
Das Framework Hadoop ermöglicht, rechenintensive Big-Data-Auswertungen auf Server-Clustern durchzuführen. In diesem Video-Training zeige ich Ihnen, wie Sie in Microsoft Azure solche Hadoop-Cluster einrichten und betreiben. Sie erstellen zunächst virtuelle Netzwerke mit Linux- und Windows-Servern. Anschließend errichten Sie mithilfe der Open-Source-Lösung Ambari Ihren ersten Hadoop-Cluster und erhalten Einblicke in seine verschiedenen Nutzungsmöglichkeiten.
YARN & Co. – Hadoop-Erweiterungen im Überblick
Neben der Hadoop-Basis gibt es für die Open-Source-Big-Data-Lösung zahlreiche Erweiterungen und Zusatzfunktionen. Ein prominentes Beispiel ist YARN (Yet Another Resource Negotiator), welches ebenfalls zum offiziellen Apache-Hadoop-Projekt gehört. In diesem Beitrag geben wir einen Einblick in die Möglichkeiten von YARN, ZooKeeper und anderen Erweiterungen…Weiterlesen
Datenbanken, Analyse- und Berichts-Tools im Überblick – Die besten Open Source Tools für Big Data
Bei der Big-Data-Datenanalyse ist dank Hadoop Open Source in vielen Unternehmen ein wichtiges Standbein der IT-Infrastruktur. Es gibt aber noch weitere Perlen aus dem Open-Source-Bereich. Wir zeigen, welche das sind…Weiterlesen…
So führen Sie MapReduce-Jobs in Hadoop/Azure HDInsight durch
Wenn Sie einen Hadoop-Cluster in Windows Azure betreiben, können Sie Anfragen wie bei einem lokal installierten Hadoop-Cluster über MapReduce an den Server stellen. Dabei kann auch die PowerShell verwendet werden. Wir zeigen Schritt für Schritt, wie das geht…Weiterlesen….
Big Data im Unternehmen mit Hadoop
Immer mehr Unternehmen müssen sehr große Datenbanken und Serverprozesse verwalten und organisieren. Gut, wenn das Filesystem dann in der Lage ist, die Rechenaufgaben zwischen verschiedenen Servern verteilen und damit beschleunigen zu können…Weiterlesen…
Hadoop in Windows Azure geschickt genutzt
Die bekannteste Grundlage für Big-Data-Analysen bietet die Java-basierte Open-Source-Lösung „Apache Hadoop“. Diese läuft eigentlich unter Linux und ist für Windows eher ungeeignet. Microsoft bietet trotzdem die Möglichkeit, das Produkt über „Windows Azure“, also: in der Cloud, zu buchen. Das heißt dann „HDInsight“. Wie das geht, steht hier…Weiterlesen…
Thomas Joos 