codecentric

Tutorial: Installation eines Apache Hadoop Single Node Cluster mit der Hortonworks Data Platform

In diesem Tutorial zeige ich wie man einen Hadoop Single Node Cluster mit der Hortonworks Data Platform in einer Virtualbox installiert. Nach der Installation steht ein voll funktionsfähiger Cluster zum Ausprobieren bereit. Man braucht dazu kein komplett neues System aufsetzen, da alles in der virtuellen Maschine läuft. Die Installation ist ebenso als lokale Entwicklungsumgebung geeignet, um implementierte Map/Reduce Job zu debuggen o.ä. Die Hortonworks Data Platform ist eine 100% Open Source Apache Hadoop Distribution und enthält die folgenden Komponenten:

  • Hadoop Distributed File System (HDFS)
  • MapReduce
  • Apache Pig
  • Apache Hive
  • Apache HCatalog
  • Templeton
  • Apache HBase
  • Apache ZooKeeper
  • Apache Oozie
  • Apache Sqoop
  • Ganglia
  • Nagios

Dieses Tutorial basiert auf diesem Einführungsleitfaden. Während der Installation sollte eine schnelle Internetverbindung zur Verfügung stehen, da ansonsten Probleme mit Puppet timeouts auftreten können. In diesem Fall kann es sinnvoll sein einige RPMs vorher manuell zu installieren. Dieser Thread im Hortonworks Forum ist dazu evtl. hilfreich.

(weiterlesen …)

Dennis Schulte

 

Eindrücke von der MongoDB Munich 2012

MongoDB World Tour 2012

MongoDB World Tour 2012

Im Rahmen der MongoDB World Tour 2012 hat 10gen, die Firma hinter MongoDB, Station in der bayerischen Landeshauptstadt gemacht.

Die eintägige Konferenz im Hilton Park Hotel drehte sich natürlich voll und ganz um MongoDB in all seinen Facetten. Dabei war das Programm ein guter Mix aus Vorträgen von 10gen Ingenieuren sowie von Vorträgen aus der mittlerweile doch sehr großen deutschen Benutzergemeinde. So verwundert es auch nicht, dass die Konferenz mit über 200 Besuchern für eine Herstellerkonferenz erstaunlich gut besucht war. Und wie verschiedene Umfragen während der Vorträge zeigten, setzen viele dieser Besucher MongoDB auch bereits produktiv ein. Dabei ist die Datengröße dieser Installationen meist noch im unteren Gigabyte-Bereich, lediglich wenige Anwender setzen schon Datenbanken im Petabyte-Bereich ein.

codecentric ist bereits seit April dieses Jahres Partner von 10gen und arbeitet eng mit diesen zusammen. So wurden u.a. die Benutzergruppen in Düsseldorf und Frankfurt erfolgreich gestartet sowie auch die ersten Projekte.  Daher war es nur logisch, dass wir uns auch an der Konferenz mit zwei eigenen Beiträgen beteiligt haben.

(weiterlesen …)

Uwe Seiler

 

Persistenz ohne Persistenz

NoSQL-Datenbanken laufen typischerweise auf virtuellen Maschinen in der Cloud. Aber wenn die Maschinen, auf denen sie laufen, virtuell sind, wie kann dann Persistenz gewährleistet werden?

(weiterlesen …)

Stephan Kepser