{"id":804,"date":"2019-09-17T13:11:02","date_gmt":"2019-09-17T11:11:02","guid":{"rendered":"http:\/\/wordpress.p527199.webspaceconfig.de\/?p=804"},"modified":"2019-09-25T16:18:05","modified_gmt":"2019-09-25T14:18:05","slug":"das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster","status":"publish","type":"post","link":"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/","title":{"rendered":"Das Internet der Dinge, Big Data und eine Fischertechnik-Fabrik &#8211; Teil 3: Der Big Data-Cluster"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"804\" class=\"elementor elementor-804\" data-elementor-settings=\"{&quot;element_pack_global_tooltip_width&quot;:{&quot;unit&quot;:&quot;px&quot;,&quot;size&quot;:&quot;&quot;,&quot;sizes&quot;:[]},&quot;element_pack_global_tooltip_width_tablet&quot;:{&quot;unit&quot;:&quot;px&quot;,&quot;size&quot;:&quot;&quot;,&quot;sizes&quot;:[]},&quot;element_pack_global_tooltip_width_mobile&quot;:{&quot;unit&quot;:&quot;px&quot;,&quot;size&quot;:&quot;&quot;,&quot;sizes&quot;:[]},&quot;element_pack_global_tooltip_padding&quot;:{&quot;unit&quot;:&quot;px&quot;,&quot;top&quot;:&quot;&quot;,&quot;right&quot;:&quot;&quot;,&quot;bottom&quot;:&quot;&quot;,&quot;left&quot;:&quot;&quot;,&quot;isLinked&quot;:true},&quot;element_pack_global_tooltip_padding_tablet&quot;:{&quot;unit&quot;:&quot;px&quot;,&quot;top&quot;:&quot;&quot;,&quot;right&quot;:&quot;&quot;,&quot;bottom&quot;:&quot;&quot;,&quot;left&quot;:&quot;&quot;,&quot;isLinked&quot;:true},&quot;element_pack_global_tooltip_padding_mobile&quot;:{&quot;unit&quot;:&quot;px&quot;,&quot;top&quot;:&quot;&quot;,&quot;right&quot;:&quot;&quot;,&quot;bottom&quot;:&quot;&quot;,&quot;left&quot;:&quot;&quot;,&quot;isLinked&quot;:true},&quot;element_pack_global_tooltip_border_radius&quot;:{&quot;unit&quot;:&quot;px&quot;,&quot;top&quot;:&quot;&quot;,&quot;right&quot;:&quot;&quot;,&quot;bottom&quot;:&quot;&quot;,&quot;left&quot;:&quot;&quot;,&quot;isLinked&quot;:true},&quot;element_pack_global_tooltip_border_radius_tablet&quot;:{&quot;unit&quot;:&quot;px&quot;,&quot;top&quot;:&quot;&quot;,&quot;right&quot;:&quot;&quot;,&quot;bottom&quot;:&quot;&quot;,&quot;left&quot;:&quot;&quot;,&quot;isLinked&quot;:true},&quot;element_pack_global_tooltip_border_radius_mobile&quot;:{&quot;unit&quot;:&quot;px&quot;,&quot;top&quot;:&quot;&quot;,&quot;right&quot;:&quot;&quot;,&quot;bottom&quot;:&quot;&quot;,&quot;left&quot;:&quot;&quot;,&quot;isLinked&quot;:true}}\" data-elementor-post-type=\"post\">\n\t\t\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-758afbc elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"758afbc\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-dd2e744\" data-id=\"dd2e744\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t<div class=\"elementor-element elementor-element-3457262 elementor-widget elementor-widget-text-editor\" data-id=\"3457262\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t<p>In den ersten beiden Teilen dieses Blogs haben wir die Fischertechnik Fabriksimulation gezeigt. Diese Fabriksimulation soll nun kontinuierlich Daten erzeugen, die einerseits in einem Big Data-Cluster landen sollen, andererseits mit Mitteln des SAP BW oder mit SAP Analytics for Cloud reportbar sein sollen.<\/p><p>Als Big Data-Cluster wurde bei uns eine Cloudera-Installation aufgebaut. \u00c4hnlich wie bei Linux, dem kostenlosen open-Source-Betriebssystem, das man in vorkonfigurierten und dann kostenpflichtigen Versionen erwerben kann (z.B. Suse Linux, RedHat,\u2026), gibt es von Apache Hadoop ebenfalls vorkonfigurierte Installation wie z.B. von Hortonworks oder von Cloudera. Wir haben uns f\u00fcr Cloudera entschieden und haben eine 60-Tage-kostenlose Enterprise Edition installiert. Da es sich nur um eine Demoanwendung handelt, ist es auch ein einfacher Cluster mit nur einem Knoten geworden.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-d60367f elementor-widget elementor-widget-image\" data-id=\"d60367f\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<img fetchpriority=\"high\" decoding=\"async\" width=\"1024\" height=\"551\" src=\"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT_1-1024x551.png\" class=\"attachment-large size-large wp-image-812\" alt=\"\" srcset=\"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT_1-1024x551.png 1024w, https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT_1-300x161.png 300w, https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT_1-768x413.png 768w, https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT_1.png 1199w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-df4bb1a elementor-widget elementor-widget-text-editor\" data-id=\"df4bb1a\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t<p>Hadoop kommt mit einer ganzen Reihe von Services daher, die dem Laien erstmal wenig sagen und in ihrer Anzahl und Bedeutung zun\u00e4chst sehr verwirrend sind.<\/p><ul><li>HBase ist die Datenbank des Systems.<\/li><li>HDFS ist das Hadoop Distributed File System, welches Daten redundant speichert und damit hohe Ausfallsicherheit garantiert.<\/li><li>Hive ist ein Service, der SQL-artige Abfragen gegen die Datenbank des Systems erlaubt.<\/li><li>Impala erm\u00f6glicht schnellere SQL-Abfragen als Hive durch bessere parallele Algorithmen. Impala dient vor allem dem schnellen Lesen und weniger anderen Vorg\u00e4ngen, wie Anlegen, Schreiben oder \u00c4ndern.<\/li><li>Hue ist ein Service, der eine SQL-Abfrage-Workbench und \u2013Visualisierung bietet. Hier kann man z.B. SELECT-Statements ausprobieren (und dabei w\u00e4hlen, ob man \u00fcber die Hive- oder die Impala-Engine abfragen m\u00f6chte).<\/li><li>Kafka erm\u00f6glicht das Laden und Exportieren von Datenstr\u00f6men.<\/li><li>Oozie ist der Service, mit dem Batch-Jobs eingeplant werden.<\/li><li>YARN ist die Ressourcen-Verwaltung, die auch die Zuteilung von Abfragen zu Servern steuert.<\/li><li>Flume ist ein Service, um Logs nach Hadoop zu streamen.<\/li><\/ul><p>Die Fischertechnik Fabrik wird ja \u00fcber die Siemens Logo Steuerger\u00e4te gesteuert. Die Steuerger\u00e4te bzw. ihre Programmieroberfl\u00e4che bietet nun die M\u00f6glichkeit, die Zust\u00e4nde aller vorhandenen Eing\u00e4nge und Ausg\u00e4nge in periodischen Abst\u00e4nden (z.B. 1s) in ein Protokollfile wie z.B. Log.csv zu schreiben. Es immer alle Ein- und Ausg\u00e4nge geschrieben, wir haben uns zun\u00e4chst aber nur auf drei beschr\u00e4nkt, und zwar die Steuerungen f\u00fcr die Sortier-Rutschen, die weisse, rote und blaue Plastikzylinder voneinander trennen, abh\u00e4ngig von der erkannten Farbe in der Photozelle.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-813dd45 elementor-widget elementor-widget-image\" data-id=\"813dd45\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"1024\" height=\"652\" src=\"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT2-1024x652.png\" class=\"attachment-large size-large wp-image-809\" alt=\"\" srcset=\"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT2-1024x652.png 1024w, https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT2-300x191.png 300w, https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT2-768x489.png 768w, https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT2.png 1200w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-aacf70a elementor-widget elementor-widget-text-editor\" data-id=\"aacf70a\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t<p>Damit wurde ein m\u00f6glichst einfacher Bericht aufgebaut, n\u00e4mlich ein einfacher Z\u00e4hler, der gez\u00e4hlt hat, wie oft eine 1 vom Motor Q2 (weiss), Q3 (rot) oder Q4 (blau) gemeldet wurde. Dies entsprach dann der entsprechenden Anzahl an durchgelaufenen Plastikg\u00fctern.<\/p><p>Die Siemens-Steueroberfl\u00e4che schreibt also permanent in ein lokales CSV-File auf dem Laptop, mit dem die kleine Anlage gesteuert wird. Dies ist also die Quelle unserer Sensordaten. Auf dem Cloudera-System wurde nun per Samba das Directory, in dem dieses Protokollfile geschrieben wird, gemountet. Damit war aus Sicht des Cloudera-Systems lokal ein CSV-File vorhanden. Gleichzeitig bestand keine Gefahr, dass eine kurzzeitige Unterbrechung der Verbindung zum Abbruch des Schreibvorgangs f\u00fchrt. Das Schreiben lief permanent weiter und sollte die Verbindung via Internet einmal unterbrochen sein, so w\u00fcrden die neuen Daten mit der n\u00e4chsten Wiederverbindung wieder abholbar sein.<\/p><p>Dieses lokal sichtbare CSV-File, das LogFile.csv, wird nun mit Hilfe eine Flume-Agenten permanent auf ein Ziel in Kafka geschrieben. Die entsprechende Konfigurationsanweisung, die eine Quelle, ein Ziel (Senke) und einen Kanal definiert, lautet wie folgt:<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-af49458 elementor-blockquote--skin-boxed elementor-blockquote--button-color-official elementor-widget elementor-widget-blockquote\" data-id=\"af49458\" data-element_type=\"widget\" data-widget_type=\"blockquote.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<blockquote class=\"elementor-blockquote\">\n\t\t\t<p class=\"elementor-blockquote__content\">\n\t\t\t\t#------------------------------------<br>\n<br>\ntier1.sources = r1<br>\n<br>\ntier1.sinks = k1<br>\n<br>tier1.channels = c1<br>\n<br>\n# Describe\/configure the source<br>\n<br>\ntier1.sources.r1.type = TAILDIR<br>\n<br>\ntier1.sources.r1.filegroups = f1<br>\n<br>\ntier1.sources.r1.filegroups.f1 = \/samba\/FischerTechnik\/LOG\/LogFile.csv<br>\n<br>\ntier1.sources.r1.positionFile = \/tmp\/flume-position_3.json<br>\n<br>\n# Describe the sink<br>\n<br>tier1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink<br>\n<br>\ntier1.sinks.k1.topic = sensor_csv<br>\n<br>\ntier1.sinks.k1.brokerList = quickstart.cloudera:9092<br>\n<br>\ntier1.sinks.k1.batchSize = 1<br>\n<br>\n# Use a channel which buffers events in memory<br>\n<br>\ntier1.channels.c1.type = memory<br>\n<br>\ntier1.channels.c1.capacity = 100000<br>\n<br>\ntier1.channels.c1.transactionCapacity = 10000<br>\n<br>\n# Bind the source and sink to the channel<br>\n<br>\ntier1.sources.r1.channels = c1<br>\n<br>\ntier1.sinks.k1.channel = c1<br>\n<br>\n#------------------------------------\t\t\t<\/p>\n\t\t\t\t\t<\/blockquote>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-01163e7 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"01163e7\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-90d75c6\" data-id=\"90d75c6\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t<div class=\"elementor-element elementor-element-493dcfb elementor-widget elementor-widget-text-editor\" data-id=\"493dcfb\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t<div class=\"ce_colsetStart equalize subcolumns\"><div class=\"c50l first\"><div class=\"subcl\"><div class=\"ce_text block\"><p>F\u00fcr die Einrichtung dieser Konfiguration nochmal herzlichen Dank an die Experten unserer Partnerfirma f\u00fcr Hadoop-Systeme, die Ultra Tendency GmbH (www.ultratendency.com), und hier speziell an Matthias Baumann, der uns mit seiner Hadoop-Expertise schon einige Mal weitergeholfen hat.<\/p><\/div><\/div><\/div><\/div>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-2905a8c elementor-widget elementor-widget-image\" data-id=\"2905a8c\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"1024\" height=\"447\" src=\"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT_3-1024x447.png\" class=\"attachment-large size-large wp-image-815\" alt=\"\" srcset=\"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT_3-1024x447.png 1024w, https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT_3-300x131.png 300w, https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT_3-768x335.png 768w, https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT_3.png 1200w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-baa39f5 elementor-widget elementor-widget-text-editor\" data-id=\"baa39f5\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t<div class=\"ce_colsetStart equalize subcolumns\"><div class=\"c50l first\"><div class=\"subcl\"><div class=\"ce_text block\"><p>Damit liegt nun im Cloudera im HDFS-Filesystem die Datei sensor_csv vor, die im Sekundentakt neue Daten erh\u00e4lt. Um dieses CSV-File f\u00fcr SQL-Abfragen verf\u00fcgbar zu machen, wird in Hive folgendes Kommando abgesetzt:<\/p><\/div><\/div><\/div><\/div>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-46875dd elementor-blockquote--skin-boxed elementor-blockquote--button-color-official elementor-widget elementor-widget-blockquote\" data-id=\"46875dd\" data-element_type=\"widget\" data-widget_type=\"blockquote.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<blockquote class=\"elementor-blockquote\">\n\t\t\t<p class=\"elementor-blockquote__content\">\n\t\t\t\tCREATE EXTERNAL TABLE sapt90.zcssensorq (<br>\n<br>\n      key varchar(6),<br>\n<br>\n      time VARCHAR(8),<br>\n<br>\n      value VARCHAR(4),<br>\n<br>\n      sensor VARCHAR(20)<br>\n<br>\n)\n<br><br>\nSTORED BY \"org.apache.hadoop.hive.hbase.HBaseStorageHandler\"<br>\n<br>\nWITH SERDEPROPERTIES (<br>\n<br>\n       \"hbase.columns.mapping\" =<br>\n<br>\n       \":key,default:time,default:value,default:sensor\"<br>\n<br>    )<br>\n<br>\n    TBLPROPERTIES(\"hbase.table.name\" = \"sensor_csv\")\t\t\t<\/p>\n\t\t\t\t\t<\/blockquote>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-08975af elementor-widget elementor-widget-text-editor\" data-id=\"08975af\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t<p>Dieses Kommando erzeugt eine leere Tabellenh\u00fclle zcssensorq (in einem Schema mit dem Namen sapt90) mit 4 Spalten (key, time, value, sensor) und teilt dem System mit, dass der Inhalt dieser Tabelle sich in einer hbase-Tabelle mit dem Namen sensor_csv befindet. Auf diese Weise k\u00f6nnen nun im Hue-Service einfache Hive- oder Impala-Abfragen gestartet werden, z.B. select * from zcssensorq;:<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-a2f643e elementor-widget elementor-widget-image\" data-id=\"a2f643e\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"518\" src=\"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT_4-1024x518.png\" class=\"attachment-large size-large wp-image-818\" alt=\"\" srcset=\"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT_4-1024x518.png 1024w, https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT_4-300x152.png 300w, https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT_4-768x388.png 768w, https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT_4.png 1199w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-cf54cd3 elementor-widget elementor-widget-text-editor\" data-id=\"cf54cd3\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t<p>Die Sensordaten der Fischertechnik-Fabrik werden damit kontinuierlich geschrieben und liegen als File bzw. als Tabelle im Hadoop System verf\u00fcgbar vor. Wie k\u00f6nnen diese Daten nun f\u00fcr ein Reporting verf\u00fcgbar gemacht werden? Darum geht es im n\u00e4chsten Teil dieses Blogs.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>In den ersten beiden Teilen dieses Blogs haben wir die Fischertechnik Fabriksimulation gezeigt. Diese Fabriksimulation soll nun kontinuierlich Daten erzeugen, die einerseits in einem Big Data-Cluster landen sollen, andererseits mit Mitteln des SAP BW oder mit SAP Analytics for Cloud reportbar sein sollen. Als Big Data-Cluster wurde bei uns eine Cloudera-Installation aufgebaut. \u00c4hnlich wie bei &#8230; <a title=\"Das Internet der Dinge, Big Data und eine Fischertechnik-Fabrik &#8211; Teil 3: Der Big Data-Cluster\" class=\"read-more\" href=\"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/\" aria-label=\"Mehr Informationen \u00fcber Das Internet der Dinge, Big Data und eine Fischertechnik-Fabrik &#8211; Teil 3: Der Big Data-Cluster\">Weiterlesen &#8230;<\/a><\/p>\n","protected":false},"author":16,"featured_media":812,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"content-type":"","footnotes":""},"categories":[41],"tags":[45,44,43],"class_list":["post-804","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-iot","tag-business-analytics-platform","tag-hadoop","tag-hana"],"acf":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v21.7 (Yoast SEO v25.2) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Das Internet der Dinge, Big Data und eine Fischertechnik-Fabrik - Teil 3: Der Big Data-Cluster - CubeServ<\/title>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Das Internet der Dinge, Big Data und eine Fischertechnik-Fabrik - Teil 3: Der Big Data-Cluster\" \/>\n<meta property=\"og:description\" content=\"In den ersten beiden Teilen dieses Blogs haben wir die Fischertechnik Fabriksimulation gezeigt. Diese Fabriksimulation soll nun kontinuierlich Daten erzeugen, die einerseits in einem Big Data-Cluster landen sollen, andererseits mit Mitteln des SAP BW oder mit SAP Analytics for Cloud reportbar sein sollen. Als Big Data-Cluster wurde bei uns eine Cloudera-Installation aufgebaut. \u00c4hnlich wie bei ... Weiterlesen ...\" \/>\n<meta property=\"og:url\" content=\"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/\" \/>\n<meta property=\"og:site_name\" content=\"CubeServ\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/CubeServ\" \/>\n<meta property=\"article:published_time\" content=\"2019-09-17T11:11:02+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2019-09-25T14:18:05+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT_1.png\" \/>\n\t<meta property=\"og:image:width\" content=\"1199\" \/>\n\t<meta property=\"og:image:height\" content=\"645\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Thorsten Stossmeister\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@CubeServ\" \/>\n<meta name=\"twitter:site\" content=\"@CubeServ\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Thorsten Stossmeister\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"4\u00a0Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/#article\",\"isPartOf\":{\"@id\":\"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/\"},\"author\":{\"name\":\"Thorsten Stossmeister\",\"@id\":\"https:\/\/www.cubeserv.com\/de\/#\/schema\/person\/2a15f26fb37d4ff3c8fb491ac4ce66d9\"},\"headline\":\"Das Internet der Dinge, Big Data und eine Fischertechnik-Fabrik &#8211; Teil 3: Der Big Data-Cluster\",\"datePublished\":\"2019-09-17T11:11:02+00:00\",\"dateModified\":\"2019-09-25T14:18:05+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/\"},\"wordCount\":898,\"commentCount\":0,\"publisher\":{\"@id\":\"https:\/\/www.cubeserv.com\/de\/#organization\"},\"image\":{\"@id\":\"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/#primaryimage\"},\"thumbnailUrl\":\"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT_1.png\",\"keywords\":[\"Business Analytics Platform\",\"Hadoop\",\"HANA\"],\"articleSection\":[\"IoT\"],\"inLanguage\":\"de\"},{\"@type\":\"WebPage\",\"@id\":\"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/\",\"url\":\"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/\",\"name\":\"Das Internet der Dinge, Big Data und eine Fischertechnik-Fabrik - Teil 3: Der Big Data-Cluster - CubeServ\",\"isPartOf\":{\"@id\":\"https:\/\/www.cubeserv.com\/de\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/#primaryimage\"},\"image\":{\"@id\":\"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/#primaryimage\"},\"thumbnailUrl\":\"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT_1.png\",\"datePublished\":\"2019-09-17T11:11:02+00:00\",\"dateModified\":\"2019-09-25T14:18:05+00:00\",\"breadcrumb\":{\"@id\":\"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/#breadcrumb\"},\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/#primaryimage\",\"url\":\"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT_1.png\",\"contentUrl\":\"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT_1.png\",\"width\":1199,\"height\":645},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Startseite\",\"item\":\"https:\/\/www.cubeserv.com\/de\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Das Internet der Dinge, Big Data und eine Fischertechnik-Fabrik &#8211; Teil 3: Der Big Data-Cluster\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/www.cubeserv.com\/de\/#website\",\"url\":\"https:\/\/www.cubeserv.com\/de\/\",\"name\":\"CubeServ\",\"description\":\"\",\"publisher\":{\"@id\":\"https:\/\/www.cubeserv.com\/de\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/www.cubeserv.com\/de\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"de\"},{\"@type\":\"Organization\",\"@id\":\"https:\/\/www.cubeserv.com\/de\/#organization\",\"name\":\"CubeServ Group\",\"url\":\"https:\/\/www.cubeserv.com\/de\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/www.cubeserv.com\/de\/#\/schema\/logo\/image\/\",\"url\":\"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2020\/07\/CubeServ_Web_Logo-768x372-1.png\",\"contentUrl\":\"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2020\/07\/CubeServ_Web_Logo-768x372-1.png\",\"width\":768,\"height\":372,\"caption\":\"CubeServ Group\"},\"image\":{\"@id\":\"https:\/\/www.cubeserv.com\/de\/#\/schema\/logo\/image\/\"},\"sameAs\":[\"https:\/\/www.facebook.com\/CubeServ\",\"https:\/\/x.com\/CubeServ\",\"https:\/\/www.instagram.com\/cubeservgroup\/\",\"https:\/\/www.linkedin.com\/company\/112961\/\",\"https:\/\/www.youtube.com\/user\/CubeServGroup\"]},{\"@type\":\"Person\",\"@id\":\"https:\/\/www.cubeserv.com\/de\/#\/schema\/person\/2a15f26fb37d4ff3c8fb491ac4ce66d9\",\"name\":\"Thorsten Stossmeister\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/www.cubeserv.com\/de\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2022\/12\/elementor\/thumbs\/stossmeister_thorsten-backup-pz0j1qe4za2mtid8n7u1m19ontcib6ti4uoux2984c.jpg\",\"contentUrl\":\"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2022\/12\/elementor\/thumbs\/stossmeister_thorsten-backup-pz0j1qe4za2mtid8n7u1m19ontcib6ti4uoux2984c.jpg\",\"caption\":\"Thorsten Stossmeister\"},\"description\":\"Competency Lead EDW\/HANA with sometimes old-fashioned preferences for backend and ABAP\",\"sameAs\":[\"https:\/\/www.linkedin.com\/in\/stossmeister-thorsten-4b2427117\/\"],\"url\":\"https:\/\/www.cubeserv.com\/de\/author\/stossmeistert\/\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Das Internet der Dinge, Big Data und eine Fischertechnik-Fabrik - Teil 3: Der Big Data-Cluster - CubeServ","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/","og_locale":"de_DE","og_type":"article","og_title":"Das Internet der Dinge, Big Data und eine Fischertechnik-Fabrik - Teil 3: Der Big Data-Cluster","og_description":"In den ersten beiden Teilen dieses Blogs haben wir die Fischertechnik Fabriksimulation gezeigt. Diese Fabriksimulation soll nun kontinuierlich Daten erzeugen, die einerseits in einem Big Data-Cluster landen sollen, andererseits mit Mitteln des SAP BW oder mit SAP Analytics for Cloud reportbar sein sollen. Als Big Data-Cluster wurde bei uns eine Cloudera-Installation aufgebaut. \u00c4hnlich wie bei ... Weiterlesen ...","og_url":"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/","og_site_name":"CubeServ","article_publisher":"https:\/\/www.facebook.com\/CubeServ","article_published_time":"2019-09-17T11:11:02+00:00","article_modified_time":"2019-09-25T14:18:05+00:00","og_image":[{"width":1199,"height":645,"url":"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT_1.png","type":"image\/png"}],"author":"Thorsten Stossmeister","twitter_card":"summary_large_image","twitter_creator":"@CubeServ","twitter_site":"@CubeServ","twitter_misc":{"Verfasst von":"Thorsten Stossmeister","Gesch\u00e4tzte Lesezeit":"4\u00a0Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/#article","isPartOf":{"@id":"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/"},"author":{"name":"Thorsten Stossmeister","@id":"https:\/\/www.cubeserv.com\/de\/#\/schema\/person\/2a15f26fb37d4ff3c8fb491ac4ce66d9"},"headline":"Das Internet der Dinge, Big Data und eine Fischertechnik-Fabrik &#8211; Teil 3: Der Big Data-Cluster","datePublished":"2019-09-17T11:11:02+00:00","dateModified":"2019-09-25T14:18:05+00:00","mainEntityOfPage":{"@id":"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/"},"wordCount":898,"commentCount":0,"publisher":{"@id":"https:\/\/www.cubeserv.com\/de\/#organization"},"image":{"@id":"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/#primaryimage"},"thumbnailUrl":"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT_1.png","keywords":["Business Analytics Platform","Hadoop","HANA"],"articleSection":["IoT"],"inLanguage":"de"},{"@type":"WebPage","@id":"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/","url":"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/","name":"Das Internet der Dinge, Big Data und eine Fischertechnik-Fabrik - Teil 3: Der Big Data-Cluster - CubeServ","isPartOf":{"@id":"https:\/\/www.cubeserv.com\/de\/#website"},"primaryImageOfPage":{"@id":"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/#primaryimage"},"image":{"@id":"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/#primaryimage"},"thumbnailUrl":"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT_1.png","datePublished":"2019-09-17T11:11:02+00:00","dateModified":"2019-09-25T14:18:05+00:00","breadcrumb":{"@id":"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/#breadcrumb"},"inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/"]}]},{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/#primaryimage","url":"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT_1.png","contentUrl":"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2019\/09\/IoT_1.png","width":1199,"height":645},{"@type":"BreadcrumbList","@id":"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-3-der-big-data-cluster\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Startseite","item":"https:\/\/www.cubeserv.com\/de\/"},{"@type":"ListItem","position":2,"name":"Das Internet der Dinge, Big Data und eine Fischertechnik-Fabrik &#8211; Teil 3: Der Big Data-Cluster"}]},{"@type":"WebSite","@id":"https:\/\/www.cubeserv.com\/de\/#website","url":"https:\/\/www.cubeserv.com\/de\/","name":"CubeServ","description":"","publisher":{"@id":"https:\/\/www.cubeserv.com\/de\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www.cubeserv.com\/de\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"de"},{"@type":"Organization","@id":"https:\/\/www.cubeserv.com\/de\/#organization","name":"CubeServ Group","url":"https:\/\/www.cubeserv.com\/de\/","logo":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/www.cubeserv.com\/de\/#\/schema\/logo\/image\/","url":"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2020\/07\/CubeServ_Web_Logo-768x372-1.png","contentUrl":"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2020\/07\/CubeServ_Web_Logo-768x372-1.png","width":768,"height":372,"caption":"CubeServ Group"},"image":{"@id":"https:\/\/www.cubeserv.com\/de\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/CubeServ","https:\/\/x.com\/CubeServ","https:\/\/www.instagram.com\/cubeservgroup\/","https:\/\/www.linkedin.com\/company\/112961\/","https:\/\/www.youtube.com\/user\/CubeServGroup"]},{"@type":"Person","@id":"https:\/\/www.cubeserv.com\/de\/#\/schema\/person\/2a15f26fb37d4ff3c8fb491ac4ce66d9","name":"Thorsten Stossmeister","image":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/www.cubeserv.com\/de\/#\/schema\/person\/image\/","url":"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2022\/12\/elementor\/thumbs\/stossmeister_thorsten-backup-pz0j1qe4za2mtid8n7u1m19ontcib6ti4uoux2984c.jpg","contentUrl":"https:\/\/www.cubeserv.com\/wp-content\/uploads\/2022\/12\/elementor\/thumbs\/stossmeister_thorsten-backup-pz0j1qe4za2mtid8n7u1m19ontcib6ti4uoux2984c.jpg","caption":"Thorsten Stossmeister"},"description":"Competency Lead EDW\/HANA with sometimes old-fashioned preferences for backend and ABAP","sameAs":["https:\/\/www.linkedin.com\/in\/stossmeister-thorsten-4b2427117\/"],"url":"https:\/\/www.cubeserv.com\/de\/author\/stossmeistert\/"}]}},"_links":{"self":[{"href":"https:\/\/www.cubeserv.com\/de\/wp-json\/wp\/v2\/posts\/804","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.cubeserv.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.cubeserv.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.cubeserv.com\/de\/wp-json\/wp\/v2\/users\/16"}],"replies":[{"embeddable":true,"href":"https:\/\/www.cubeserv.com\/de\/wp-json\/wp\/v2\/comments?post=804"}],"version-history":[{"count":0,"href":"https:\/\/www.cubeserv.com\/de\/wp-json\/wp\/v2\/posts\/804\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.cubeserv.com\/de\/wp-json\/wp\/v2\/media\/812"}],"wp:attachment":[{"href":"https:\/\/www.cubeserv.com\/de\/wp-json\/wp\/v2\/media?parent=804"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.cubeserv.com\/de\/wp-json\/wp\/v2\/categories?post=804"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.cubeserv.com\/de\/wp-json\/wp\/v2\/tags?post=804"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}