{"id":3068,"date":"2018-05-29T21:25:14","date_gmt":"2018-05-29T19:25:14","guid":{"rendered":"http:\/\/www.erde-in-bildern.de\/reiseblog\/?p=3068"},"modified":"2018-05-29T21:25:14","modified_gmt":"2018-05-29T19:25:14","slug":"die-arbeit-nach-der-aufnahme-helfen-cloud-dienste-zur-bildanalyse","status":"publish","type":"post","link":"https:\/\/www.erde-in-bildern.de\/reiseblog\/technik\/die-arbeit-nach-der-aufnahme-helfen-cloud-dienste-zur-bildanalyse\/","title":{"rendered":"Die Arbeit nach der Aufnahme: Helfen Cloud-Dienste zur Bildanalyse?"},"content":{"rendered":"

Wie finde ich ein bestimmtes Bild wieder? Das Durchst\u00f6bern zahlreicher Ordner auf der Festplatte kann sehr m\u00fc\u00dfig werden, insbesondere wenn der Bildbestand auf mehrere Zehntausend Bilder angewachsen ist. Die Suche wird stark vereinfacht, wenn die Bilder in einer Datenbank beschrieben werden, mit Informationen zum Ort und dem Tag der Aufnahme sowie einer m\u00f6glichst genauen Beschreibung des Bildinhaltes.<\/p>\n

Allerdings: Nicht das (Aus-) Sortieren der unterwegs gemachten Bilder oder deren Nachbearbeitung mit Programmen wie Lightroom oder Photoshop verschlingt die meiste Zeit. Den gr\u00f6\u00dften Arbeitsaufwand verursacht die eingangs erw\u00e4hnte textuelle Beschreibung der Bilder.<\/p>\n

W\u00e4hrend das Datum und der Ort der Aufnahme schnell festgestellt sind, braucht die Beschreibung des Bildinhalts mehr Zeit. Fortschritte gibt es auch hier: Mit Webseiten wie Wikipedia<\/a> und wikimapia<\/a> geht die inhaltliche Recherche einfacher und schneller im Vergleich zu den fr\u00fcher verwendeten Stadtpl\u00e4nen und Reisef\u00fchrern. Zus\u00e4tzliche, sogenannte Metainformationen, fehlen dann noch immer. Meinen Versuch dies „von Hand“ zu machen, habe ich vor Jahren aufgegeben. Es war das ber\u00fchmte Fass ohne Boden. (Um was es sich bei Metainformationen handelt, wird im Laufe dieses Textes klar, hoffe ich.)<\/p>\n

Cloud-Dienste zur Bildanalyse<\/h1>\n

Eine M\u00f6glichkeit Bildbeschreibungen mit Metainformationen anzureichern, erm\u00f6glichen Cloud-Dienste wie sie die IT-Riesen Google, Microsoft und Amazon anbieten. Wie funktionieren Google Vision<\/strong>, Microsoft Cognitive Services<\/strong> und Amazon Rekognition<\/strong>?<\/p>\n

Allen Cloud-Diensten gemeinsam ist, dass sie f\u00fcr unterschiedliche Programmiersprachen Programmierschnittstellen anbieten. Ich nutze als Programmierumgebung das auf JavaScript basierte node.js. Um die genannten Cloud-Dienste nutzen zu k\u00f6nnen ist eine Anmeldung bei diesen erforderlich. F\u00fcr eine gewisse Zeit bzw. f\u00fcr einen gewissen Umfang ist die Nutzung der Dienste frei, danach fallen Geb\u00fchren an.<\/p>\n

Nachfolgend skiziere ich kurz die Funktionsweise der drei genannten Cloud-Dienste. Eine ausf\u00fchrliche Dokumentation findet sich auf den Webseiten von Google Cloud<\/a>, Microsoft Azure<\/a> und Amazon Web Services<\/a>.<\/p>\n

Google Vision<\/h2>\n

Nach der Anmeldung in der Google Cloud<\/a> erh\u00e4lt man zur Nutzung der angebotenen Dienste eine Credential-Datei credential.json<\/tt>, die man seinem System \u00fcber die Umgebungsvariable GOOGLE_APPLICATION_CREDENTIALS<\/tt> bekannt macht. Zur Nutzung mit node.js muss das Paket @google-cloud\/vision<\/tt> installiert werden. Die Grundstruktur des node.js-Programms ist sehr kurz:<\/p>\n

\r\nconst vision = require('@google-cloud\/vision');\r\nconst client = new vision.ImageAnnotatorClient();\r\n\r\nvar request = {\r\n    image: { source: { filename: '1202064.jpg' } },\r\n    features: [{ type: \"LABEL_DETECTION\", maxResults: 20 }]\r\n};\r\n\r\nclient.annotateImage(request).then(results => {\r\n    const labels = results[0].labelAnnotations;\r\n    labels.forEach(label => console.log(label.description + '|' + Math.round(label.score * 1000.0)));\r\n}\r\n<\/pre>\n
Zur\u00fcck bekommt man eine Liste von Labels, die jeweils mit einem Score bewertet werden. Der Score hat einen Wert zwischen 0 und 1. Um so h\u00f6her dieser Score ist, desto sicherer ist das Google-System, dass dieser Label auch korrekt ist. F\u00fcr eine bessere \u00dcbersichtlichkeit multipliziere ich den Score mit 1000. Beispiele zu Labels und Scores finden sich weiter unten.<\/p>\n
Microsoft Cognitive Services<\/h2>\n
Bei Microsoft Azure<\/a> erh\u00e4lt man Zugriff auf die Programmierschnittstellen durch alphanumerische Schl\u00fcssel, die direkt im Programmcode verwendet werden k\u00f6nnen. F\u00fcr das node.js-Programm muss das Paket azure-cognitiveservices-vision<\/tt> installiert werden.<\/p>\n
\r\nconst Vision = require('azure-cognitiveservices-vision');\r\nconst CognitiveServicesCredentials = require('ms-rest-azure').CognitiveServicesCredentials;\r\nlet credentials = new CognitiveServicesCredentials('xxx');\r\nlet computerVisionApiClient = new Vision.ComputerVisionAPIClient(credentials, \"westeurope\");\r\n\r\nlet result = computerVisionApiClient.analyzeImage(\r\n    'https:\/\/www.juergen-reichmann.de\/images\/pics\/1202000\/1202064.jpg',\r\n    { visualFeatures: ['Tags'] },\r\n    function (err, result) {\r\n        const tags = result.tags;\r\n        tags.forEach(tag => console.log(tag.name + '|' + Math.round(tag.confidence * 1000.0)));\r\n    }\r\n);\r\n<\/pre>\n
Was bei Google Labels sind, wird bei Microsoft als Tag bezeichnet. Inhaltlich ist es das gleiche. Der dem Google-Score-Wert entsprechende Confidence-Wert eines Tags liegt zwischen 0 und 1 (und wird f\u00fcr die nachfolgende Vergleichbarkeit auf Werte zwischen 0 und 1000 skaliert).<\/p>\n
Amazon Rekognition<\/h2>\n
Der Amazon Web Service<\/a> bietet wie Google eine Credential-Datei um auf seine Dienste zugreifen zu k\u00f6nnen. Diese wird an einem bestimmten Ort – unter Linux ist dies ~\/.aws\/credentials<\/tt> – auf seinem lokalen Rechner hinterlegt.<\/p>\n
Google und Microsoft bekommen die Daten des zu analysierenden Bildes entweder \u00fcber eine URL (im Beispiel „https:\/\/www.juergen-reichmann.de\/images\/pics\/1202000\/1202064.jpg“) oder durch direkten Upload der Bilddatei zur Verf\u00fcgung gestellt. Geringf\u00fcgig komplizierter gestaltet sich der Vorgang bei Amazon. Hier muss die entsprechende Bilddatei zuerst im Amazon-eigenen Simple Storage Service (S3) gespeichert werden.<\/p>\n
Zur Verwendung mit node.js wird das Paket aws-sdk<\/tt> ben\u00f6tigt.<\/p>\n
\r\nconst AWS = require('aws-sdk');\r\nAWS.config.update({region: 'us-east-1'});\r\nconst rekognition = new AWS.Rekognition();\r\nconst fs = require('fs');\r\nconst s3 = new AWS.S3();\r\n\r\nconst bucketName = 'rekog-upload-3';\r\nvar bucketParams = { Bucket: bucketName };\r\n\r\nfunction base64_encode(file) {\r\n    var bitmap = fs.readFileSync(file);\r\n    return new Buffer(bitmap).toString('base64');\r\n}\r\n\r\ns3.createBucket(bucketParams, function(err) {\r\n    var s3Bucket = new AWS.S3( { params: {Bucket: bucketName} } );\r\n    var imageName = '1202064';\r\n    var data = { Key: imageName, Body: Buffer.from(base64_encode('1202064.jpg'), 'base64') };\r\n    \r\n    s3Bucket.putObject(data, function(err, data){\r\n        var params = {\r\n            Image: { S3Object: { Bucket: bucketName, Name: imageName } },\r\n            MaxLabels: 100,\r\n            MinConfidence: 20\r\n        };\r\n        \r\n        rekognition.detectLabels(params, function(err, data) {\r\n            const labels = data.Labels;\r\n            labels.forEach(label => console.log(label.Name.toLowerCase() + '|' + Math.round(label.Confidence * 10.0)));\r\n        });\r\n    });\r\n});\r\n<\/pre>\n
Bei Amazon hei\u00dft der Label Label wie bei Google, die Bewertung desselbigen Confidence wie bei Microsoft. Allerdings liegt der Confidence-Wert bei Amazon zwischen 0 und 100.<\/p>\n
Allen drei hier vorgestellten Cloud-Diensten gemeinsam ist, dass sie ihre Ergebnisse auf Englisch zur\u00fcckliefern. Ben\u00f6tigt man die Ergebnisse in einer anderen Sprache, lassen sich diese beispielsweise mit der Google Cloud Translation API automatisiert \u00fcbersetzen.<\/p>\n
Beispiele<\/h1>\n
Um die Qualit\u00e4t der drei Bildanalysedienste beurteilen zu k\u00f6nnen, habe ich Beispielbilder mit unterschiedlichen Motiven ausgew\u00e4hlt. Die Ergebnisse (und mehr noch meine Schlussfolgerungen) haben aufgrund der geringen Stichprobenauswahl keinen wissenschaftlichen Anspruch, liefern aber interessante Erkenntnisse. Bei Google und Amazon tauchen nur Labels (Tags) auf, die einen Scorce- bzw. Confidence-Wert von gr\u00f6\u00dfer als 500 haben.<\/p>\n
Beispiel 1: High Street und Carfax Tower Oxford<\/h2>\n
Eine Stra\u00dfenszene in der englischen Universit\u00e4tsstadt Oxford, eingerahmt von historischen Bauten.
\n
\"High
High Street und Carfax Tower Oxford<\/p><\/div>
\n\n\n\n\n\t\n\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t
Google<\/th><\/td><\/td>Microsoft<\/th><\/td><\/td>Amazon<\/th><\/td>\n<\/tr>\n<\/thead>\n
<\/td><\/td><\/td><\/td><\/td><\/td><\/td><\/td>\n<\/tr>\n
town<\/td>917<\/td><\/td>building<\/td>1000<\/td><\/td>architecture<\/td>829<\/td>\n<\/tr>\n
city<\/td>897<\/td><\/td>outdoor<\/td>1000<\/td><\/td>building<\/td>829<\/td>\n<\/tr>\n
sky<\/td>828<\/td><\/td>sky<\/td>991<\/td><\/td>city<\/td>829<\/td>\n<\/tr>\n
urban area<\/td>812<\/td><\/td>road<\/td>976<\/td><\/td>downtown<\/td>829<\/td>\n<\/tr>\n
town square<\/td>797<\/td><\/td>street<\/td>959<\/td><\/td>plaza<\/td>829<\/td>\n<\/tr>\n
medieval architecture<\/td>787<\/td><\/td>people<\/td>926<\/td><\/td>town<\/td>829<\/td>\n<\/tr>\n
building<\/td>786<\/td><\/td>walking<\/td>899<\/td><\/td>town square<\/td>829<\/td>\n<\/tr>\n
street<\/td>784<\/td><\/td>city<\/td>841<\/td><\/td>urban<\/td>829<\/td>\n<\/tr>\n
history<\/td>696<\/td><\/td>group<\/td>585<\/td><\/td>clock tower<\/td>675<\/td>\n<\/tr>\n
tourist attraction<\/td>621<\/td><\/td>way<\/td>565<\/td><\/td>tower<\/td>675<\/td>\n<\/tr>\n
metropolis<\/td>598<\/td><\/td>square<\/td>539<\/td><\/td>crowd<\/td>634<\/td>\n<\/tr>\n
facade<\/td>594<\/td><\/td>crowd<\/td>486<\/td><\/td>human<\/td>634<\/td>\n<\/tr>\n
tower<\/td>594<\/td><\/td>town<\/td>398<\/td><\/td>person<\/td>634<\/td>\n<\/tr>\n
plaza<\/td>586<\/td><\/td>gathered<\/td>308<\/td><\/td>bell tower<\/td>569<\/td>\n<\/tr>\n
bell tower<\/td>556<\/td><\/td>pedestrians<\/td>264<\/td><\/td>landscape<\/td>520<\/td>\n<\/tr>\n
middle ages<\/td>548<\/td><\/td>day<\/td>101<\/td><\/td>nature<\/td>520<\/td>\n<\/tr>\n
steeple<\/td>548<\/td><\/td><\/td><\/td><\/td>outdoors<\/td>520<\/td>\n<\/tr>\n
tourism<\/td>547<\/td><\/td><\/td><\/td><\/td>scenery<\/td>520<\/td>\n<\/tr>\n
tours<\/td>518<\/td><\/td><\/td><\/td><\/td>cathedral<\/td>518<\/td>\n<\/tr>\n
ch\u00e2teau<\/td>512<\/td><\/td><\/td><\/td><\/td>church<\/td>518<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>worship<\/td>518<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>castle<\/td>517<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>road<\/td>510<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>street<\/td>510<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n
\nSofort auffallend ist die hohe Qualit\u00e4t der Ergebnisse. Bis auf wenige Ausnahmen sind die gefundenen Labels korrekt.<\/p>\n
Beispiel 2: Loch Lomond and The Trossachs National Park<\/h2>\n
Ein g\u00e4nzlich anderes Motiv: Ein Landschaftsbild aus Schottland.
\n
\"Loch
Loch Lomond and The Trossachs National Park<\/p><\/div>
\n\n\n\n\n\t\n\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t
Google<\/th><\/td><\/td>Microsoft<\/th><\/td><\/td>Amazon<\/th><\/td>\n<\/tr>\n<\/thead>\n
reflection<\/td>978<\/td><\/td>mountain<\/td>999<\/td><\/td>lake<\/td>977<\/td>\n<\/tr>\n
water<\/td>963<\/td><\/td>outdoor<\/td>998<\/td><\/td>outdoors<\/td>977<\/td>\n<\/tr>\n
nature<\/td>951<\/td><\/td>water<\/td>996<\/td><\/td>water<\/td>977<\/td>\n<\/tr>\n
lake<\/td>950<\/td><\/td>sky<\/td>993<\/td><\/td>mountain<\/td>562<\/td>\n<\/tr>\n
loch<\/td>933<\/td><\/td>nature<\/td>955<\/td><\/td>mountain range<\/td>562<\/td>\n<\/tr>\n
mountain<\/td>917<\/td><\/td>lake<\/td>919<\/td><\/td>nature<\/td>562<\/td>\n<\/tr>\n
sky<\/td>917<\/td><\/td>pond<\/td>566<\/td><\/td>peak<\/td>562<\/td>\n<\/tr>\n
highland<\/td>906<\/td><\/td>surrounded<\/td>533<\/td><\/td>glacier<\/td>527<\/td>\n<\/tr>\n
wilderness<\/td>892<\/td><\/td>day<\/td>120<\/td><\/td>ice<\/td>527<\/td>\n<\/tr>\n
reservoir<\/td>866<\/td><\/td><\/td><\/td><\/td>snow<\/td>527<\/td>\n<\/tr>\n
fjord<\/td>809<\/td><\/td><\/td><\/td><\/td>flora<\/td>512<\/td>\n<\/tr>\n
mountain range<\/td>791<\/td><\/td><\/td><\/td><\/td>grass<\/td>512<\/td>\n<\/tr>\n
cloud<\/td>785<\/td><\/td><\/td><\/td><\/td>plant<\/td>512<\/td>\n<\/tr>\n
lake district<\/td>782<\/td><\/td><\/td><\/td><\/td><\/td><\/td>\n<\/tr>\n
fell<\/td>779<\/td><\/td><\/td><\/td><\/td><\/td><\/td>\n<\/tr>\n
mount scenery<\/td>746<\/td><\/td><\/td><\/td><\/td><\/td><\/td>\n<\/tr>\n
tree<\/td>736<\/td><\/td><\/td><\/td><\/td><\/td><\/td>\n<\/tr>\n
bank<\/td>733<\/td><\/td><\/td><\/td><\/td><\/td><\/td>\n<\/tr>\n
water resources<\/td>724<\/td><\/td><\/td><\/td><\/td><\/td><\/td>\n<\/tr>\n
river<\/td>706<\/td><\/td><\/td><\/td><\/td><\/td><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n
\nAuch in diesem Beispiel ist die Trefferquote sehr hoch. Es best\u00e4tigt sich der Eindruck von Beispiel 1, dass die Ergebnisliste von Microsoft im Vergleich zu den beiden Konkurrenten deutlich k\u00fcrzer ist.<\/p>\n
Beispiel 3: Berlin-Pankow<\/h3>\n
Wiederum eine v\u00f6llig andere Bildsituation. Diesmal eine Luftbildaufnahme aus einem Berliner Au\u00dfenbezirk.
\n
\"Berlin-Pankow\"
Berlin-Pankow<\/p><\/div>
\n\n\n\n\n\t\n\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t
Google<\/th><\/td><\/td>Microsoft<\/th><\/td><\/td>Amazon<\/th><\/td>\n<\/tr>\n<\/thead>\n
<\/td><\/td><\/td><\/td><\/td><\/td><\/td><\/td>\n<\/tr>\n
aerial photography<\/td>974<\/td><\/td>outdoor<\/td>996<\/td><\/td>aerial view<\/td>993<\/td>\n<\/tr>\n
urban area<\/td>967<\/td><\/td>sky<\/td>987<\/td><\/td>landscape<\/td>993<\/td>\n<\/tr>\n
city<\/td>951<\/td><\/td>mountain<\/td>727<\/td><\/td>nature<\/td>993<\/td>\n<\/tr>\n
bird's eye view<\/td>934<\/td><\/td>overlooking<\/td>548<\/td><\/td>outdoors<\/td>993<\/td>\n<\/tr>\n
metropolitan area<\/td>920<\/td><\/td><\/td><\/td><\/td>scenery<\/td>993<\/td>\n<\/tr>\n
suburb<\/td>917<\/td><\/td><\/td><\/td><\/td>building<\/td>884<\/td>\n<\/tr>\n
residential area<\/td>819<\/td><\/td><\/td><\/td><\/td>urban<\/td>884<\/td>\n<\/tr>\n
photography<\/td>808<\/td><\/td><\/td><\/td><\/td>freeway<\/td>871<\/td>\n<\/tr>\n
metropolis<\/td>805<\/td><\/td><\/td><\/td><\/td>road<\/td>871<\/td>\n<\/tr>\n
cityscape<\/td>778<\/td><\/td><\/td><\/td><\/td>city<\/td>868<\/td>\n<\/tr>\n
urban design<\/td>764<\/td><\/td><\/td><\/td><\/td>town<\/td>868<\/td>\n<\/tr>\n
sky<\/td>752<\/td><\/td><\/td><\/td><\/td>downtown<\/td>798<\/td>\n<\/tr>\n
skyline<\/td>566<\/td><\/td><\/td><\/td><\/td>architecture<\/td>676<\/td>\n<\/tr>\n
building<\/td>556<\/td><\/td><\/td><\/td><\/td>housing<\/td>676<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>monastery<\/td>676<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>campus<\/td>629<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>brick<\/td>628<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>neighborhood<\/td>606<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>office building<\/td>601<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>intersection<\/td>569<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>castle<\/td>566<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>house<\/td>566<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>mansion<\/td>566<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>palace<\/td>566<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>court<\/td>548<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>apartment building<\/td>527<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>high rise<\/td>527<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>park<\/td>526<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>plaza<\/td>522<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>town square<\/td>522<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>countryside<\/td>518<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>flora<\/td>518<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>plant<\/td>518<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>conifer<\/td>513<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>tree<\/td>513<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>yew<\/td>513<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>metropolis<\/td>511<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>convention center<\/td>509<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>fence<\/td>508<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>hedge<\/td>508<\/td>\n<\/tr>\n
<\/td><\/td><\/td><\/td><\/td><\/td>field<\/td>508<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n
\nDie Microsoft-Ergebnisliste ist mit Abstand am k\u00fcrzesten, nur vier Labels wurden gefunden, einer davon – mountain<\/em> – nicht nachvollziehbar, ein weiterer – sky<\/em> – nur bedingt relevant. Auch der Luftbild-Charakter – bei Google und Amazon jeweils die Nummer 1 auf der Liste – detektiert Microsoft nicht. Daneben f\u00e4llt die sehr lange Liste von Amazon auf. Ihre inhaltliche Qualit\u00e4t l\u00e4sst erst am Ende etwas nach. Die Wertungen dort sind allerdings auch nicht mehr sehr hoch.<\/p>\n
Beispiel 4: Wembley-Stadion London 2013<\/h2>\n
Eine Szene mit jubelnden Spielern des FC Bayern M\u00fcnchen nach dem Gewinn des Champion League Finales im Londoner Wembley-Stadion.
\n
\"Wembley-Stadion
Wembley-Stadion (Wembley Stadium) London 2013: Nach dem UEFA Champions League Finale FC Bayern M\u00fcnchen – Borussia Dortmund<\/p><\/div>
\n\n\n\n\n\t\n\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t
Google<\/th><\/td><\/td>Microsoft<\/th><\/td><\/td>Amazon<\/th><\/td>\n<\/tr>\n<\/thead>\n
<\/td><\/td><\/td><\/td><\/td><\/td><\/td><\/td>\n<\/tr>\n
sport venue<\/td>985<\/td><\/td>grass<\/td>1000<\/td><\/td>human<\/td>993<\/td>\n<\/tr>\n
team sport<\/td>970<\/td><\/td>person<\/td>972<\/td><\/td>people<\/td>993<\/td>\n<\/tr>\n
stadium<\/td>949<\/td><\/td>field<\/td>962<\/td><\/td>person<\/td>993<\/td>\n<\/tr>\n
sports<\/td>944<\/td><\/td>soccer<\/td>961<\/td><\/td>trophy<\/td>991<\/td>\n<\/tr>\n
player<\/td>941<\/td><\/td>outdoor<\/td>890<\/td><\/td>mascot<\/td>989<\/td>\n<\/tr>\n
canadian football<\/td>920<\/td><\/td>group<\/td>675<\/td><\/td>football<\/td>962<\/td>\n<\/tr>\n
football player<\/td>890<\/td><\/td>sport<\/td>668<\/td><\/td>soccer<\/td>962<\/td>\n<\/tr>\n
ball game<\/td>888<\/td><\/td>grassy<\/td>629<\/td><\/td>sport<\/td>962<\/td>\n<\/tr>\n
team<\/td>876<\/td><\/td>football<\/td>242<\/td><\/td>sports<\/td>962<\/td>\n<\/tr>\n
grass<\/td>845<\/td><\/td><\/td><\/td><\/td>team<\/td>962<\/td>\n<\/tr>\n
gridiron football<\/td>839<\/td><\/td><\/td><\/td><\/td>team sport<\/td>962<\/td>\n<\/tr>\n
structure<\/td>832<\/td><\/td><\/td><\/td><\/td>crowd<\/td>542<\/td>\n<\/tr>\n
soccer specific stadium<\/td>776<\/td><\/td><\/td><\/td><\/td>flora<\/td>524<\/td>\n<\/tr>\n
plant<\/td>770<\/td><\/td><\/td><\/td><\/td>grass<\/td>524<\/td>\n<\/tr>\n
competition event<\/td>768<\/td><\/td><\/td><\/td><\/td>plant<\/td>524<\/td>\n<\/tr>\n
games<\/td>765<\/td><\/td><\/td><\/td><\/td>clothing<\/td>508<\/td>\n<\/tr>\n
tournament<\/td>759<\/td><\/td><\/td><\/td><\/td>hat<\/td>508<\/td>\n<\/tr>\n
soccer<\/td>696<\/td><\/td><\/td><\/td><\/td><\/td><\/td>\n<\/tr>\n
american football<\/td>676<\/td><\/td><\/td><\/td><\/td><\/td><\/td>\n<\/tr>\n
arena<\/td>654<\/td><\/td><\/td><\/td><\/td><\/td><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n
\nGoogle liegt in der Anzahl der Labels vorne, allerdings sind ein paar davon nicht korrekt (canadian football<\/em>, gridiron football<\/em>, american football<\/em>).<\/p>\n
Beispiel 5: Times Square New York bei Nacht<\/h2>\n
Das besondere an diesem Beispielbild ist, dass es bei Nacht entstanden ist.
\n
\"Times
Times Square New York City<\/p><\/div>
\n\n\n\n\n\t\n\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t
Google<\/th><\/td><\/td>Microsoft<\/th><\/td><\/td>Amazon<\/th><\/td>\n<\/tr>\n<\/thead>\n
<\/td><\/td><\/td><\/td><\/td><\/td><\/td><\/td>\n<\/tr>\n
metropolitan area<\/td>986<\/td><\/td>building<\/td>994<\/td><\/td>human<\/td>987<\/td>\n<\/tr>\n
metropolis<\/td>960<\/td><\/td>street<\/td>979<\/td><\/td>people<\/td>987<\/td>\n<\/tr>\n
city<\/td>958<\/td><\/td>outdoor<\/td>979<\/td><\/td>person<\/td>987<\/td>\n<\/tr>\n
night<\/td>955<\/td><\/td>night<\/td>931<\/td><\/td>building<\/td>745<\/td>\n<\/tr>\n
urban area<\/td>950<\/td><\/td>city<\/td>895<\/td><\/td>city<\/td>745<\/td>\n<\/tr>\n
landmark<\/td>942<\/td><\/td>walking<\/td>777<\/td><\/td>town<\/td>745<\/td>\n<\/tr>\n
cityscape<\/td>931<\/td><\/td>busy<\/td>350<\/td><\/td>urban<\/td>745<\/td>\n<\/tr>\n
infrastructure<\/td>863<\/td><\/td>crowd<\/td>5<\/td><\/td>silhouette<\/td>745<\/td>\n<\/tr>\n
neon sign<\/td>848<\/td><\/td><\/td><\/td><\/td>downtown<\/td>705<\/td>\n<\/tr>\n
neon<\/td>838<\/td><\/td><\/td><\/td><\/td>architecture<\/td>575<\/td>\n<\/tr>\n
downtown<\/td>799<\/td><\/td><\/td><\/td><\/td>plaza<\/td>575<\/td>\n<\/tr>\n
skyscraper<\/td>784<\/td><\/td><\/td><\/td><\/td>town square<\/td>575<\/td>\n<\/tr>\n
street<\/td>778<\/td><\/td><\/td><\/td><\/td>metropolis<\/td>520<\/td>\n<\/tr>\n
electronic signage<\/td>750<\/td><\/td><\/td><\/td><\/td>night life<\/td>518<\/td>\n<\/tr>\n
lighting<\/td>739<\/td><\/td><\/td><\/td><\/td>high rise<\/td>516<\/td>\n<\/tr>\n
darkness<\/td>656<\/td><\/td><\/td><\/td><\/td>road<\/td>514<\/td>\n<\/tr>\n
tourist attraction<\/td>621<\/td><\/td><\/td><\/td><\/td>street<\/td>514<\/td>\n<\/tr>\n
sky<\/td>552<\/td><\/td><\/td><\/td><\/td>poster<\/td>508<\/td>\n<\/tr>\n
advertising<\/td>552<\/td><\/td><\/td><\/td><\/td><\/td><\/td>\n<\/tr>\n
building<\/td>517<\/td><\/td><\/td><\/td><\/td><\/td><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n
\nDen n\u00e4chtlichen Charakter der Aufnahme erkennen alle, bei der Anzahl der Labels liegen Google und Amazon wieder deutlich vor Microsoft. V\u00f6llige Fehlinterpretationen finden sich bei keinem.<\/p>\n
Praktische Anwendung<\/h1>\n
Fotografieren und Reisen sind zwei Dinge, die mir sehr wichtig sind. Fotografieren geht schon auch mal ohne auf einer Reise zu sein. Aber eine Reise ohne einen Fotoapparat, dieser Gedanke f\u00e4llt mir sehr schwer (und alle, die jemals mit mir unterwegs waren, k\u00f6nnen ein Lied davon singen…).<\/p>\n
Nach einer Vorkontrolle des aufgenommenen Bildmaterials, wird dieses thematisch auf Ordner meiner heimischen Festplatte verteilt. Diese Themen bilden die Grundlage dessen, was ich sp\u00e4ter auf meiner Webseite<\/a> als Bilderserie bezeichne. Den Inhalt eines solchen Themenordners bearbeite ich mit Adobe Lightroom (selten kommt noch Adobe Photoshop zur Anwendung) nach. Die Nachbearbeitung hat keine inhaltlichen Bild\u00e4nderungen zur Folge, vielmehr korrigiere ich schiefe Horizonte, schneide etwas an den Bildr\u00e4ndern ab und erh\u00f6he den Kontrast von zu flauen Bildern. Das eine oder andere Bild wandert auch noch in die digitale M\u00fclltonne.<\/p>\n
Sind die Bilder eines Themenordners komplett bearbeitet, kommt der schreibende Teil. Jedes (nicht-gel\u00f6schte und nachbearbeitete) Bild bekommt dabei einen Eintrag in meiner Bilddatenbank. Dazu geh\u00f6rt eine eindeutige Bildnummer (die ich seit meinem allerersten Dia fortschreibe), eine Referenz auf die digitale Bilddatei, Datum und Ort der Aufnahme sowie Informationen zum gezeigten Inhalt (beispielsweise „High Street und Carfax Tower“ in Beispielbild 1). Parallel lese ich die technischen Information der Bilder (wie Belichtungszeit, Blende, ISO-Wert, GPS-Daten) aus den sog. EXIF-Daten der Aufnahmen und lege diese Information ebenfalls in der Bilddatenbank ab.<\/p>\n
F\u00fcr die Ver\u00f6ffentlichung auf einer meiner Webseiten wandern die ausgew\u00e4hlten Bilder – wie schon erw\u00e4hnt – in eine Bilderserie. Das Beispiel des Oxford-Bildes liegt in der Serie „Oxfordshire – Oxford 1“. Jede solche Serie wird einem Land (in diesem Fall „Gro\u00dfbritannien“) oder einem Themenkomplex zugeordnet.<\/p>\n
Ist eine Serie komplett, kommen die hier vorgestellten Cloud-Dienste zum Einsatz. Ich lasse alle Bilder einer Serie von diesen analysieren. Die detektierten Labels – dabei handelt es sich um die anfangs erw\u00e4hnten Metainformationen – kontrolliere ich abschlie\u00dfend von Hand. Labels, die ich nicht f\u00fcr geeignet halte, entferne ich.<\/p>\n
\"Entfernung
Entfernung von falsch detektierten Labels<\/p><\/div>\n
Abschlie\u00dfend wandern die Bilder zusammen mit den beschreibenden Information auf meine Webseite<\/a>.<\/p>\n
\"Webseite
Webseite mit Bild und umfangreichen Informationen<\/p><\/div>\n
Zusammenfassung<\/h1>\n
Die Qualit\u00e4t der Bilderkennung der hier vorgestellten Cloud-Dienste von Google, Microsoft und Amazon hat mich positiv \u00fcberrascht. Sie liefern eine Menge an zus\u00e4tzlicher (Meta-) Information zu einem Bild und das mit einer erstaunlich hohen Treffsicherheit. In der Anzahl der gefundenen Labels f\u00e4llt Microsoft gegen\u00fcber seinen Mitbewerbern zur\u00fcck. Obwohl die Trefferanzahl bei Google und Amazon \u00e4hnlich ist, sind ihre inhaltlichen Schwerpunkte leicht unterschiedlich.<\/p>\n
Die Nutzung der Programmierschnittstellen gestaltet sich – zumindest bei Nutzung von node.js – als einfach. Die ben\u00f6tigte Dokumentation ist nicht immer einfach auf den Webseiten von Google, Microsoft und Amazon zu finden, da t\u00e4te an der einen oder anderen Stelle etwas mehr Ordnung gut. Man sp\u00fcrt deutlich, dass die Cloud-Welt ein sehr schnell wachsendes Gesch\u00e4ftsfeld ist. Hat man die entsprechende Webseite gefunden (am besten gleich bookmarken!), sind die Informationen aber ausf\u00fchrlich und verst\u00e4ndlich.<\/p>\n
Bei den Diensten handelt es sich um selbstlernende Systeme, d.h. ihre Ergebnisqualit\u00e4t soll sich im Laufe der Zeit allein durch die Anzahl der analysierten Bilddaten verbessern. Interessant wird sein, in einem gewissen zeitlichen Abstand die Beispielbilder erneut analysieren zu lassen und die Ergebnisse mit den hier vorgestellten zu vergleichen.<\/p>\n","protected":false},"excerpt":{"rendered":"
Wie finde ich ein bestimmtes Bild wieder? Das Durchst\u00f6bern zahlreicher Ordner auf der Festplatte kann sehr m\u00fc\u00dfig werden, insbesondere wenn der Bildbestand auf mehrere Zehntausend Bilder angewachsen ist. Die Suche wird stark vereinfacht, wenn die Bilder in einer Datenbank beschrieben werden, mit Informationen zum Ort und dem Tag der Aufnahme sowie einer m\u00f6glichst genauen Beschreibung […]<\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[594],"tags":[597,595,596],"class_list":["post-3068","post","type-post","status-publish","format-standard","hentry","category-technik","tag-amazon-rekognition","tag-google-vision","tag-microsoft-cognitive-services"],"_links":{"self":[{"href":"https:\/\/www.erde-in-bildern.de\/reiseblog\/wp-json\/wp\/v2\/posts\/3068","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.erde-in-bildern.de\/reiseblog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.erde-in-bildern.de\/reiseblog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.erde-in-bildern.de\/reiseblog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.erde-in-bildern.de\/reiseblog\/wp-json\/wp\/v2\/comments?post=3068"}],"version-history":[{"count":29,"href":"https:\/\/www.erde-in-bildern.de\/reiseblog\/wp-json\/wp\/v2\/posts\/3068\/revisions"}],"predecessor-version":[{"id":3120,"href":"https:\/\/www.erde-in-bildern.de\/reiseblog\/wp-json\/wp\/v2\/posts\/3068\/revisions\/3120"}],"wp:attachment":[{"href":"https:\/\/www.erde-in-bildern.de\/reiseblog\/wp-json\/wp\/v2\/media?parent=3068"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.erde-in-bildern.de\/reiseblog\/wp-json\/wp\/v2\/categories?post=3068"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.erde-in-bildern.de\/reiseblog\/wp-json\/wp\/v2\/tags?post=3068"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}