Über Marathons und Künstliche Intelligenz

Wir stellen Ralf Herbrich, Director of Machine Learning bei Amazon, vor.

Welche lebende Person bewunderst du am meisten?
Andrew Herbert. Andrew war von 2003 bis 2011 Geschäftsführer von Microsoft Research Cambridge, und er hat mir alles, was ich über angewandte Wissenschaften weiß, beigebracht. Andrew ist einer der wenigen Menschen, die wissenschaftliches Detailwissen, Unternehmergeist (er hat vor 20 Jahren sein eigenes Unternehmen mitgegründet) und solide Ingenieurskunst in sich vereinen. Außerdem ist er einer der zugänglichsten und bescheidensten Menschen, die ich kenne.

Was ist deine größte Angst?
Ich habe Höhenangst – ich kann kaum drei Stufen auf einer Leiter stehen, ohne dass mir schwindlig wird. Und mit jedem weiteren Schritt, den ich mache, wird sie schlimmer. Mir ist es schon passiert, dass ich komplett erstarrt bin, als ich aus dem Aufzug im Eiffelturm heraustreten wollte. Statt aus dem Lift zu steigen, musste ich mit dem Aufzug wieder nach unten fahren.

Was ist deiner Meinung nach die wichtigste Erfindung der Weltgeschichte?
Die Dampfmaschine – sie war das erste Werkzeug, das menschliche Arbeit automatisiert und damit alle Branchen und das Leben aller Menschen verändert hat. Seit der Erfindung der Dampfmaschine hat die Lebenserwartung der Menschen zugenommen, wir können längere Strecken zurücklegen, wir leben länger, und wir können statt unserer körperlichen unsere mentale Kraft nutzen. Die Welt ist dadurch reicher geworden und stärker vernetzt worden.

Wie würdest du deine momentane Geisteshaltung beschreiben?
Ruhig und entschlossen.

Nenne eine Sache, die du jede Woche tust, um dich auf die Bedürfnisse unserer Kunden zu konzentrieren.
Jeden Tag erhalte ich eine Vielzahl an E-Mails, die vielen Fragezeichen enthalten, und ich lese sie bis ins kleinste Detail. Bei Besprechungen verbringen mein Team und ich die ersten Minuten immer mit Rückblicken auf Kollaborationen. Diese konkreten Geschichten von Kollaborationserfolgen und -fehlern bei der Zusammenarbeit mit unseren internen Geschäftsgruppenkunden helfen mir, viel darüber herauszufinden, was funktioniert oder was nicht gut funktioniert.

Was ist deiner Meinung nach die am meisten überschätzte Tugend?
Geduld. Bei wissenschaftlichen Experimenten mag Ungeduld eine schlechte Sache sein. Im Allgemeinen ist es aber genau die Ungeduld, die das gesamte Team antreibt.

Welche Publikationen liest du, um bei Trends auf dem Laufenden zu bleiben?
Wenn es um Wissenschaft geht, lese ich jede einzelne Veröffentlichung von Amazon Wissenschaftlern. Das sind über 200 pro Jahr, also fast ein Paper pro Tag. In Sachen Technik lese ich TechCrunch und Wired, aber verlasse mich vor allem auf Freunde oder Nachrichtenseiten, durch die ich die wichtigsten Artikel erhalte.

Gibt es Wörter oder Ausdrücke, die du überbeanspruchst und zu viel benutzt?
„Mechanismus“ ist so ein Wort. Ich glaube fest an organisatorische Mechanismen, mit denen Führungskräfte Ideen und Projekte skalieren können, und ich stelle zu oft die Frage: „Gibt es dafür einen Mechanismus?“ Oder „Welche Mechanismen wendest du in deinem Team an?“

Wer oder was ist die größte Liebe deines Lebens?
Meine Frau, Jeannette Herbrich. Ich habe sie kennengelernt, als ich 19 war, und wir haben in den letzten 25 Jahren so viele Dinge miteinander geteilt. Wir haben in drei verschiedenen Ländern gelebt, und ich freue mich schon auf die nächsten 25 Jahre.

Wann und wo warst du am glücklichsten?
Ich mag jede einzelne Sekunde meiner Arbeit und muss mich oft selbst ermahnen, nicht zu lange zu arbeiten. Außerhalb der Arbeit hatte ich meinen glücklichsten Moment im vergangenen Jahr, als ich beim (Original-) Marathon in Athen ins Ziel eingelaufen bin – die Gefühle, die man nach viereinhalb Stunden Laufen durch die landschaftlich reizvolle Strecke mit Tausenden Jahren von Geschichte spürt, sind schwer in Worte zu fassen. Man erlebt eine berauschende Mischung aus Erfüllung, Euphorie und Erschöpfung.

Wann lagst du das letzte Mal mit etwas falsch?
Vor ein paar Wochen haben wir diskutiert, welche Vorgänge in einem ML Hardwaresystem besonders viel Energie verbrauchen. Ich hatte angenommen, dass es besonders energieintensiv ist, Daten in Speichern zu bewegen und zu halten. Für Deep Learning Systeme stellte sich jedoch heraus, dass der Energieverbrauch nicht mehr als 20% beträgt. Ich denke, es ist völlig in Ordnung, Fehler zu machen, solange man sicherstellt, dass man denselben Fehler nicht noch einmal macht. Aus Fehlern lerne ich am meisten, deshalb werde ich die Erfahrung mit dem Energieververbrauch jetzt nie wieder vergessen.

Welches Talent hättest du gerne?
Ich würde gerne besser zeichnen können. Ich bin eine visuelle Person und mache bei der Arbeit oft Skizzen, um wissenschaftliche Konzepte zu erklären. Aber ich kann leider keine Motive mit Menschen oder Tieren so zeichnen, dass sie erkennbar sind.

Wann hast du zum letzten Mal dem “disagree and commit”-Prinzip von Amazon eine andere Meinung vertreten und die getroffene Entscheidung trotzdem mitgetragen?
Ich mache das sehr oft. Meine Teammitglieder sind die besten Wissenschaftler auf ihrem Gebiet, und Wissenschaftler haben ständig eine andere Meinung! Wir haben beispielsweise mal diskutiert, was eine wirkungsvolle Anwendung von energieeffizientem maschinellem Lernen ausmacht: Ich war der Meinung, es sei die Fähigkeit, ein Brettspiel (z.B. Schach oder Go) besser zu spielen als ein Mensch und die gleiche geringe Menge an Energie wie ein menschlicher Spieler zu verbrauchen. Mein Team meinte aber, dass das nicht nur schwieriger sei, sondern auch nicht mit den tatsächlichen Energieeffizienzproblemen zusammenhängt, die wir im Bereich der maschinellen Übersetzung haben. Ich habe mich entsprechend der Idee verpflichtet, und das Team hatte Recht.

Wenn du etwas an dir ändern könntest, was wäre das?
Mir mehr Zeit für das Lesen nicht-technischer Bücher zu nehmen. Ich lese Unmengen von Fachliteratur, aber die Zahl der Bücher aus den Bereichen Belletristik und Sachliteratur, die ich gelesen habe, ist ziemlich klein. Ich lese gerne Biographien und Bücher über das Laufen und Essen. Aber ich stufe es nicht wichtig genug ein, um tatsächlich aus purem Vergnügen zu lesen. Das passiert nur in einem langen Urlaub.

Was ist deine größte Leistung?
Meine zwei Kinder. Sie sind 13 und 16, und ich bin sehr stolz, wie unabhängig und glücklich sie im Leben sind und wie viele Freundschaften sie geschlossen haben.

Wenn du sterben würdest und als Mensch oder Ding wiedergeboren würdest, was wärst du?
Ich würde gerne wiederkommen und mein eigenes Leben noch einmal leben. Es gab keinen einzigen langweiligen Moment in meinem Leben, ich bereue nicht, irgendetwas verpasst zu haben.

Wo möchtest du am liebsten leben?
Ich habe in Cambridge (UK), Mountain View (USA) und Berlin gelebt. Um ehrlich zu sein, bin ich da, wo ich gerade lebe, sehr glücklich. Das einzige Land auf der Wunschliste meiner Frau und mir ist Neuseeland. Unser Plan ist, dort ein Jahr zu leben, wenn unsere Tochter 18 wird und das Haus verlässt.

Was ist dein wertvollster Besitz?
Ich habe keinen wirklich wertvollen Besitz. Als ich 15 Jahre alt war, fiel die Mauer in Deutschland. Plötzlich konnte ich die Welt bereisen und im Ausland studieren – ich bin in Ostdeutschland aufgewachsen. Es hat sich viel über Nacht verändert, und seitdem gibt es keinen Gegenstand mehr, der mir besonders wichtig wäre. Der einzige Gegenstand, den ich sehr schätze und der mir etwas bedeutet, ist mein Ehering. Ich trage ihn seit 18 Jahren jeden Tag, und er hat viele meiner Erinnerungen mit mir erlebt.

Kannst du uns einige Innovationen aus dem letzten Jahr aus deiner Organisation nennen, die dich besonders begeistern?
Ich bin stolz auf jede Innovation, die die Amazon Core ML Teams entwickelt haben – sowohl die, die erfolgreich waren, als auch diejenigen, die fehlgeschlagen sind und von denen wir viel gelernt haben. Aber es gibt eine Innovation, die sehr bekannt ist und an der man viele Jahre gearbeitet haben: das automatisiertes System für Frischevorhersagen. Von der Idee bis zum ersten funktionsfähigen System hat es dreieinhalb Jahre gedauert. Es ist einfach fantastisch, das System jetzt tatsächlich in Aktion zu sehen und damit eine Welt zu erleben, in der aufgrund dieser Innovation weniger frische Lebensmittel verschwendet werden.

Wie war dein erster Tag bei Amazon?
Chaotisch und ein Kulturschock. Erstens hatte mir niemand die Adresse der Orientierungsveranstaltung für neueingestellte Mitarbeiter gegeben, also bin ich in Van Vorst, einem Platz auf dem Amazon Campus in Seattle, herumgelaufen. Ich habe den Veranstaltungsort gerade noch rechtzeitig gefunden. Danach nahm ich an drei Meetings teil, in denen Dokumente besprochen wurden. In der ersten Hälfte der Meetings war jeder mit Lesen beschäftigt. Ich habe mich gefragt, was hier vor sich geht, aber ich habe mitgemacht. Am Abend sagte ich am Telefon zu meiner Frau: „Das ist wahnsinnig, die nehmen sich bei Amazon tatsächlich Zeit zum Lesen!“

Kannst du einen Ratschlag nennen, den man dir einmal gegeben hat, und einen, den du anderen gegeben hast?
Es ist der gleiche Rat, den ich selbst erhalten habe, und den ich allen bei Amazon geben möchte: Man muss lernen, Nein zu sagen und sich zu konzentrieren. Man muss lernen, für seine Zeit selbst verantwortlich zu sein und sparsam damit umzugehen, denn niemand anderes kann das für einen tun. Ich brauchte sechs Monate, um mich selbstbewusst genug zu fühlen, um zu sagen: „Nein, das will ich nicht verantworten“.

Kannst du ein Beispiel dafür nennen, wie maschinelles Lernen Amazon dabei hilft, die Kundenbedürfnisse zu erfüllen?
Dafür gibt es buchstäblich Hunderte von Beispielen; es ist also schwierig, ein einziges auszuwählen. Beispielsweise identifiziert und verhindert Amazon automatisch, dass urheberrechtsverletzende Inhalte auf Amazon Video zur Verfügung gestellt werden.

Was ist dein Lieblings-Science-Fiction-Buch?
Wie gesagt, ich lese viel zu wenig nicht-technische Bücher, um ein Lieblings-Science-Fiction-Buch zu haben. Ich bin ein Filmfreak und mein Lieblings-Science-Fiction-Film ist „The Matrix“ – eine faszinierende Geschichte darüber, wie Rationalität, Religion und die physische Welt in Einklang gebracht werden können.

Was war das Letzte, was du bei Amazon gekauft hast?
Powerbar Gel Original (24 x 41g Packung). Das ist für meine wöchentlichen Halbmarathonläufe.