Wie Google mit Deep Learning ein künstliches Gehirn erschafft.

In Science-Fiction Filmen existieren sie schon lange: Künstliche Intelligenzen (KI), die unabhängig von Menschen agieren und Probleme selbständig lösen können. Was es bislang nur in Filmen gab, könnte im Bereich der Suchmaschinenoptimierung bald Realität werden. Machine Learning und Deep Learning – das klingt nach großen Worten, die für die Zukunft von Google und der Suchmaschinenoptimierung noch eine revolutionäre Rolle spielen werden. Google arbeitet seit mehreren Jahren an der Entwicklung einer künstlichen Intelligenz, die zukünftig auf alle Informationen zugreifen, alle Fragen der Internetnutzer autonom beantworten und sich eigenständig Kompetenzen aneignen soll. Was es bedeutet, wenn Google seine Machine- und Deep Learning- Fähigkeiten weiterentwickelt und wie sich das auf die Suchmaschinenoptimierung auswirkt, erfahren Sie hier.

Die Google-Suche wird das nächste Gehirn sein

Alles fing mit der Erforschung der Neural Networks (neuronale Netzwerke) an, mit denen sich der kanadische Professor Geoffrey Hinton über viele Jahre beschäftigt hat. Inzwischen arbeitet er bei Google als Distinguished Engineer. Hinton „ […] hat sich der dunklen Macht befähigt, die sich damit beschäftigt, verschiedene Schichten künstlicher Neuronen so zu organisieren, dass das gesamt System trainiert werden kann oder sich sogar selbst trainiert, sodass zusammenhängende von zufälligen Inputs unterschieden werden können.“ Das klingt sehr komplex, sagt aber im Grunde nur aus, dass wir versuchen, Maschinen zu entwickeln, die autonom einen Output bereitstellen, ohne dass wir den genauen Input, die Verarbeitung oder das Ergebnis bestimmen.

Wofür werden Neural Networks und Deep- und Machine Learning Prozesse genutzt?

Angenommen Sie haben bei Facebook ein Foto von sich und einem Freund hochgeladen. Hatten Sie schon einmal die Erfahrung, dass auch das Gesicht der anderen Person erkannt wurde? Auch wenn das Gesicht kaum zu erkennen ist und er eine Brille aufhat, die er sonst nie trägt. Wie konnte Facebook also diese Person erkennen und genau bestimmen? Genau dafür werden Neural Networks sowie Deep- und Machine Learning-Prozesse genutzt. Ziel der jahrelangen Forschung ist es, dass Google zukünftig relevante Inhalte jeglichen Formats autonom erkennt sowie versteht und dadurch bei Suchanfragen hochwertigere Antworten geben kann. Mittels einer netzwerkartigen Anordnung von Daten soll Google prinzipiell ähnlich wie das menschliche Gehirn arbeiten. Das menschliche Gehirn ist in mehrere Abschnitte geteilt, die sich um unterschiedliche Bereiche kümmern. Zusammen bilden sie ein Netzwerk um Informationen effizient zu verarbeiten. So ähnlich funktioniert auch der Algorithmus von Google. Um Ihnen die Unterschiede zwischen Machine- und Deep Learning aufzuzeigen, sind hier zwei kleine Beispiele:

Machine Learning

Hier bei MOZ verwenden wir eine sehr einfache Version des Machine Learnings für Page-Autorität (PA) und Domain-Autorität (DA). Wir sammeln die ganzen Inputs, also Anzahl der Links, Domains etc. und haben damit viele unterschiedliche Maßstäbe (auf Page-Level, Sub-domain-Level, Root-domain-Level). Wir kombinieren diese und befehlen der Maschine mittels Programmierung, dass wir gerne den Algorithmus hätten, der am besten die Korrelation darstellt wie Google Webseiten bewertet. Dazu geben wir noch 10.000 von Google bewertete Webseiten in die Maschine, damit sie einen Vergleich hat. Den Rest erledigt Google von ganz allein: Heraus kommt ein Algorithmus mit allen Faktoren, wie Google Webseiten ranked.

Deep Learning

Interessanter ist das weiterentwickelte System mit unterschiedlichen Schichten von Neural Networks. Diese wurden ursprünglich entwickelt um Neuronen im menschlichen Hirn zu ersetzen. Die erste Schicht identifiziert bestimmte Features, die zweite Schicht klassifiziert diese Features. Denken Sie dabei einfach an eine Google-Suchanfrage – Google schaut, welche Features/Elemente wichtig sind: Ihre Link-Daten, Onpage- und Offpage-Optimierung und vieles mehr. Die dritte Schicht extrahiert Features, die das gewünschte Ergebnis vorhersagen, sodass der User auch wirklich das von ihm gewünschte Suchergebnis bekommt. Auf der vierten Schicht befindet sich ein Algorithmus, der diese Suchergebnisse berechnet und auf der fünften Schicht passiert hoffentlich das, wofür sie gebaut wurden: Sie trainieren und verbessern sich von alleine. Es verhält sich also nicht so wie bei PA und DA , wo sich die Analytiker zusammensetzen, unterschiedliche Grafiken erstellen und überlegen, wie man etwas verbessern kann. Somit tragen Neural Networks dazu bei, dass Maschinen selbständig und nahezu ohne menschlichen Eingriff arbeiten können.

Das Potenzial von Deep Learning

Auf der einen Seite würde Deep Learning eine Revolution des World Wide Webs bedeuten, andererseits fühlt sich der eine oder andere womöglich bei diesem Gedanken auch unbehaglich. Ist das nicht auch etwas gruselig? Bei den ursprünglichen Systemen, brauchte man Menschen, die den Input eingaben bzw. der Maschine zeigten, was sie berücksichtigen soll. Bei dem neuen, unbeaufsichtigten Lernen findet das System so etwas von ganz alleine heraus. Das bringt uns zu einem interessanten Punkt: Stellen Sie sich den Google Algorithmus Circuit 2005 vor. Dieser hat zum Beispiel Ankertexte, Page-Ranks und -Autoritäten berücksichtigt. Dann haben Leute daran gearbeitet und noch den Standpunkt der Suchanfrage und User-in-Usage-Daten als Faktoren hinzugefügt, die der Algorithmus berücksichtigt, um das Ergebnis zu verbessern. Der Algorithmus von heute umfasst zahlreiche Faktoren, die von der Maschine bestimmt werden – auch wenn wir Deep Learning noch nicht ganz erreicht haben, sind wir auf jeden Fall schon bei Machine Learning angelangt. Das Machine Learning-System findet Dinge heraus, die Menschen niemals erkennen würden und macht daraus Matrizen, die Menschen niemals kreieren würden. In der Zukunft sind wohl nicht mal mehr die Inputs von Menschen bestimmt, sondern die Maschine findet diese ganz von alleine heraus. Wenn man also künftig, wenn der Deep Learning-Algorithmus das Ranking bestimmt, einen Google-Ingenieur fragt: „Ist es wichtig, ob ich mehr Backlinks bekomme?“, dann antwortet dieser: „Hmm, vielleicht.“ Nicht einmal die Maschine kann es genau erklären. Auch wenn man eine Momentaufnahme machen würde, könnte man damit nichts anfangen, da sich (a) der Algorithmus immer wieder verändert und weiterentwickelt und sich (b) die Matrix aus komplizierten Ansammlungen und Zusammenschlüssen der unterschiedlichen Matrizen unter verschiedenen Bedingungen ergibt.

Was bedeutet das für die Suchmaschinenoptimierung?

Worauf müssen wir jetzt achten, wenn es Richtung Deep Learning geht? Jeff Dean, ein Senior-Fellow bei Google und auch bekannt als der klügste Computerwissenschaftler der Welt, hat dazu gesagt, dass sie dieses System unbedingt bei Google einrichten möchten. Das heißt für SEO-Agenturen, dass es viel weniger eindeutige und allgemeingültige Richtlinien für gute Input- und Rankingfaktoren gibt – eigentlich wird es gar keine Rankingfaktor mehr geben, wie wir sie heute kennen. Man wird sich vermutlich immer noch Dinge wie den Ankertext angucken und diesen mit anderen Seiten vergleichen. Allerdings kann man nie sicher sein, wie wichtig dieser Faktor im neuen Algorithmus ist. Genau deswegen müssen wir diese Veränderung ernst nehmen und beschließen, ob wir unsere „alten“ Faktoren immer noch so sehen sollten, wie wir es heute tun. Es bedeutet auch, dass Webseiten, die die User zufriedenstellen, erfolgreicher sind. Wenn der Output „erfolgreiche Suche“ ist, dann gilt es darauf zu achten, dass Ihre Webseite von Google-Nutzern als zufriedenstellend betrachtet wird – damit Ihr Ranking besser wird als das von Mitbewerbern. Der Algorithmus wird Sie einholen – was eigentlich eine gute Sache ist. Das bedeutet auch nur, dass man von Google weniger Informationen darüber bekommen kann, wie Webseiten bewertet werden.

Welche Faktoren sind noch relevant?

Heute kann man z.B. von Google herausfinden, dass Pagespeed nur ein kleiner Faktor ist. Zukünftig wird es eher heißen, dass Pagespeed, so wie alle anderen Faktoren, einen gänzlich unbekannten Einfluss hat. Das liegt daran, dass die Maschine Pagespeed in einer Matrix als sehr kleinen Faktor ansieht. In den unterschiedlichen Ableitungen kann das aber anders aussehen und Elemente, die mit Pagespeed verbunden sind, haben auf einmal einen unglaublich starken Einfluss – vielleicht ist Pagespeed ja sehr wichtig, wenn es um die Zufriedenheit der User mit den Suchanfragen geht? Verrückte Faktor-Kombinationen, an die wir vorher nie gedacht haben, könnten plötzlich eine wichtige Rolle spielen. Das bedeutet am Ende, dass es unzählig viele neue Inputfaktoren für den Ranking-Algorithmus gibt, an die wir nie gedacht haben und die wir vielleicht für total unlogisch halten (z.B. auf welchen Servern die Webseite läuft). Für das Neural Network ist es irrelevant, was Menschen tun würden oder als logisch empfinden – es will einfach nur den besten Output bezüglich der Suchanfrage kreieren. Diese neue Welt ist noch nicht hier. Allerdings gibt es sicher schon Elemente, die wir beachten und an denen wir arbeiten müssen.

Der Durchbruch der Neural Nets

Hinton, ein knochiger Engländer mit trockenem Humor, steht vor einem White Board in Mountain View, Kalifornien, auf dem Campus von Google. Dem Unternehmen, dem er sich im Jahr 2013 als Distinguished Researcher anschloss. Hinton ist vielleicht der führende Experte der Neural Network Systems, einer KI-Methode, der er in der Mitte der 1980er-Jahre den Weg bereitet hat. Für den Großteil der Zeit wurden seither Neural Nets, die simulieren, wie das menschliche Gehirn lernt, als versprechendes Mittel für Computer beschrieben, um komplexe Dinge wie Vision und natürliche Sprache zu ermöglichen. Nach Jahren des Wartens auf diese Revolution fragten sich die Menschen, ob dieses Versprechen wohl je gehalten würde. Aber vor ungefähr zehn Jahren, in Hintons Labor an der Universität von Toronto, schafften er und ein paar andere Forscher den Durchbruch, der die Neural Nets plötzlich zur begehrtesten Entwicklung im Bereich der künstlichen Intelligenz (KI) machte. Nicht nur Google, auch andere Unternehmen wie Facebook, Microsoft und IBM begannen krampfhaft, die relativ kleine Anzahl an Computerwissenschaftlern zu verfolgen, die darin versiert war, mehrere Lagen künstlicher Neuronen so anzuordnen, dass das gesamte System trainiert werden oder sich selbst trainieren kann, um einen Zusammenhang zu zufälligen Inputs erahnen zu lassen: Etwa so, als würde ein Neugeborenes lernen, die Daten zu organisieren, die auf seine jungfräulichen Sinne einströmen. Mit diesem neuen, effektiven Verfahren, als Deep Learning tituliert, würden einige der jahrelangen Blockaden der Computation endlich aufgelöst. Das Zeitalter von intelligenten Computersystemen – lang erwartet und lang gefürchtet – könnte uns plötzlich im Nacken sitzen. Und die Google-Suche würde um ein Vielfaches besser funktionieren. Dieser Durchbruch wird entscheidend für den nächsten Schritt der Google-Suche sein: Die reale Welt zu verstehen, um einen großen Sprung darin zu machen, den Usern sowohl die passenden Antworten auf ihre Fragen als auch spontan erscheinende Informationen zu geben, um ihre Bedürfnisse zu befriedigen. Um die Suche am Leben zu erhalten, muss Google noch smarter werden.

Google ist das Unternehmen für künstliche Intelligenz

Google nutzt seine künstliche Intelligenz nicht nur in der Suche – obwohl seine Suchmaschine in positiver Weise mit Verfahren künstlicher Intelligenz durchtränkt ist –, sondern auch in seinem Werbesystem, seinen selbstfahrenden Autos und seinem Plan, Nanopartikel zur Früherkennung von Krankheiten in den menschlichen Blutkreislauf einzubringen. Wie Larry Page 2002 sagte: „Wir produzieren nicht immer, was Menschen wollen. Daran arbeiten wir wirklich hart. Es ist wirklich schwer. Um das zu tun, muss man klug sein. Man muss alles in der Welt verstehen, man muss die Anfragen verstehen. Woran wir uns gerade versuchen, ist künstliche Intelligenz. Die ultimative Suchmaschine wäre klug. Also arbeiten wir, um dem näher und näher zu kommen.“ Google war schon auf einem guten Weg, als Geoff Hinton seinen Durchbruch machte. Über die Jahre war das Unternehmen führend darin, eine traditionellere Form des sogenannten Machine Learning zu nutzen, um seine Suchmaschine klüger zu machen. Nur ein paar Jahre zuvor engagierte es eine Gruppe Ingenieure und Wissenschaftler, die in der künstlichen Intelligenz versiert waren und die Suchmaschine bearbeiteten, damit sie beispielsweise Synonyme lernte. Wenn Millionen Nutzer ein gegen ein anderes austauschbares Wort verwenden (z.B. Hund oder Welpe), nutzt Google dieses Wissen sofort, um Anfragen besser zu verstehen. Und als Google die Aufgabe annahm, Webseiten zu übersetzen, um Ergebnisse von Seiten in anderen Sprachen zu übermitteln, nutzten seine Wissenschaftler eine Methode, die eine große Menge von übersetzten Dokumenten und deren Quellen in das System einspeiste. So „lernte“ Googles Suchmaschine, wie sich eine Sprache auf die andere überträgt. Mit dieser Methode könnte Google Webseiten in eine Sprache übersetzen, die keiner seiner Ingenieure spricht.

Deep Learning könnte das künstliche Äquivalent zum menschlichen Gehirn werden

Deep Learning wird heute als großer Schritt über die einfache Vielfalt von Machine Learning hinaus betrachtet. Da es zumindest theoretisch auf dem Aufbau eines menschlichen Gehirns basiert, ist Deep Learning der Startschuss für computerbasierte Intelligenz-Meisterstücke – was mit vorherigen Technologien nicht möglich oder zumindest nicht ohne Weiteres realisierbar war. Deshalb ist Hintons Durchbruch so wichtig – sowohl für Google als auch für jedes andere Unternehmen, das sich mit Suche und ähnlichen Problemen beschäftigt. Google hat in den letzten Jahren hart daran gearbeitet, seine Suchmaschine umzugestalten, um eine Gesprächserfahrung zu erzeugen. Aber um wirklich die Fähigkeiten eines sogar sehr jungen Menschen zu erlangen, müssen die Grenzen der künstlichen Intelligenz ausgeweitet werden. Deep Learning ist dabei das Mittel unserer Tage, um das zu erreichen.

Wie funktionieren Neural Nets?

Die Umstände zu erklären, warum Neural Nets den Beinamen Deep Learning erlangten, ist nicht einfach. Neural Nets wurden in Anlehnung an das menschliche Gehirn konzipiert und sind in der Art modelliert, in der biologische Gehirne lernen. Wenn eine neue Aufgabe angefangen wird, wird eine bestimmte Menge an Neuronen angeregt. Man betrachtet die Ergebnisse, und in anschließenden Versuchen nutzt das Gehirn die Rückmeldung, um zu regeln, welche Neuronen aktiviert werden. Über die Zeit erstarken Verbindungen zwischen einigen Paaren von Neuronen, wohingegen andere schwächer werden, was die Grundlage einer Erinnerung bildet. Ein Neural Net ahmt diesen Prozess im Wesentlichen in verschlüsselter Form nach. Aber anstatt das verwirrte Durcheinander von Neuronen im menschlichen Gehirn zu duplizieren, organisiert das Neural Net – das viel kleiner ist – die Neuronen geordnet in Schichten. In der ersten Schicht bzw. in den ersten Schichten befinden sich Feature Detectors. Dabei handelt es sich um eine rechnergestützte Version menschlicher Sinne. Wenn ein Computer einen Neural Net Input gibt – z.B. eine Datenbank von Bildern, Sounds oder Textdateien –, lernt das System durch das Ermitteln der Anwesenheit oder Abwesenheit von ihm festgelegter Key Features in diesen Dateien, was diese darstellen. Zum Beispiel: Wenn eine Aufgabe war, E-Mails entweder als Spam oder zugelassene Nachrichten zu charakterisieren, „füttern“ die Forscher das System mit vielen Nachrichten, die entweder das Label SPAM oder NOT_SPAM tragen. Das Netzwerk würde automatisch komplexe Features von Worten (z.G. „Nigerian prince“, „Viagra“), Muster von Worten und Informationen im Nachrichtenkopf erkennen. Dieses Procedere wäre nützlich für die Ermittlung ob eine Nachricht als Spam bezeichnet wird oder nicht. In früheren Neural Net-Experimenten waren Computer nicht dazu fähig, Features selbst zu designen, sodass diese per Hand gestaltet werden mussten. Hintons eigener Beitrag half, eine Methode namens „back propagation“ zu etablieren, eine Art Feedback, das dem System ermöglichte, aus seinen Fehlern zu lernen und seine eigenen Features zu bestimmen. Allerdings hielt sich der Durchbruch der „back propagation“ in Grenzen und viele Forscher verloren über die Jahre das Vertrauen in Neural Nets. „Zurück im Jahr 1986, als wir zum ersten Mal back propagation entwickelten, waren wir begeistert von der Tatsache, dass man mehrere Schichten der Feature Detectors lernen konnte, und wir dachten, wir haben das Problem gelöst“, sagt Hinton. „Und es war sehr enttäuschend, dass wir keinen großen Durchbruch bei diesen praktischen Problemen erreichen konnten. Wir lagen komplett falsch in unserer Vermutung, wie viel Berechnung und wie viele mit einem Label versehenen Beispiele wir benötigten.“

Die Entstehung des Unsupervised Learnings

Nichtsdestotrotz glaubte Hinton fest daran, dass Neural Nets auf lange Sicht geeignet sein würden. 1995 versuchten er und seine Studenten die Labels hinter sich zu lassen, zumindest in den ersten Teilen des Lernprozesses. Diese Methode wurde „unsupervised pre-training“ genannt, was bedeutet, dass das System selbst herausfindet, wie es Input organisieren muss. Jedoch betont Hinton, dass der wirkliche Schlüssel, damit der Prozess erfolgreich funktioniert, ein mathematischer Trick war; eine Angleichung, die Rechenzeit gewann, während sich die Informationen durch die Schichten der Neuronen bewegten. Dies ermöglichte es, das Netzwerk durch viele Wiederholungen zu verfeinern. Mit Unsupervised Learning würde der menschliche Master des Systems nur in den letzten Abschnitten durch Kennzeichnung der wünschenswerten Outputs und Honorierung erfolgreicher Ergebnisse eingreifen. Hinton betont mit dem unten angeführten Beispiel, dass Unsupervised Learning als stetiger Lernprozess verstanden werden muss. Dabei sortiert und verarbeitet das System den vorhandenen Input eigenständig. „Man denke an kleine Kinder, wenn sie lernen, eine Kuh wiederzuerkennen“, sagt Hinton. „Es ist nicht so, dass sie eine Million verschiedener Bilder haben und ihre Mutter die Kühe bezeichnet. Sie lernen nur durch Herumschauen, was Kühe sind, und sagen vielleicht: ‚Was ist das?‘ Und ihre Mutter sagt: ‚Das ist eine Kuh.‘ Und dann verstehen sie es. So funktioniert das eher.“ In Zukunft würden Forscher außerdem eine effektive Alternative zu Unsupervised Learning beherrschen, die sich auf besser initialisierte Verfahren und den Gebrauch größerer Datensätze stützt.

Ein neuer Durchbruch im Deep Learning

Als Hintons Gruppe das Modell des unsupervised Learning testete, waren Neural Nets zunächst sehr schnelle GPUs (Graphic Processing Units). Obwohl diese Chips dafür konzipiert wurden, Formeln für weiterentwickelte Grafiken zu liefern, waren sie auch ideal für die erforderliche Berechnung in Neural Nets. Hinton brachte eine große Menge GPUs für sein Labor mit und beauftragte zwei Studenten, das System zu betreiben. Sie führten einen Test durch, um zu sehen, ob sie das Neural Network dazu bringen konnten, Phoneme in der Sprache zu erkennen. Das war natürlich eine Aufgabe, die viele Technologie-Unternehmen – besonders Google – schon zu meistern versucht hatten. Seit Sprache im Zeitalter von Mobiltelefonen der primäre Input wurde, mussten Computer einfach lernen, besser zuzuhören. Wie funktionierte das? „Sie erhielten dramatische Ergebnisse“, sagt Hinton. „Ihre ersten Ergebnisse waren ungefähr so gut wie die, die 30 Jahre angepasst wurden, und es war klar, dass wir, wenn wir so gute Resultate beim ersten ernsthaften Versuch bekämen, am Ende noch sehr viel bessere Ergebnisse erhalten würden.“ In den nächsten Jahren unternahm das Hinton-Team weitere Versuche und mit der Zeit veröffentlichten sie ihre Ergebnisse. Laut Hilton habe das System die beste Leistung der existierenden gewerblichen Modelle erbracht. „Der Punkt ist: Das alles wurde von zwei Studenten in einem Labor gemacht.“ Das Deep Learning war geboren.

Zeit für eine Revolution

Es ist das Jahr 2007. Mitten in dieser Arbeit, hielt Hinton einen Google Tech Talk in Mountain View über das Deep Learning, der die Geeks aufrüttelte und eine große Zahl neuer Follower bei YouTube generierte. Das half, die Neuigkeit zu verbreiten, dass Neural Nets endlich ein leistungsfähiges Mittel sein würden. Durch diesen Ansturm konnte man die Leute, die diese neue Methode verstanden, ausfindig machen und engagieren. Hintons Studenten gingen zu IBM, Microsoft und natürlich Google. Das stellte drei der vier führenden Unternehmen dar, die in diesem Feld arbeiteten (das andere, Nuance, schloss Apple mit seinen Zulieferern ein). Alle waren frei darin, die Arbeit aus Hintons Labor in den Systemen zu nutzen, von denen jedes helfen würde, das jeweilige Unternehmen weiter zu entwickeln. Hintons Ankunft bei Google war nur ein Ereignis in einer Reihe großer Veränderungen in dieser Saison. Nur ein paar Monate früher trat Ray Kurzweil, der panglossische Philosoph von KI, einem Team bei, das schon KI-Legenden wie Peter Norvig, der das Standardwerk für KI-Kurse schrieb, und Sebastian Thrun, ein wichtiger Erfinder des selbstfahrenden Autos, unterstützten. Aber nun war das Unternehmen durch Deep Learning berauscht, scheinbar überzeugt, dass es den großen Durchbruch in der nächsten Generation der Suche ermöglichte. Schon der Beginn von Mobile Computing hat das Unternehmen dazu gezwungen, den Charakter ihrer Suchmaschine zu verändern. Um weiter zu gehen, musste sie die Welt in der gleichen Weise kennen, wie ein Mensch die Welt kennen würde – aber natürlich auch die übermenschliche Aufgabe bewältigen können, alles in der Welt zu kennen und dazu fähig zu sein, alles in weniger als einer halben Sekunde zu finden.

Neural Nets Experte Jeff Dean betritt die Bühne

Es war wahrscheinlich nur eine Frage der Zeit, bevor Jeff Dean involviert werden würde. Dean ist eine Google-Legende. Er war schon in Computerwissenschaftskreisen bekannt, als er 1999 zu Google kam, und ihn einzustellen war ein Meilenstein für ein verhältnismäßig kleines Internet-Unternehmen mit einer zweistelligen Angestelltenzahl. Im Laufe der Jahre wurde Dean der Kopf für die Gestaltung der Software-Infrastruktur bei Google. Der nun 46 Jahre alte Ingenieur hat ein langjähriges Wissen über Neural Nets gesammelt – schon in seiner Bachelorarbeit beschäftigte er sich intensiv mit dieser Thematik. Im Laufe der Jahre kam er dennoch – wie die meisten seiner Kollegen – zu dem Schluss, dass die Zeit der Neural Nets noch nicht gekommen war. „Sie waren vielversprechend, verschwanden aber für eine Weile, weil wir einfach nicht genug Rechenleistung hatten“, sagte Dean letzten Herbst. 2011 stieß Jeff Dean auf Andrew Ng. Ng war ein Stanford-KI-Professor – einer der ganz Großen auf diesem Gebiet – der einen Tag pro Woche in dem Unternehmen verbrachte. Als Dean Ng fragte, woran er arbeite, war er von der Antwort überrascht: „Wir versuchen, Neural Nets zu trainieren.“ Ng erzählte Dean, dass sich die Dinge geändert hatten – nach dem Deep-Learning-Durchbruch hatten sie daran gearbeitet, und falls Google herausfinden könne, wie man wirklich große Netzwerke trainiere, würden großartige Dinge passieren. Dean begann, sich über sechs Monate nebenbei damit zu beschäftigen. Er wurde überzeugt, dass das Projekt, ein riesiges Netzwerksystem zu bauen, schnell konkrete Ergebnisse bringen könnte. Also machten er und Ng daraus ein Vollzeit-Projekt.

Die Geburt von „Google’s Deep Learning Project“

Für ungefähr ein Jahr war das Projekt informell als „The Google Brain“ bekannt und in Google X beheimatet – der weitreichenden, sehr anspruchsvollen Forschungsabteilung des Unternehmens. „Es ist eine Art scherzhafter interner Name, aber wir versuchten, ihn nicht nach außen hin zu verwenden, weil er ein bisschen komisch klingt“, sagt Dean. 2012 entstanden langsam erste Ergebnisse. Das Team zog aus dem vor allem experimentellen Google X aus und gliederte sich in der Such-Organisation ein. Das Team begann zudem, den Begriff „brain“ zu vermeiden. Stattdessen wurde es fortan „Google’s Deep Learning Project“ genannt. Dean sagt, das Team habe mit dem Experimentieren mit Unsupervised Learning begonnen, denn „wir haben viel mehr Unsupervised Data in der Welt als Supervised Data“. Das mündete in der ersten Publikation von Deans Team. Es handelt sich dabei um ein Experiment, bei dem das Google Brain (verteilt auf 16.000 Mikroprozessoren und ein Neural Net von einer Millarde Verbindungen) 10 Millionen YouTube-Bildern ausgesetzt wurde. Ziel war es zu beobachten, ob das System lernen konnte, das Gesehene zu identifizieren. Wenig überraschend konnte das System von selbst herausfinden, was eine Katze war, und war sehr gut darin, Videos von Katzen-Stars zu finden. „Wir haben ihm während des Training nie gesagt ‚Das ist eine Katze‘“, sagte Dean gegenüber der New York Times. „Es hat im Grunde das Konzept einer Katze erfunden.“

..und das ist erst der Anfang von Google Brain

Mit diesem Test wollte das Team sehen, was das System bereits konnte. Sehr schnell baute das Deep Learning Project ein mächtigeres Neural Net und begann, Aufgaben wie die Spracherkennung anzugehen. „Wir haben ein gutes Portfolio mit Forschungsprojekten. Manche von ihnen sind auf kurze oder mittlere Dauer angelegt – gut verständliche Dinge, die Produkten schon bald helfen können. Andere haben langfristige Ziele – Dinge, für die wir kein bestimmtes Produkt im Kopf haben, aber von denen wir wissen, dass sie nützlich sein werden.“ Ein Beispiel dafür entstand, als vier von Googles Deep-Learning-Wissenschaftlern eine Publikation mit dem Titel „Show and Tell“ veröffentlichten. Sie kennzeichnete nicht nur einen wissenschaftlichen Durchbruch, sondern brachte auch eine direkte Anwendung für die Google-Suche hervor. Die Arbeit stellte einen „Neural Image Caption Generator“ (NIC) vor, der designt wurde, um ohne menschliches Eingreifen Bezeichnungen für Bilder zu liefern. Grundsätzlich arbeitet das System wie ein Bildredakteur bei einer Zeitung. Es war ein gigantisches Experiment, das Vision und Sprache umfasste. Was dieses System außergewöhnlich machte, war, dass es ein Learning System für Bilder auf ein Neural Net schichtete, das fähig war, Sätze in natürlicher Sprache zu erzeugen. Niemand sagt, dass dieses System über die menschliche Fähigkeit, Fotos zu klassifizieren, hinausgeht. Schriebe ein Mensch Bildbezeichnungen auf dem Level von diesem Neural Net, würde der Anfänger wohl allerdings nicht bis Mittag aushalten. Aber erschreckenderweise tat es das System. Erschreckend gut für eine Maschine. Einige von den exakten Treffern waren „eine Gruppe junger Leute spielt Frisbee“, „eine Person fährt Motorrad auf einer dreckigen Straße“ und „eine Elefantenherde läuft über eine Rasenfläche“. Wenn man überlegt, dass das System von selbst Begriffe wie Frisbee, Straße und Elefantenherde „gelernt“ hat, ist das ziemlich beeindruckend. Also können wir es dem System auch nachsehen, wenn es einen X-Games-Fahrer mit einem Skateboarder oder einen kanariengelben Sportwagen mit einem Schulbus verwechselt. Es ist nur das erste Anzeichen eines Systems, das die Welt kennt. Und das ist erst der Anfang für das Google Brain. Dean ist nicht bereit zu sagen, dass Google das weltgrößte Neural-Net-System hat, aber er gibt zu: „Es ist das größte von denen, die ich kenne.“

Google investiert 400 Millionen in Deep Learning

Während Hintons Einstellung und Deans Kopf für das Unternehmen große Schritte Richtung Deep Learning waren, geschah vielleicht die größte Aktion im Jahr 2013 – als Google 400 Millionen Dollar für den Erwerb von DeepMind ausgab. Um den Kauf zu tätigen, stach Google seine Konkurrenten aus, die auch ein Auge auf das Unternehmen geworfen hatten. Und das zu einem guten Grund: DeepMind könnte sich als ähnlich großes Geschäft wie der 1,7-Milliarden-Dollar-Kauf von YouTube oder die 50 Millionen Dollar für das gerade erwachsenes Open-Source-Mobilbetriebssystem Android erweisen.

Was ist DeepMind?

DeepMind ist ein Londoner Unternehmen für künstliche Intelligenz und hat seine eigene Herangehensweise an Deep Learning, die auf einer Studie des Gehirns selbst basiert. CEO und Mitbegründer von DeepMind ist Demis Hassabis. Ein kompakter, dunkelhaariger Man von 38 Jahren. Hassabis spricht so schnell, als wäre er ein Podcast auf doppelter Geschwindigkeit. „Meine ganze Karriere hat zu der KI-Firma geführt“, sagt er während einer Pause in der neuen Firmenzentrale in London. DeepMind ist gerade aus einem kleinen Bürogebäude in Bloomsbury hierher gezogen. Es ist ein außergewöhnlicher Platz, an dem sich neue Strukturen mit einem bestehenden Flügel des alten Krankenhauses verbinden, was das Gefühl einer Zeitreise verursacht. Die Konferenzräume sind nach Philosophen, Schriftstellern und Künstlern benannt, zu denen intellektuelle Größen wie DaVinci, Gödel und Mary Shelley gehören. Erst kürzlich ist das Team gewachsen, DeepMind und der Mutterkonzern Google erwarben zwei Oxford-basierte Unternehmen: Eins davon ist Dark Blue Labs, das Deep Learning zum Verständnis natürlicher Sprache nutzt. Das Andere, Vision Factory, nutzt die Methode für die Erkennung von Objekten. Mit 14 Jahren war Hassabis sowohl begeisterter Computerspiel-Programmierer als auch Schach-Wunderkind. Während er mit dem „Game-Meister“ Peter Molyneux als Mentor arbeitete, spielte er zentrale Rollen in grundlegenden Titeln wie „Black and White“ und „Theme Park“. Dann gründete er – noch in seinen Zwanzigern – seine eigene Computerspielfirma mit bald 60 Angestellten. Aber Gaming, sagt er, sei nur das Mittel zum Zweck gewesen, um eine künstlich intelligente Allzweckmaschine zu entwickeln. 2004 hatte Hassabis das Gefühl, das Gaming in diesem Bereich weit genug vorangetrieben zu haben. Aber es war zu früh, um ein KI-Unternehmen zu gründen – die Computerleistung, die er benötigte, war nicht günstig und reichhaltig genug. Also promovierte er in Kognitiver Neurowissenschaft am University College London. 2007 war er Co-Autor für einen Artikel über die neuronale Basis von Speichern, den das Magazin „Science“ einen der zehn größten Durchbrüche des Jahres nannte. Er wurde Mitglied der Gatsby Computational Neuroscience Unit und ist auch mit UCL, MIT und Harvard verbunden. 2010 entschied er, dass es an der Zeit war, ein Unternehmen zu gründen, das sich mit erweiterter KI beschäftigt. Er gründete es mit den Gatsby-Kollegen Shane Legg und Mustafa Suleyman, einem Multiunternehmer, der Oxford mit 19 Jahren verlassen hatte. Geldgeber waren Peter Theils Gründungsfonds und Elon Musk (der später Bedenken wegen der Nachteile von KI äußerte). Geoffrey Hinton war einer der Berater.

Der Zusammenhang von Neutral Nets und Computerspielen

DeepMind arbeitete heimlich, mit nur einem veröffentlichten Ergebnis – und dies noch vor dem Google-Kauf. Das war genug um eine Menge an Spekulationen mit einem Spritzer Spott hervorzurufen. Die veröffentlichte Arbeit beschrieb den Erfolg von DeepMind im passiven Training von Neural Nets zum Spielen klassischer Atari-Computerspiele. Das Neural-Net-System wurde seinen eigenen Deep-Learning-Methoden überlassen um Spielregeln zu lernen. Das System probierte sich einfach an Millionen Sessions von Pong, Space Invaders, Beam Rider und anderen Klassikern und brachte sich selbst bei, mit einem Jugendlichen gleichzuziehen und ihn zu übertreffen. Sogar noch faszinierender ist, dass einige der erfolgreicheren Strategien jene waren, die sich kein Mensch hätte vorstellen können. „Das ist ein besonderes Potential dieser Art von Technologie“, sagt Hassabis. „Wir statten sie mit der Fähigkeit aus, für sich selbst durch Erfahrungen zu lernen, wie ein Mensch es tun würde. Deshalb kann es Dinge meistern, von denen wir vielleicht nicht wissen, wie sie zu programmieren sind. Es ist spannend, das zu sehen, wenn eine neue Strategie in einem Atari-Spiel auftaucht, von der die Programmierer nichts wussten.“

Das künstliche Gehirn, das weiß, was als Nächstes zu tun ist.

Es ist ein kleiner Schritt in Richtung von Hassabis’ großem Ziel eines „Gehirns“, das nicht nur Fakten kennt, sondern auch autonom auf Situationen reagieren und handeln kann. DeepMind gibt sich nicht damit zufrieden, nur eine Maschine für eingeschränkte Bereiche wie Atari-Spiele, Computing oder die Abwicklung von Terminen zu bauen. Es will eine allgemeine KI-Maschine kreieren, die Informationen überall, wo sie sie bekommen kann, verarbeitet und dann alles Weitere selbst tut . „Die KI, an der wir hier arbeiten, ist ein Prozess, der unstrukturierte Informationen automatisch in nützliches, verwertbares Wissen umwandelt“, sagt Hassabis. „Wir haben einen Prototypen davon – das menschliche Gehirn. Wir können mit dem gleichen Aufbau unsere Schnürbänder binden, Fahrrad fahren und Physikaufgaben lösen. Also wissen wir, dass es möglich ist.“

Haben KIs ein Gefahrenpotenzial?

Es mag ein wenig beängstigend klingen, dass Hassabis sich ein riesiges künstliches Gehirn ausmalt, das die Informationen der Welt aufsaugt, gliedert, versteht und dann eigenständig handelt. Auch für Hassabis wirkt es auf eine gewisse Weise einschüchternd – zumindest ab dem Punkt, an dem er zugibt, dass die fortschrittliche Technik, der seine eigene Gruppe den Weg bereitet, zu einem Problem führen könnte: wenn nämlich die KI aus der menschlichen Kontrolle gerät oder zumindest so stark wird, dass der Gebrauch eingeschränkt würde . Hassabis’ DeepMind-Mitbegründer Shane Legg ist dabei sogar noch entschiedener: Er erachtet ein menschliches Aussterben durch künstliche Intelligenz als Top-Bedrohung dieses Jahrhunderts. Auch DeepMind-Investor Elon Musk gab gerade zehn Millionen Dollar für die Analyse von AI-Gefahren aus. Deshalb verlangten Hassabis und seine Mitbegründer als Bedingung für den DeepMind-Kauf, dass Google ein Gremium an Beratern erstellt, um den Fortschritt der AI-Bemühungen zu überwachen. DeepMind entschied bereits, dass es seine Technologie niemals dem Militär oder Geheimdiensten überlassen wird, und überzeugte auch Google davon, dem zuzustimmen. Auch der Aufbau des Gremiums von DeepMind bleibt streng geheim. Hassabis gab nur bekannt, dass es aus „Top-Professoren für Computing, Neurowissenschaft und Machine Learning” bestehe.

Neural Nets in Kombination mit Turing Machine.

Letzten Herbst veröffentlichte DeepMind eine andere bedeutende Arbeit. Beschrieben wird ein Projekt, das unterschiedliche Ideen der Neurowissenschaften und Erinnerungstechniken zusammenfasst, um ein neurales Netzwerk mit Eigenschaften einer Turing Machine zu erstellen. Das bedeutet, dass solch ein System, wenn ihm genug Zeit und Speicher gegeben wird, in der Theorie alles berechnen kann. Diese Arbeit fokussiert sich auf das Praktische: mit der Fähigkeit, Informationen aufzunehmen und davon später zu zehren. Wie eine künstliche Version des „Arbeitsspeichers” einer Person, ist die Neural Turing Machine nicht nur fähig, schneller zu lernen und komplexere Aufgaben als frühere Neural Nets zu übernehmen, sondern „außerhalb ihres Trainingsrahmens gut zu verallgemeinern“, schreiben die DeepMind-Autoren.

Ergebnisse in Echtzeit

Dean spricht von einem Versuch, eine bessere Form von Echtzeit-Übermittlung zu erreichen. Das ist eine große Aufgabe in diesen Tagen – neben Googles eigenem System, hat Microsofts Skype Beobachter mit unmittelbarer Sprachübertragung beeindruckt. Aber Dean ist begeistert von den Bemühungen seines eigenen Teams, Dinge vorwärts zu bringen. „Dies ist ein Modell, das nur Neural Nets benutzt, um eine lückenlose Übertragung zu bekommen“, sagt er. „Man trainiert Satzpaare in einer oder einer weiteren Sprache, die das Gleiche bedeuten. Zum Beispiel Französisch zu Englisch. Man speist englische Sätze mit jeweils einem Wort ein, und dann ein spezielles ‚Ende von Englisch‘-Zeichen. Und plötzlich beginnt das Modell, Französisch auszuspucken.“ Dean zeigt einen Kopf-an-Kopf-Vergleich zwischen dem Neural-Modell und Googles aktuellem System – und sein Deep-Learning-Newcomer ist in der Wahl der Nuancen bei der Ausdrucksweise überlegen. „Ich denke, es spricht dafür, dass ziemlich gewaltige Dinge geschehen, wenn wir dies erweitern”, sagt Dean.

Zukunftsprognosen

DeepMind ist bereit für die Produktion. Hassabis sagt, in ungefähr sechs Monaten werde seine Technologie ihren Weg in die Google-Produkte finden. Seine Organisation ist in Bereiche aufgeteilt. Einer davon – geführt von Mitbegründer Mustafa Suleyman – ist der Anwendung von KI gewidmet und arbeitet eng mit Google zusammen. Hassabis hat mehrere Ideen, wie DeepMind unser aller Leben verbessern könnte. Er glaubt, dass eine vorausschauende Version der Suche – nicht nur Dinge für jemanden zu finden, sondern Entscheidungen für ihn zu treffen – ein wertvoller Lieferant für die kostbarste Ware wäre, die wir haben: Zeit. „Es gibt mehr Bücher auf der Welt, die ich faszinierend finde, als ich wahrscheinlich in meinem ganzen Leben lesen könnte“, sagt Hassabis. „Also warum frage ich mich auf jedem Langstreckenflug oder in einem seltenen Urlaub, welches Buch ich lesen soll? Das sollte niemals passieren. Ich denke, viele von diesen Dingen sollten lieber automatisiert sein.“ In der Zukunft stellt sich Hassabis vor, dass die Arbeit von DeepMind ihren Weg in exotischere Google-Projekte wie das selbstfahrende Auto und sogar Calico findet – eine Spinoff-Company, die sich der Erweiterung der menschlichen Lebensdauer gewidmet hat. Es ist letztlich bezeichnend, dass DeepMind und Google Brain – zusammen mit Hintons Deep-Learning-Gruppe – alle in der Google-Suche-Organisation verortet sind. Viele Jahre zuvor haben Larry Page und Sergey Brin, vielleicht halb scherzhaft, über die in unsere Gehirne implantierte Suche gesprochen. Niemand spricht heute über Implantate. Anstatt unser Gehirn anzuzapfen, um die Suche besser zu machen, baut Google selbst Gehirne.

Wie sieht die Zukunft der Suchmaschinenoptimierung aus?

Suchmaschinenoptimierung wird auch im Zeitalter der DeepLearning Machines von großer Bedeutung bleiben – allerdings wird Google den Prozess mittels ständig wechselnder Algorithmen immens erschweren. Für professionelle Agenturen für Suchmaschinenoptimierung bedeutet dies, dass die eindeutigen und allgemeingültigen Richtlinien für gute Input- und Rankingfaktoren stetig sinken werden und nicht mit den derzeitigen Faktoren vergleichbar sind. Ein Faktor, welcher womöglich noch relevant für die Suchmaschinenoptimierung war, kann im neuen Algorithmus wieder zweitrangig sein. Folglich wird es für SEO-Agenturen immer schwieriger, Google zu verstehen – erst recht, wenn Google dazu imstande ist eigenständig zu denken und sich ohne menschlichen Input weiterentwickelt.