Unter den Begriff "starke KI" oder auch "allgemeine KI" fällt ein echt intelligentes System auf dem Level des Menschen mit einem Bewusstsein. Es gibt (noch) Keines und laut unseren Interviewpartnern wird es eine starke KI auch so bald nicht geben, da einfach immer mehr neuronale Netze noch kein Bewusstsein schaffen.

Aktuell ist es technisch möglich komplexe neuronale Netze zu schaffen, die erstaunliche Aufgaben bewältigen können. Jedoch hat niemand eine Idee, wie man ein Bewusstsein schaffen könnte. "There is no ghost in the machine." Allerdings argumentieren andere KI-Experten, dass man auch nicht wissen muss warum etwas funktioniert, man könne es trotzdem bauen. So gesehen könnte es auch versehentlich dazu kommen, dass eine starke KI entsteht.

Die folgenden drei inoffiziellen KI-Gesetze illustrieren dies: Das erste, bekannt als Ashby's Gesetz, nach dem Kybernetiker W. Ross Ashby, Autor von Design for a Brain, besagt, dass jedes effektive Kontrollsystem so komplex sein muss wie das System, das es kontrolliert.

Das zweite Gesetz, das von John von Neumann formuliert wurde, besagt, dass das entscheidende Merkmal eines komplexen Systems darin besteht, dass es seine eigene einfachste Verhaltensbeschreibung darstellt. Das einfachste vollständige Modell eines Organismus ist der Organismus selbst. Der Versuch, das Verhalten des Systems auf eine formale Beschreibung zu reduzieren, macht die Dinge komplizierter und nicht weniger.

Das dritte Gesetz besagt, dass jedes System, das einfach genug ist, um verständlich zu sein, nicht kompliziert genug sein wird, um sich intelligent zu verhalten, während jedes System, das kompliziert genug ist, um sich intelligent zu verhalten, zu kompliziert sein wird, um es zu verstehen.

Das dritte Gesetz bietet Trost für diejenigen, die glauben, dass wir uns keine Sorgen um übermenschliche Intelligenz machen müssen, die zwischen Maschinen entsteht, bis wir Intelligenz verstehen. Aber es gibt eben die oben schon beschriebene Hintertüre im dritten Gesetz. Es ist durchaus möglich, etwas zu bauen, ohne es zu verstehen. Man muss nicht vollständig verstehen, wie ein Gehirn funktioniert, um eines aufzubauen, das funktioniert. Dies ist ein Schlupfloch, das keine Kontrolle über Algorithmen durch Programmierer und ihre ethischen Berater jemals schließen kann. Nachweislich ist "gute KI" ein Mythos. Unsere Beziehung zu starker KI wird immer eine Frage des Glaubens und nicht des Beweises sein.

Eventuell sind wir also doch gar nicht mehr so weit von der Singularität entfernt und dann stellt sich die Frage: "Will it be a good god?"