The Future of Search #8

Can GPT-3 or ontology-based Cyc bring about the Semantic Web and solve semantic search?

Welcome to Future Potentialis #8

I’m Andreas Freund. I’m exploring pressing issues in tech, science, and society with sources and inspirations to let you dig deeper.

I hope you find some time to work on an entry for our essay competition on “The First Time”, which I run together with “alexandria” magazine.

Für die deutsche Version, bitte hinunterscrollen.


Future scenario: Imagine being able to search through troves of documents like Wikileaks’ by meanings of concepts and not just keywords.

Solution

To make the internet really machine-understandable has been a dream for decades, not least from the creator of the web itself, Tim Berners-Lee. This would require a fundamental understanding of intelligence and bridging the semantic gap. The meaning, (semantics) of an object depends on the context it is regarded within. This ambiguity of meaning is present in natural language but cannot be reproduced in a formal (programming) language. So having a program locate a file that has “funny” in its name is easy, while having it locate a file that makes my grandma laugh is not. Practical applications would need to be able to translate high-level concepts like humor unambiguously into the elementary and reproducible operations of an algorithm and its parameters.

What’s missing

Founded in 1984, Cyc uses a comprehensive ontology and knowledge base of basic concepts and rules of how the world works. So it knows facts like that Marie Curie was a famous physicist and chemist, but also lots of information that you wouldn’t find in an encyclopedia because it seems self-evident. Cyc understands that if you let go of an orange it will fall to the ground; that an orange is smaller than a horse and that a person cannot throw an orange into space. Although Cys’ knowledge base includes millions of assertions, which feed into an inference engine, every single one had to be verified by a human, which is why even after more than 30 years, Cyc knows far less than an adult human. For Cyc to have something like common sense it would need to codify billions of entities and the relationships between them accurately for which some form of automation is needed.

Others see genuine understanding in OpenAI's GPT-3 general language model, which has been trained on a large amount of uncategorized text from the internet. Given some text as input, the only thing it does is to guess what text comes next. Although GPT-3 doesn’t truly understand language, it can generate convincingly human texts. Its unsupervised learning had surprising side effects: GPT-3 can translate between texts, generate code, guitar tabs, poetry, and more. While that might seem intelligent, there is no value in random guitar tabs, and getting GPT-3 to write code needs a very precise understanding of the desired software, which usually only programmers possess. As the published examples are also cherry-picked and still contain syntax-errors, GPT-3 is more useful to write code quicker than to enable laymen to code, which would be better served with already existing code generators. This exemplifies the stochastic nature of  GPT-3’s outputs and its variance in performance. That outputs are far from being consistently good, and thus always require human revision, makes it difficult to find useful applications for GPT-3. It surely is a great writing aid, both for sparking creativity by using it to generate writing prompts, or by selecting different completions for a story point, generating character backstories, or imitating the style of a particular author. Apart from that, it will be primarily used by students, to write half-hearted essays. Fears that it will be used for misinformation efforts like spam or fake customer reviews are overblown because although it might serve as a writing aid for nefarious purposes, unrevised outputs will be too random to satisfy a specific intent. Moreover, forensic tools like GLTR can help detect machine-generated text. One also has to keep in mind that GPT-3 cannot reference things that didn’t exist in its training set (e.g. Covid-19) and that it retains the biases of the data it has been trained on. GPT-3 does an incredible job in answering questions commonly found in a Turing test, with an astonishing performance on common-sense questions. While GPT-3 could generate definitions of entities for Cyc, which could then be verified by humans via CAPTCHAs, the resulting ontology would still be too brittle and too easily outdated.

Thank you for reading,

Andreas


Die Suchmaschine der Zukunft

Ermöglichen GPT-3 oder Cyc die semantische Suche?

Zukunftsszenario: Man stelle sich vor, Dokumente oder Webseiten wären nicht nur nach Schlüsselwörtern, sondern auch nach der konzeptuellen Bedeutung von Suchbegriffen durchsuchbar.

Lösung

Schon der Erfinder des Webs, Tim Berners-Lee, träumte davon das Internet für Maschinen lesbar zu machen. Das dafür benötigte fundamentales Verständnis von Intelligenz und die Überwindung der semantischen Lücke, also die kontextabhängige Mehrdeutigkeit eines Objekts in eine formale (Programmier-) Sprache zu übersetzen ist noch unerreicht. Praktische Anwendungen müssten also in der Lage sein, abstrakte Konzepte wie Humor eindeutig in die elementaren und reproduzierbaren Operationen eines Algorithmus und zu übersetzen.

Was noch fehlt

Das 1984 gegründete Unternehmen Cyc möchte das Problem mit einer umfassenden Ontologie- und Wissensdatenbank lösen, die grundlegende Konzepten und Regeln über die Funktionsweise der Welt enthält. So weiß Cyc, dass Marie Curie eine berühmte Physikerin und Chemikerin war, aber auch viele Informationen, die nicht in einer Enzyklopädie zu finden wären, weil sie selbstverständlich erschienen. Es versteht, dass eine Orange zu Boden fällt, wenn man sie loslässt, dass eine Orange kleiner ist als ein Pferd und, dass man eine Orange nicht in den Weltraum werfen kann. Obwohl Cycs Wissensdatenbank Millionen von Behauptungen enthält, aus denen Interferenzen gezogen werden können, musste jede einzelne von einem Menschen überprüft werden. Auch nach mehr als 30 Jahren weiß Cyc über die Welt weit weniger als ein erwachsener Mensch. Damit Cyc aber so etwas wie gesunden Menschenverstand erreichte, müssten Milliarden von Entitäten und die Beziehungen zwischen ihnen genau kodifiziert werden, was ohne Automatisierung unmöglich ist.

Andere schreiben OpenAIs allgemeinem Sprachmodell GPT-3, das mit einer großen Menge nicht kategorisierten Textes aus dem Internet trainiert wurde, echtes Verständnis zu. Obwohl das Programm Sprache nicht wirklich versteht, und lediglich rät welcher Text auf den bisher Eingegebenen folgt, kann es überzeugend menschliche Texte generieren. Da das Modell unbeaufsichtigt lernte, also ohne im Voraus definierte Ziele, ergaben sich überraschende Nebenwirkungen: GPT-3 kann Texte übersetzen und u. a. Code, Gitarren-Tabs sowie Gedichte generieren. Das mag zwar intelligent erscheinen, aber zufällige Gitarren-Tabs sind wertlos, und um GPT-3 zum Schreiben von Code zu bringen, muss die gewünschte Software so genau beschrieben werden, dass normalerweise nur ProgrammiererInnen dazu in der Lage sind. Da die veröffentlichten Beispiele zudem selektiv ausgewählt wurden, aber trotzdem Syntaxfehler enthalten, dient GPT-3 mehr dazu Code schneller zu schreiben, als Laien zu ProgrammierInnen zu machen. Dies zeigt beispielhaft die stochastische Natur der GPT-3-Outputs und ihre Leistungsvarianz. Da die Ergebnisse nicht konstant gut sind und, daher immer von Menschen überarbeitet werden müssen, ist es schwierig, nützliche Anwendungen für GPT-3 zu finden. Es ist sicherlich eine großartige Schreibhilfe, sowohl um Kreativität freizusetzen, als auch um verschiedene Vervollständigungen für eine Story anzubieten, um Charakter-Hintergrundgeschichten zu generieren oder den Stil eines bestimmten Autors zu imitieren.

Abgesehen davon wird es hauptsächlich von Studierenden verwendet werden, um halbherzige Essays zu schreiben. Befürchtungen, dass es für Desinformationskampagnen wie Spam oder gefälschte Kundenbewertungen verwendet wird, sind übertrieben: GPT-3 kann zwar auch als Schreibhilfe für schändliche Zwecke dienen, unbearbeitete Outputs sind aber zu zufällig, um eine spezifische Absicht erfüllen zu können. Darüber hinaus können forensische Tools wie GLTR dabei helfen, Maschinen-generierten Text zu erkennen. Man muss auch bedenken, dass GPT-3 nicht auf Dinge verweisen kann, die nicht in seinem Trainingscorpus enthalten waren (z. B. Covid-19), und dass es die Vorurteile und Voreingenommenheit der Daten beibehält, mit denen es trainiert wurde. GPT-3 kann viele Fragen, die in einem Turing-Test gestellt werden außergewöhnlich gut beantworten und hat eine erstaunliche – aber bei Weitem nicht perfekte- Performance bei Fragen, die den gesunden Menschenverstand betreffen. Zwar könnte GPT-3 Definitionen von Entitäten für Cyc generieren, die dann von Menschen über CAPTCHAs verifiziert würden, die resultierende Ontologie wäre aber immer noch zu zerbrechlich und zu schnell veraltet.

Vielen Dank fürs Lesen,

Andreas

p.s. Ich möchte nochmals auf den Essaywettbewerb „Das erste Mal“ hinweisen, den ich zusammen mit dem Magazin „alexandria“ veranstalte. Essays können noch bis zum 1. September eingereicht werden.