GPT-3

Lyngual GPT-3

Was ist GPT-3?

Seit ihrer Einführung in 2017 revolutionieren die Transformer mit Self-Attention-Mechanismen die Bereiche NLP und Text Data.

Bei Generative Pre-trained Transformer 3 (GPT-3) handelt es sich um ein autoregressives Sprachmodell, welches anhand von Deep Learning menschenähnlichen Text erzeugt; es wurde im Mai 2020 von Open AI vorgestellt. 

Wie funktioniert GPT-3?

GPT-3 ist ein Deep Neural-Network-Sprachmodell, welches vorhersagt wie wahrscheinlich es ist, dass ein bestimmter Satz in der Welt existiert.

Dale Markowitz von OpenAI erklärte, dass GPT-3 auf einem unbeschrifteten Datensatz unter Verwendung von Common Crawl und Wikipedia trainiert wird. Dabei werden zufällig Wörter entfernt, wodurch das Modell lernt die Lücken zu füllen, wobei nur die benachbarten Wörter für Kontext verwendet werden. Die Architektur des Modells basiert auf einem Transformer Deep Neural Network-Modell.

Das Modell ist riesig, mit 175 Milliarden Parametern, und damit das größte bisher erstellte Sprachmodell. Die enorme Größe des Modells ermöglicht, dass GPT-3 intelligent erscheint und teilweise, wie eine echte Person klingt.

Ein Vorteil von GPT-3 gegenüber anderer Sprach-Transformer-Modellen, ist die Fähigkeit eine bestimmte Aufgabe ohne spezielle Abstimmung durchzuführen; zum Beispiel eine Sprachübersetzung oder das Verfassen eines Gedichts oder eines Artikels mit weniger als 10 zum Ausführen der Aufgabe erforderlichen Trainingsbeispielen. Dies liegt an seiner enormen Größe. Ein Grund, warum Fachleute für maschinelles Lernen natürlicher Sprache so begeistert von GPT-3 sind, ist, dass andere Modelle eine große Anzahl von Beispielen benötigen, um beispielsweise eine Übersetzung vom Deutschen ins Englische durchzuführen.

GPT-3 ist in der Lage, benutzerdefinierte Sprachaufgaben auszuführen, ohne umfangreiche Trainingsdaten, die bei anderen Modellen erforderlich sind.

Transformer mit Self-Attention-Mechanismen wurden 2017 von einem Google-Team unter der Leitung von Vaswani in einem Papier mit dem Titel "Attention is All You Need" vorgestellt. Das Papier sorgte in der Forschungsgemeinschaft für Natural Language Processing (NLP) für große Überraschung. Insbesondere die Tatsache, dass ein Modell, welches weder Faltung noch Wiederholung verwendet, dennoch in der Lage war die existierenden neuronalen maschinellen Übersetzungsmodelle von Sequence-to-Sequence von Google zu übertreffen.

GPT-3 für Content Creation

GPT-3 ist nicht nur für die Sprachübersetzung interessant, sondern vor allem für den Bereich Content Creation. GPT-3-Modelle sind in der Lage, KI-erstellte Inhalte aus kurzen Anweisungen oder Sätzen zu verfassen. Den bisher vielversprechenden Ergebnissen zufolge stellt sich die Frage, ob die Erstellung / das Schreiben von Inhalten als nächstes von KI beeinflusst wird und wie dies die Dynamik in der Sprach- und Content-Industrie verändern wird.

GPT-3 und Lyngual

Unsere Mission mit Lyngual ist es unserer Community die neueste und beste Technologie zur Verfügung zu stellen. Daher verfolgen wir die Entwicklung von GPT-3 sowohl für die Sprachübersetzung als auch für den Bereich Content Creation genau. Sobald es kommerziell sinnvoll ist, werden wir GPT-3-basierte Systeme auf unserer Plattform einbauen.

Andreas Jacobi

Andreas Jacobi

CEO


In this article


Most Recent

Kulturelle Unterschiede in der Übersetzung und wie man mit diesen umgeht
Continue reading...
3 Dinge, die bei der Übersetzung zwischen Deutsch und Englisch zu beachten sind (Teil 2)
Continue reading...

More posts

Warum die Erfahrung mit Übersetzungsagenturen oft negativ ist

Ich stoße häufig auf eine Variation dieser Aussage: "Ich habe mit so vielen Übersetzungsbüros gearbeitet, und meine Erfahrungen waren schlecht -...

Kulturelle Unterschiede in der Übersetzung und wie man mit diesen umgeht

Sprache und Kultur gehen Hand in Hand; daher ist es wichtig nicht nur die Zielsprache, sondern auch die Kultur des Ziellandes zu berücksichtigen....

3 Dinge, die bei der Übersetzung zwischen Deutsch und Englisch zu beachten sind (Teil 2)

Zwischen Deutsch und Englisch zu übersetzen scheint einfach, hält aber einige Fallstricke parat. Hier ein paar Punkte die man beachten sollte:

Translator Rate Squeeze

Der Beruf des Übersetzers ist bereits Jahrtausende alt und existiert beinahe so lange, wie es die geschriebene Sprache gibt. Doch die Zeit, in...