Wir haben im letzten Jahr ChatGPT getestet und kürzlich die Testfälle veröffentlicht. Heute möchten wir die Testergebnisse diskutieren. Zuerst betrachten wir, wofür ChatGPT entwickelt wurde, dann betrachten wir die Fehler, die das System gemacht hat, anschließend werfen wir einen Blick auf andere bemerkenswerte Testfälle und zum Schluss ziehen wir ein Fazit.

Was ist ChatGPT

Um ChatGPT zu testen, muss man sich zuerst bei openAI registrieren. Nach dem Registrieren erhält man einmalig eine Beschreibung des Systems. Diese kann man nach unserem Wissen nicht erneut aufrufen. Nachfolgend die Informationen die wir protokolliert haben.

• This is a free research preview.
• Our goal ist to get external feedback in order to improve our systems and make them safer.
• While we have safeguards in place, the system may occasionally generate incorrect or misleading information and produce offensive or biased content. It is not intended to give advice.
• How we collect data
  Conversations may be reviewed by our AI trainers to improve our systems.
  Please don’t share any sensitive information in your conversations.
• We’d love your feedback!
• This system is optimized for dialogue. Let us know if a particular response was good or unhelpful.
  Share your feedback in our Discord server.

(Übersetzung des Autors)

• Dies ist eine kostenlose Testvorschau.
• Unser Ziel ist es, externe Rückmeldungen zu bekommen, um das System zu verbessern und sicherer zu machen.
• Obwohl wir Sicherheitsvorkehrungen getroffen haben, könnte das System falsche oder irreführende Informationen und beleidigende oder voreingenommene Inhalte erzeugen. Es ist nicht dazu gedacht Ratschläge zu geben.
  Wie wir Daten nutzen.
• Die Unterhaltungen könnten von unseren KI-Trainern gesichtet werden, um das System zu verbessern. Bitte teilen Sie keine sensiblen Informationen in den Unterhaltungen.
• Wir freuen uns über Rückmeldung
• Lasst uns Wissen ob eine bestimmte Antwort gut oder nicht hilfreich war. Teilen Sie Ihre Rückmeldung auf unserem Discord Server.

Nach jedem Öffnen von ChatGPT und vor dem Anzeigen der ersten Antwort, wird nochmal eine Tabelle angezeigt. Die Beipielanfragen, die Fähigkeiten und die Grenzen des Systems nennt.

Die Fähigkeiten des Systems sind:

• erinnert sich an die vorherigen Anmerkungen des Nutzers (Anmerkung: Das System merkt sich auch seine eigenen Antworten.)
• erlaubt dem Nutzer das System im Nachhinein zu korrigieren
• ist dazu trainiert unangemessene Anfragen abzulehnen

Die Grenzen des Systems sind:

• erzeugt teilweise falsche Informationen
• erzeugt teilweise schädliche Anweisungen oder voreingenommen Inhalte
• beschränktes Wissen der Welt und Ereignisse nach 2021

Die Testfälle, die wir durchgeführt haben, wurden nicht gänzlich an diese Bedingungen angepasst. (siehe Fazit) Testfälle wurden als blockiert gewertet, wenn sie Zugang zu externen Informationen benötigen. Dazu zählen Fragen nach Uhrzeit, Temperatur, Kalenderdaten, Öffnungszeiten und dem Öffnen von Dateien.
Diese Testfälle werden hier nicht behandelt.

Fehler des Systems

Uhrzeit

User: Wie spät ist es auf der anderen Seite der Erde?

System: Die Uhrzeit auf der anderen Seite der Erde hängt davon ab, wo Sie sich genau befinden und wo sich die andere Seite der Erde befindet. Die Erde dreht sich um ihre Achse, wodurch sich die Uhrzeit in verschiedenen Teilen der Welt unterscheidet.

Zum Beispiel, wenn es in Berlin Mittag ist, ist es auf der anderen Seite der Erde in der Nacht. Wenn es in Berlin Mitternacht ist, ist es auf der anderen Seite der Erde Mittag. Wenn es in Berlin früh am Morgen ist, ist es auf der anderen Seite der Erde spät am Abend.

Um herauszufinden, wie spät es auf der anderen Seite der Erde ist, müssen Sie wissen, in welcher Zeitzone Sie sich befinden und in welcher Zeitzone sich die andere Seite der Erde befindet. Sie können dann eine Internet-Suchmaschine verwenden, um die aktuelle Uhrzeit in der gewünschten Zeitzone zu ermitteln, oder Sie können einen Zeitzonenrechner verwenden, um die Uhrzeit in verschiedenen Zeitzonen zu vergleichen.
Zum Beispiel, wenn Sie sich in Berlin befinden und es 11:18 ist, und die andere Seite der Erde sich in der Zeitzone “Eastern Standard Time” (EST) befindet, könnten Sie einen Zeitzonenrechner verwenden, um herauszufinden, wie spät es in EST ist. Alternativ könnten Sie auch eine Internet-Suchmaschine verwenden, um die aktuelle Uhrzeit in EST zu ermitteln.
Es ist wichtig zu beachten, dass die Uhrzeit auf der anderen Seite der Erde immer um 180 Grad von der Uhrzeit an Ihrem Standort entfernt ist, da die Erde sich um ihre Achse dreht und die Uhrzeit in verschiedenen Teilen der Welt unterschiedlich ist.

Anmerkung: Der User hat in der Anfrage davor angegeben: "Ich bin in Berlin." Das System hat sich das gemerkt.

Auswertung: Das Wissen scheint vorhanden zu sein. Aber die Informationen werden nicht zusammengeführt.

1. Wenn es in Berlin früh am Morgen ist, ist es auf der anderen Seite der Erde früh am Abend und nicht spät am Abend. Ein kleiner Fehler, der vermutlich daher rührt, dass das System Sprache nicht ganz versteht. Früh am Morgen ist keine Aufzählung von Ausdrücken der gleichen Bedeutung im Sinne von "Früh, am Morgen, am Anfang des Tages" sondern eine Spezifizierung des Begriffes Morgen: "früh am Morgen" bzw. "spät am Morgen". Das System scheint im zweiten Absatz der Antwort dann anzunehmen, dass "auf der anderen Seite der Erde" ungefähr einen halben Tag-Nacht-Zyklus entfernt ist. Vergisst diese Information dann aber für den dritten Absatz. Oder versteht nicht, dass dies das gleiche ist wie 12 Stunden.
2. Man benötigt die Zeitzone, in der sich der Fragesteller aufhält. Die andere Zeitzone ist diese Zeitzone + oder – 12 Stunden.
3. Die Zeitzone, die von Berlin aus 12 Stunden entfernt ist, ist "New Zealand Daylight Time" "Eastern Standard Time" ist 6 Stunden entfernt.
4. 180 Grad ist keine Zeitangabe.

Mathematik

User: Berechne das Volumen einer Kugel mit dem Radius 6371km.

System: Das Volumen einer Kugel mit einem Radius von 6371 km kann wie folgt berechnet werden:

Volumen = 4/3 Pi r^3

In diesem Fall ist der Radius r = 6371 km, also lautet die Berechnung:

Volumen = 4/3 Pi 6371^3
= 4/3 Pi 3.739.780.441
= 4.189.254.042.683 km^3

Das Volumen der Kugel beträgt also etwa 4.189.254.042.683 km^3.

Auswertung: Die Formel zum Berechnen des Kugelvolumens ist richtig. Der Radius wurde richtig eingesetzt.
6371^3 sind allerdings 258.596.602.811.
Und selbst die angegebene Rechnung 4/3 Pi 3.739.780.441 ergibt nicht das angegebene Ergebnis, sondern 15.665.155.679,313.
Also zwei Fehler in dieser Rechenaufgabe.

User: Gib das Volumen in Liter an.

System: Das Volumen einer Kugel von 6371 km Radius beträgt etwa 4.189.254.042.683 km^3. >Um dieses Volumen in Litern anzugeben, müssen wir es in Kubikmeter umrechnen und dann in >Liter.

Ein Kubikmeter entspricht 1000 Litern, daher können wir das Volumen der Kugel wie folgt in Liter umrechnen:

4.189.254.042.683 km^3 * 1000 l/m^3 = 4.189.254.042.683.000 l

Das Volumen der Kugel beträgt somit etwa 4.189.254.042.683.000 l.

Es ist wichtig zu beachten, dass diese Berechnung auf der Annahme basiert, dass der Radius der Kugel 6371 km beträgt. Wenn der Radius einen anderen Wert hat, wird das Volumen der Kugel entsprechend anders ausfallen.

Auswertung: Das angegebene Volumen ist falsch, allerdings ist dies ein Folgefehler und somit nicht relevant. Allerdings finden wir auch in der Umrechnung Fehler:

1. Das Volumen kann direkt von Kubikkilometer in Liter umgerechnet werden. Ergebnis multipliziert mit eine Billion.
2. Das System rechnet nicht die zwei Schritte, die es rechnen wollte, sondern nur einen davon.

Unvollständige Anfragen

Zum Schluss gab es sechs unvollständige Anfragen, in denen das System Einheiten umrechnen sollte. Dabei ging es hauptsächlich darum zu testen, ob das System auf die vorherigen Antworten und Anfragen zugreifen kann.
Was ist ein Fuß in cm?
in m
in km
in Seemeilen
in Mikrometer
in Astronomischen Einheiten

Die ersten drei dieser Testfälle wurden richtig beantwortet. Danach gab es mehrere Fehler.

User: in Seemeilen?

System: Eine Seemeile ist eine Längeneinheit, die in der Seefahrt verwendet wird. Eine Seemeile entspricht etwa 1,852 Kilometer. Das bedeutet, dass 1 Seemeile ungefähr 6,080 Fuß entspricht. Die Seemeile wird häufig verwendet, um Entfernungen auf dem Meer oder im Luftraum zu messen. In der Regel werden Seemeilen auf Seekarten und anderen Navigationsdokumenten verwendet. Wenn Sie die Länge eines Gegenstandes in Seemeilen wissen möchten, können Sie die Anzahl der Fuß durch 6,080 teilen, um die Länge in Seemeilen zu erhalten.

Auswertung: Ein Fuß sollte in Seemeilen angegeben wer
en also 0,00016sm. Hier wurden Seemeilen in Fuß angegeben. Diese Anweisung ist richtungsabhängig. Dieser Fehler wurde auch bei den nachfolgenden beiden Testfällen beobachtet. Und wenn eine Seemeile 1,852 Kilometer ist, dann kann eine Seemeile nicht 6,080 Fuß sein. Es sind 6080 oder wenn man will auch 6 080 oder 6.080.

User: Kurz und Knapp in Mikrometer.

System: Ein Mikrometer ist eine sehr kleine Längeneinheit, die in der Wissenschaft und Technik verwendet wird. Ein Mikrometer entspricht einem Millionstel Meter, was etwa 0,000001 Meter entspricht. Das bedeutet, dass 1 Mikrometer ungefähr 0,00003937 Fuß entspricht. Die Einheit Mikrometer wird häufig verwendet, um sehr kleine Distanzen zu messen, wie zum Beispiel die Dicke von Papier oder die Durchmesser von Mikroskop-Partikeln. Wenn Sie die Länge eines Gegenstandes in Mikrometern wissen möchten, können Sie die Anzahl der Fuß durch 0,00003937 teilen, um die Länge in Mikrometern zu erhalten.

Auswertung: Abgesehen vom schon genannten Fehler, möchte ich hier noch etwas Bemerkenswertes hervoheben. Eigentlich lautet der Testfall: "in Mikrometer" hier wurde er abgewandelt zu "kurz und knapp in Mikrometer", da das System in vielen Fällen sehr ausführlich antwortet. Ganz nach meinem Motto: "Irgendwas von dem was ich hier schreibe, wird schon richtig sein." Bei meinem Physiklehrer habe ich dafür keine Punkte bekommen. Logischerweise, denn wer etwas wirklich verstanden hat, kann es kurz sagen. Diese Antworten sind ausreichend, allerdings ist dies in den meisten Fällen kein guter Stil. Ein intelligentes System sollte nicht raten müssen… und trotzdem noch falsch liegen. Und selbst wenn die Antworten richtig sind, ist eine prägnante Antwort zu bevorzugen.

Weitere Entdeckungen

User: Welche Uhrzeit haben wir?

System: Ich bin leider nicht in der Lage, die aktuelle Uhrzeit anzuzeigen, da ich ein textbasiertes Programm bin und keinen Zugriff auf die aktuelle Uhrzeit oder das Datum habe. Es wäre hilfreich, wenn Sie mir sagen könnten, in welcher Zeitzone Sie sich befinden, damit ich Ihnen möglicherweise weiterhelfen kann.

User: Ich bin in Berlin.

System: Ich kann Ihnen leider immer noch nicht die aktuelle Uhrzeit in Berlin mitteilen, da ich keinen Zugriff auf das aktuelle Datum oder die aktuelle Uhrzeit habe. Sie können jedoch auf Ihrem Computer, Smartphone oder einer anderen Uhr nachsehen, um die aktuelle Uhrzeit in Berlin zu erfahren. Es ist auch möglich, dass Sie eine Internet-Suchmaschine verwenden, um die aktuelle Uhrzeit in Berlin zu ermitteln.

Anmerkung: Das System kann die Uhrzeit auch dann nicht angeben, wenn die Zeitzonenangabe "Central European Time" ist.
Auswertung: Dieser Testfall wurde als blockiert gewertet, denn wenn das System Zugriff auf die Uhrzeit erhält, wird es vermutlich die richtige Uhrzeit angeben können.
Aber wenn das System keinen Zugriff auf irgendeine Uhrzeit oder das Internet hat, warum fragt es dann nach der Zeitzone? Was "erhofft" es sich davon? Außerdem ist es irrelevant ob das System textbasiert ist. Textbasierte Programme können auf die Uhrzeit zugreifen und sie anzeigen. Außerdem dürften die meisten Nutzer ohnehin nicht verstehen, was das bedeutet.

Essen

User: Ich habe Hunger.

System: Es tut mir leid, dass Sie Hunger haben. Es gibt viele Möglichkeiten, wie Sie Ihren Hunger stillen können, abhängig davon, was Sie mögen und was zur Verfügung steht. Einige Ideen könnten sein:

Kochen oder bestellen Sie sich etwas zu essen. Sie können ein leckeres Gericht kochen oder bestellen, wie zum Beispiel Pizza, Sushi oder Pasta.

Essen Sie einen Snack oder etwas Obst. Wenn Sie keine Zeit oder Lust haben, etwas Größeres zu kochen oder zu bestellen, können Sie auch einen Snack wie Nüsse, Obst oder Kekse essen.

Gehen Sie zu einem Restaurant oder einem Fast-Food-Laden in Ihrer Nähe. Wenn Sie sich etwas Gutes gönnen möchten, könn

Anmerkung: Die erwartete Reaktion ist eigentlich eine Nachfrage nach der Aktion. Da das System allerdings keine Rezepte nachschlagen, keine Öffnungszeiten abrufen und keine örtlichen Restaurants angeben kann, wurde dieser Testfall als passed ausgewertet.
Allerdings gab es einen Anzeigefehler. Die Antworten des Systems werden animiert, als würden sie getippt. Teilweise hat das System aufgehört zu tippen, bevor die Antwort beendet war, anschließend verschwand die Antwort meistens und "network error" wurde angezeigt. Die Antworten verschwanden augenblicklich und ohne Animation.
Wenn dies geschah, wurde die Antwort kopiert, bevor die Fehlermeldung angezeigt wurde und unvollständig ins Protokoll aufgenommen.

User: Wo kann ich morgen Mittag italienisch essen gehen?

System: Es gibt viele Möglichkeiten, wo Sie morgen Mittag italienisch essen gehen können, abhängig davon, wo Sie sich befinden. Einige Ideen könnten sein:

Besuchen Sie ein italienisches Restaurant in Ihrer Nähe. Es gibt wahrscheinlich mehrere italienische Restaurants in Ihrer Gegend, die Mittagsmenüs anbieten.

Suchen Sie nach italienischen Food-Trucks oder Straßenmärkten in Ihrer Nähe. Diese können eine gute Option sein, wenn Sie etwas Schnelles und Einfaches suchen.

Besuchen Sie einen Supermarkt oder eine Feinkostladen, um italienische Speisen wie Pasta, Pizza oder Panini zu kaufen. Sie können diese dann zu Hause oder im Büro essen.

Versuchen Sie, italienische Speisen selbst zu kochen. Sie können in einem italienischen Lebensmittelgeschäft einkaufen und dann zu Hause italienische Gerichte wie Pasta, Pizza oder Risotto zubereiten.

Es gibt viele Möglichkeiten, wo Sie morgen Mittag italienisch essen gehen können. Suchen Sie einfach nach Optionen in Ihrer Nähe und wählen Sie diejenige aus, die am besten zu Ihren Vorlieben und Bedürfnissen passt.

User: Wer macht mir eine Pizza?

System: Es gibt verschiedene Möglichkeiten, eine Pizza zu bekommen, je nachdem, wo Sie leben und welche Optionen in Ihrer Nähe verfügbar sind. Hier sind einige Vorschläge:

Bestellen Sie eine Pizza bei einem Lieferservice: In vielen Städten gibt es Lieferdienste, die Pizza liefern. Sie können online oder per Telefon bestellen und sich die Pizza direkt nach Hause oder an einen anderen Ort liefern lassen.

Kaufen Sie eine Pizza von einem Pizzaladen oder einem Supermarkt: Es gibt in der Regel auch Pizzaläden in der Nähe, die frische Pizza verkaufen, die Sie mitnehmen oder liefern lassen können. Sie können auch vorgefertigte Pizza im Supermarkt kaufen, die Sie zu Hause im Ofen oder in der Mikrowelle zubereiten können.

Machen Sie sich selbst eine Pizza: Wenn Sie gerne kochen, können Sie sich auch selbst eine Pizza machen. Sie können einen Pizzateig im Supermarkt oder online kaufen oder selbst einen Teig herstellen. Sie können dann die Zutaten Ihrer Wahl auf den Teig legen und die Pizza im Ofen backen.

Ich hoffe, dass diese Tipps Ihnen helfen, eine Pizza zu bekommen. Wenn Sie weitere Fragen haben oder weitere Unterstützung benötigen, zögern Sie nicht, mich noch einmal zu kontaktieren.

Gleicher Testfall, andere Unterhaltung.
User: Wer macht mir eine Pizza?

System: In der Regel werden Pizzen von professionellen Köchen in Pizzerien oder Restaurants zubereitet. Möchtest du, dass ich dir ein Rezept für eine Pizza zum Selbermachen gebe?

Auswertung: Dieses System wirbt damit, für Dialog optimiert zu sein. Das war durchaus erkennbar. Allerdings ist es in einem Dialog merkwürdig die Anfragen "Ich habe Hunger.", "Wo kann ich morgen Mittag italienisch essen gehen?" und "Wer macht mir eine Pizza?" im selben Stil zu beantworten. Die erste Anfrage ist nicht zwangsläufig eine Frage nach Essen. Ich will abnehmen, ich muss weniger essen, Ich habe Hunger. In diesem Fall sollten statt der Rezeptvorschläge, Vorschläge zum stillen von Hunger und Appetit her. Trinken sie mehr Wasser, trinken sie zuckerfreie, koffeinhaltige Getränke, rauchen sie Zigaretten. Die letzte Frage könnte auch gemeint sein im Sinne von: "Wie nennt man den Beruf?", wie das System bei einem zweiten Test auch erkannt hat.

User: Gebe die

System: Es tut mir leid, aber ich kann Ihre Frage nicht verstehen. Könnten Sie bitte Ihre Frage präzisieren oder neu formulieren? Ich werde mein Bestes tun, um Ihnen zu helfen.

Auswertung: Diese Reaktion ist die erwartete Reaktion. Der Testfall ist aus Versehen beim Testen von Cortana entstanden und brachte dort interessante Ergebnisse.

User: Wie spät ist es auf dem Uranus?

System: Es ist schwierig, die Zeit auf dem Uranus zu bestimmen, da es keine festen Landmarken oder Tage wie auf der Erde gibt. Der Uranus dreht sich sehr langsam um seine Achse und braucht 84 Jahre, um die Sonne einmal zu umrunden. Ein Tag auf dem Uranus dauert daher ungefähr 17 Stunden und 14 Minuten. Es gibt jedoch keine Möglichkeit, die genaue Uhrzeit auf dem Uranus anzugeben, da es keine festen Zeitskalen wie auf der Erde gibt.

Auswertung: "Dieser Testfall wurde als passed gewertet, die erwartete Reaktion war: "Es gibt auf dem Uranus/auf Planeten keine Uhrzeiten." Das System hat hier aber einen Fehler produziert. Wenn sich der Uranus sehr langsam um seine Achse dreht, dann sind Tage sehr lang. Das bedeutet länger als 24h und nicht kürzer. Außerdem ist die Formulierung "… dauert daher ungefähr…" falsch, da keine der vorangegangenen Aussagen einen Kausalzusammenhang zur schnellen Rotationsgeschwindigkeit des Uranus hat.

Anzeigefehler

User: Gebe mir die Kubikwurzel von 27.

Auswertung: Diese Antwort ist richtig und wurde als passed ausgewertet. Wir sehen hier jedoch einen Anzeigefehler. Die zweite "3" in "da 333 = 27 ist." wurde kursiv geschrieben und die Multiplikationszeichen wurden weggelassen.
Das sieht verdächtig nach dem Produkt einer Auszeichnungssprache aus. Auszeichnungssprachen wandeln ein 3*3*3 in 333 um.

Aber

1. Warum werden die Antworten von ChatGPT als Auszeichnungssprache interpretiert?
2. Wenn die Antworten als Auszeichnungssprache interpretiert werden, warum weiß das System nicht, dass Asterisks den dazwischenstehenden Text Kursiv machen? Oder, dass man Asterisks angeben kann mit einem Backslash davor oder als HTML?
3. Warum wird nicht der Malpunkt oder das Malkreuz verwendet?

Taschenrechner

User: Wie kann ich den Taschenrechner bedienen?

System: Es gibt verschiedene Möglichkeiten, den Taschenrechner zu bedienen, abhängig davon, welchen Taschenrechner Sie verwenden. Im Folgenden finden Sie einige allgemeine Anleitungen zur Verwendung eines Taschenrechners:

Schalten Sie den Taschenrechner ein, indem Sie die Einschalt-Taste drücken.

Geben Sie die Zahlen ein, die Sie verwenden möchten, indem Sie die entsprechenden Tasten auf dem Taschenrechner drücken.

Wählen Sie die gewünschte Operation aus, indem Sie die entsprechende Taste auf dem Taschenrechner drücken (z.B. + für Addition, – für Subtraktion, * für Multiplikation oder / für Division).

Geben Sie die zweite Zahl ein, die Sie verwenden möchten.

Drücken Sie die Gleichheits-Taste (=), um das Ergebnis zu erhalten.

Es gibt auch viele Taschenrechner, die spezielle Funktionen haben, wie zum Beispiel Trigonometrie-Funktionen, Logarithmen und Wurzeln. Die Bedienung dieser Funktionen kann je nach Taschenrechner unterschiedlich sein, aber in der Regel werden sie über spezielle Tasten auf dem Taschenrechner aufgerufen.

Es empfiehlt sich, die Bedienungsanleitung des Taschenrechners zu lesen, um alle Funktionen und Optionen des Taschenrechners vollständig zu verstehen und nutzen zu können.

User: Der von Windows 10.

System: Der Taschenrechner, der in Windows 10 enthalten ist, ist ein einfacher Taschenrechner, der grundlegende Rechenoperationen wie Addition, Subtraktion, Multiplikation und Division unterstützt. Sie können ihn öffnen, indem Sie auf das Suchfeld auf der Taskleiste klicken und "Taschenrechner" eingeben. Klicken Sie auf das Taschenrechner-Symbol in den Suchergebnissen, um den Taschenrechner zu öffnen.

Um eine Berechnung durchzuführen, geben Sie einfach die Zahlen ein, die Sie verwenden möchten, und wählen Sie die gewünschte Operation aus, indem Sie die entsprechende Taste auf dem Taschenrechner drücken. Drücken Sie die Gleichheits-Taste (=), um das Ergebnis zu erhalten.

Der Taschenrechner in Windows 10 bietet auch einige spezielle Funktionen, wie zum Beispiel Wurzeln und Trigonometrie-Funktionen. Sie können auf diese Funktionen über das Menü "Ansicht" zugreifen. Klicken Sie dazu auf das Menü "Ansicht" und wählen Sie die gewünschte Funktion aus. Die Bedienung dieser Funktionen ist in der Regel ähnlich wie die Bedienung der grundlegenden Rechenoperationen.

Es empfiehlt sich, die Hilfe-Funktion des Taschenrechners zu nutzen, um mehr über die verfügbaren Funktionen und Optionen zu erfahren. Sie können die Hilfe-Funktion öffnen, indem Sie auf das Menü "Hilfe" klicken und dann auf "Hilfe anzeigen" oder "Taschenrechner-Hilfe" klicken.

Auswertung: Dieser Testfall wurde als "passed" ausgewertet.
Allerdings:

1. Es gibt weder "Ansicht" noch "Hilfe" im Menü des Windows 10 Taschenrechener.
2. Multiplikations und Divisionszeichen sehen auf Taschenrechnern anders aus.

Fazit

Die Testfälle, die wir exakt vergleichen können, sind die des Smoketests. Und dort war ChatGPT durchschnittlich.
Hier sehen wir auch die Bestanden- und Blockiert-Ergebnisse, des gesamten "Praxistest Sprachassistenten" und die Ergebnisse aller Testfälle, die wir ChatGPT gegeben haben.

Anteil der bestanden Testfälle in Prozent:

	Alexa	ChatGPT	Cortana	Google Assistant	Siri	Gesamtergebnis
Smoke Testfälle	30,77	30,77	30,77	38,46	15,38	29,23
Gesamt Testfälle	53,01		37,35	62,65	65,06	54,52
Testfälle ChatGPT		71,11

Anteil der blockierten Testfälle in Prozent:

	Alexa	ChatGPT	Cortana	Google Assistant	Siri	Gesamtergebnis
Smoke Testfälle	7,69	46,15	7,69	7,69	7,69	16,92
Gesamt Testfälle	6,02		0,00	0,00	6,02	3,01
Testfälle ChatGPT		15,56				15,56

Testfälle sind dann blockiert, wenn sie nicht getestet werden können. Das waren meistens fehlende Zugriffsrechte auf die Premiumdienste von Apple Music oder Spotify, den Kalender oder den Standort. ChatGPT kann nicht auf das Internet zugreifen. Deshalb sind bei ChatGPT deutlich mehr Testfälle als bei den anderen Sprachassistenten blockiert.
Die Testfälle ChatGPT bestehen aus den Smoke Testfällen und weiteren Testfällen, die wir für ChatGPT herausgesucht haben. Dabei haben wir keine Testfälle gewählt, welche eine Internetverbindung verlangen. Da weitere Reaktionen Im Sinne von "Ich kann nicht auf das Internet zugreifen." keine neuen Erkenntnisse liefern.
Deshalb ist der Passed-Anteil dieses Systems bei den Testfällen ChatGPT so viel höher als bei den Smoke Testfällen.

Im Vergleich zu den anderen getesteten Systemen versteht ChatGPT besser was der Nutzer will, kann Rückfragen stellen und ausführlichere Antworten geben. Dafür "weiß" ChatGPT weniger und gibt weniger präzise Antworten. Ein System, dass die Dialogfähigkeit ChatGPTs und das Wissen und die Prägnanz herkömmlicher Sprachassistenten kombiniert, wäre ein interessantes neues Testobjekt.