Auf den ersten Blick ist es ein Quantensprung …

ChatGPT kann jetzt generell auf das Internet zugreifen und Echtzeit-Informationen für seine Antworten nutzen. Wir erklären, wie es funktioniert und wo die Grenzen sind.

Bisher war der Wissensstand des GenAI-Tools offiziell auf Ende 2021 begrenzt, weswegen man auf viele Fragen keine oder veraltete Antworten erhielt. Ausnahme: Über BingAI, die Integration von ChatGPT in die gleichnamige Microsoft-Suchmaschine, hatte man schon seit Frühjahr 2023 Internetzugriff – allerdings nutzt hierzulande fast niemand Microsoft Bing.

So kommt man mit ChatGPT ins Internet

Um also, unabhängig vom Browser, das Web zu durchsuchen, braucht es die Funktion „ChatGPT Browse mit Bing“. Diese ist eine sogenannte Beta Function und nur verfügbar für zahlende Nutzer, die also ChatGPT-4 abonniert haben. Zunächst muss man die Funktion in den Settings aktivieren:

Anschließend kann man im Model ChatGPT-4 die Funktion auswählen – einfach auf den Begriff klicken und das Häkchen erscheint. 

Wichtig: „ChatGPT Browse mit Bing“ funktioniert noch nicht im Zusammenspiel mit den anderen Beta-Features von GPT-4, wie den Plugins oder der erweiterten Datenanalyse. Sehr hilfreich ist, dass am Ende der Antwort eine verlinkte Quelle angezeigt wird – so wie es andere Tools wie Perplexity bereits seit Monaten tun.

Wenn man nun eine Frage stellt, deren Antwort aktuelle Informationen erfordert, wird ChatGPT auf das Internet zugreifen – was es auch mit einem separaten Button ausweist:

Wie gut funktioniert der Internetzugriff mit ChatGPT?

„Eingeschränkt“, wie das Tool selbst antwortet, wenn wir es fragen. Beispielsweise kann es nur textbasierte Informationen abrufen und keine Bilder oder Videos anzeigen. Auch kann es nicht in Echtzeit interagieren oder persönliche Konten, etwa bei LinkedIn, abfragen. 

„Eingeschränkt“ ist allerdings noch ein Euphemismus: Bei ersten Tests fällt „Browse with Bing“ sofort durch. Ein Beispiel ist – passend zu den diese Woche veröffentlichten Rezessions-Zahlen –, die Abfrage „Wie steht es um die deutsche Konjunktur?“. 

ChatGPT greift erkennbar aufs Netz zu, liefert dann jedoch eine veraltete Antwort – basierend auf Konjunkturzahlen des ifo-Instituts von Anfang September 2023 (für VWL-Interessierte: Die -0,4 Prozent waren leider noch zu optimistisch, aktuell werden -0,6% erwartet). Heißt: Verlassen kann man sich auf die Internetsuche von ChatGPT in keinem Fall. Hier gilt wieder: GenAI-Tools machen immer wieder grobe Fehler, die umso schwerer zu erkennen sind, weil sie in insgesamt plausible Texte eingebaut sind. Dieses „Halluzinieren“ dürfte sich mit dem Zugriff von ChatGPT aufs Internet sogar nochmals verstärken.

Ein zweites Beispiel belegt eine andere Schwäche: Wir haben ChatGPT gefragt, ob es auf der Website unserer Mutterfirma In A Nutshell Inhalte gäbe zu GenAI in der Talent Acquisition. Der entsprechende Blogbeitrag, wie Unternehmen KI in der Talent Acquisition nutzen, war dort diese Woche online gegangen. ChatGPT findet allerdings keine Ergebnisse und liefert die üblichen Allgemeinplätze – hier: „Sie könnten die Webseite direkt durchsuchen oder sich an die Agentur wenden, um weitere Informationen zu erhalten.“ Erst als wir den Bot explizit auf den In A Nutshell-Blog schicken, dort alle KI-Artikel suchen und auflisten lassen, stößt er auf das Thema. 

Letztes Beispiel: Es möge Dr. Jonna Gaertner, unsere Geschäftsführerin bei In A Nutshell, mit Taylor Swift und Annalena Baerbock in mindestens fünf geeigneten Kategorien vergleichen und dabei besonders auf News aus 2023 zurückgreifen, lautete unser Prompt. ChatGPT greift auch auf das Netz zu, stößt aber weder darauf, dass die Sängerin bei den MTV Video Music Awards 2023 mit neun Preisen die Abräumerin schlechthin war, noch dass Jonna Gaertner mit disruptive gerade eine neue Firma gegründet hat. Stattdessen schlägt der Bot „International Diplomacy Efforts“ und „Human Rights Advocacy“ als Kategorien vor – für Baerbock passend, für die anderen beiden – bei allem Respekt 😉 – am Thema vorbei.

Warum sind Ergebnisse beim Internetzugriff mit ChatGPT so schlecht?

Der ChatGPT beantwortet die Frage selbst, wenn auch verklausuliert: „Mein Zugriff auf das Internet ist auf eine Art und Weise strukturiert, die mir erlaubt, diese Aufgaben effektiv und sicher auszuführen.“ Das heißt: ChatGPT greift nicht auf das gesamte Internet zu, sondern nur auf einige wenige Quellen, nach unseren Tests auf ein bis zwei, die bei Bing am höchsten ranken. „Effektiv“ heißt also vor allem selektiv – eine wirklich vollständige Recherche würde die Rechenkapazität des Tools auch gar nicht erlauben. Genau aus diesem Grund hatte OpenAI ja die verfügbare Datenmenge begrenzt.

Bei unserer Konjunkturfrage waren diese Quellen die ifo-News von Anfang September und ein, in der Tat tagesaktueller, Artikel aus dem Businessinsider. Seine Zahlen für die Antwort bezog ChatGPT dann jedoch nur auf der (inzwischen nicht mehr aktuellen) ifo-Quelle. Die Bing-eigene Sektion „News“ am Kopf der Seite ignorierte ChatGPT komplett – obwohl dort die aktuellen Zahlen in diversen Meldungen standen. Gleiches gilt für den Vergleich der drei Frauen Swift, Baerbock und Gaertner: Auch hier macht sich ChatGPT auf Basis einzelner weniger Internetquellen ein Bild, das jedoch einseitig und unreflektiert ist.

Es gibt also drei Schwachpunkte beim Internetzugriff von ChatGPT:

1. die selektive Recherche: Gerade bei aktuellen Abfragen sind die erstgenannten Quellen nicht immer die besten.
2. die Schwäche von Bing: Die Suchintention „deutsche konjunktur 2023“ ist eindeutig nachrichtlich – hier sollten keine drei Wochen alte Quellen so hoch gelistet sein, wenn es ausreichend aktuelle gibt.
3. die Unfähigkeit, Websites in Gänze zu durchsuchen. Auch mit „Browse with Bing“ bleibt ChatGPT beim Internetzugriff auf einzelne URLs beschränkt und findet daher oft keine Informationen, die sich an anderen Stellen einer Seite befinden.

Fazit – der „Internetzugriff“ macht ChatGPT schlechter 

Dass der Zugriff aufs Internet kommen musste, war klar. Konkurrenten wie Perplexity, Google Bard oder der inzwischen auch in Deutschland verfügbare Chatbot Claude von Anthropic haben es vorgemacht und den Druck erhöht.

Die jetzige Lösung ist jedoch maximal ein Minischritt, weswegen es OpenAI auch nur in einer kurzen Meldung auf X (früher Twitter) vermeldet hat. Selbst in der News-Sektion auf openai.com stand zu dem Thema tags drauf (29.9.) noch nichts. 

Manche Antworten werden fortan besser werden, in Summe allerdings macht der „Internetzugriff“ macht ChatGPT schlechter. Aus drei Gründen:

1. weil es mehr Falschinformationen, aka Halluzinationen, geben wird, die angesichts der sprachlichen Finesse des Tools immer schwerer zu erkennen sein werden
2. weil der selektive Zugriffe die Gefahr von Information Bias verstärkt. Weil nur einzelne Quellen eine plausible Antwort formen und wir uns damit begnügen. Das „weiß“ das Tool übrigens selbst: „Mit dem Internetzugriff könnte ich versucht sein, die neuesten Informationen zu präsentieren, aber diese Informationen könnten nicht immer genau oder gut überprüft sein“, antwortet es, als wir es nach potenziellen Risiken fragen.
3. weil ChatGPT noch stärker als bisher missverstanden werden wird: Das Tool ist keine Faktensuchmaschine, wie auch CEO Sam Altman nicht müde wird, zu betonen.