Dr. Martin J. Krämer, CISO Advisor bei KnowBe4 ©KnowBe4

Vor kurzem haben Sicherheitsanalysten von LayerX in einem Blogbeitrag von einer erfolgreich abgeschlossenen PoC-Untersuchung berichtet, die eine neue Schwachstelle bei KI-Webassistenten offengelegt hat. Durch die Konfiguration von nutzerdefinierten Schriftarten und CSS ist es den Analysten gelungen, KI-Modelle, wie ChatGPT, Claude und Gemini, so zu manipulieren, dass diese bösartige Webseiten gegenüber ihrem Anwender als vermeintlich harmlos einstuften.

Zwischen der Art und Weise, wie ein KI-Assistent eine Webseite verarbeitet und einschätzt, und wie ein Mensch sie im Browser betrachtet, besteht ein grundlegender Unterschied. Eine KI analysiert den reinen HTML-Code einer Webseite. Der menschliche Anwender hingegen sieht und erkennt nur Texte und Bilder, die der Browser aus dem Code – auf Basis des eingestellten CSS und der vorgegebenen Schriftart – rendert.

Genau hier haben die Analysten von LayerX mit ihrer PoC-Untersuchung angesetzt. In einem ersten Schritt bereiteten sie einen harmlos erscheinenden HTML-Inhalt vor. Der wurde dann um eine codierte, bösartige Payload ergänzt. Im Quelltext las die sich, wie eine bedeutungslose Aneinanderreihung von Buchstaben. ‚Entschlüsseln‘ ließ sich diese nur über eine spezifische, nutzerdefinierte Schriftart, die als visuelle Substitutionschiffre fungierte. Kam sie zur Anwendung, erschienen die Buchstaben des harnlosen Textes im Browser plötzlich unleserlich, die verschlüsselte Payload aber wurde für den Betrachter am Bildschirm lesbar. In einem dritten Schritt wurde der Angriff dann unter Zuhilfenahme von CSS noch perfektioniert. Der harmlos erscheinende HTML-Inhalt wurde auf einen Pixel verkleinert oder so eingefärbt, dass er für den Endnutzer praktisch unsichtbar wurde. Der entschlüsselte, bösartige Text hingegen wurde groß und deutlich präsentiert.

Wenn der Endnutzer nun einen KI-Webassistenten bat, die Webseite auf Risiken zu prüfen, analysierte der nur den harmlos erscheinenden HTML-Inhalt, ignorierte aber den für ihn unverständlichen, bösartigen Text. Der Assistent kam dann unweigerlich zum falschen Schluss, dass die Webseite für seinen Nutzer kein Risiko darstellen würde. Mehrere Testläufe mit dem PoC-Angriff ergaben, dass kein KI-Webassistent die Bedrohungen auf Anhieb erkannte. Alle versicherten dem Nutzer, dass die Webseiten sicher seien.

Die PoC-Untersuchung von LayerX macht deutlich, dass KI-Webassistenten – zumindest derzeit noch – gegenüber der Auslagerung von Schadcode in die visuelle Rendering-Pipeline weitgehend blind sind. Wollen sich Nutzer über die eventuellen Risiken einer Website informieren, sollten sie deshalb keinesfalls dem Urteil eines KI-Webassistenten vertrauen. Sie müssen sich über die aktuelle Cybersicherheitslage, über Risiken und geeignete Abwehrmaßnahmen auf dem Laufenden halten und ihr Wissen selbst zur Anwendung bringen. Der erste und entscheidende Schritt hierzu: die Anhebung des eigenen Sicherheitsbewusstseins. Auch Unternehmen kann nur geraten werden, ihre diesbezüglichen Bemühungen zu forcieren, regelmäßig Sicherheitstrainings und -schulungen für die gesamte Belegschaft durchzuführen. Anders werden sich Sicherheitsrisiken, wie das hier geschilderte, kaum in den Griff bekommen lassen.

Am effektivsten – da umfassendsten – hilft der Einsatz eines modernen Human Risk Management-Systems. Seine Phishing-Trainings, -Schulungen und -Tests lassen sich, KI sei Dank, mittlerweile personalisieren und automatisiert – kontinuierlich – zum Einsatz bringen, um Mitarbeiter zu stärken. Seine modernen Anti-Phishing-E-Mail-Technologien kombinieren KI mit Crowdsourcing, um neueste Zero Day-Bedrohungen frühzeitig aufzuspüren und rechtzeitig abzuwehren. Mit solchen und ähnlichen Systemen ist es Unternehmen möglich, ihre Risiken signifikant zurückzufahren und Mitarbeiter zur besten Verteidigung im Kampf gegen Cyberbedrohungen zu machen.

Disclaimer:
„Für den oben stehenden Beitrag sowie für das angezeigte Bild- und Tonmaterial ist allein der jeweils angegebene Nutzer verantwortlich. Eine inhaltliche Kontrolle des Beitrags seitens der Seitenbetreiberin erfolgt weder vor noch nach der Veröffentlichung. Die Seitenbetreiberin macht sich den Inhalt insbesondere nicht zu eigen.“