Narzędzia do wykrywania AI. Dlaczego nie mają sensu?

30 listopada 2022 miała miejsce premiera chatbota ChatGPT, który zrewolucjonizował tworzenie contentu. W bardzo krótkim czasie internet zaczęła zalewać fala treści masowo generowanych przez sztuczną inteligencję. Równolegle do tego zjawiska zaczęły powstawać detektory AI – narzędzia, które mają na celu wykrywanie, czy dany tekst został napisany przez sztuczną inteligencję. Rozpoczęły się “wojny chatbotów”. Nawet OpenAI, firma odpowiedzialna za ChatGPT, wypuściła w lutym 2023 własne narzędzie, które miało wykrywać teksty AI. Jak przyznali sami twórcy, z dokładnością do 29%. Dzisiaj, wpisując w Google frazę “narzędzia do wykrywania ai”, znajdziemy dziesiątki różnych stron, które dają nam obietnicę, przez wielu tak mocno oczekiwaną – wykrycia czy dany tekst to AI, czy też nie. Dlaczego jest to bujda? Jak działają tego typu narzędzia? Jak, i czy w ogóle można wykryć, czy treść była stworzona przez AI? O tym w poniższym artykule.

Co znajdziesz w tym artykule?

Dlaczego detektory AI nie działają?

Narzędzia identyfikują autorstwo AI, analizując różne parametry tekstu, w tym język, strukturę i przewidywalność. Porównują również analizowany fragment z ogromną bazą danych artykułów napisanych przez człowieka i wygenerowanych przez AI, aby określić prawdopodobieństwo, że tekst został stworzony przez sztuczną inteligencję.

Wiele detektorów, takich jak np. GPTZero, identyfikuje autorstwo AI na podstawie dwóch czynników: złożoności i poziomu gwałtowności zmian w tekście. Im niższe wartości tych dwóch czynników, tym bardziej prawdopodobne jest, że tekst został wygenerowany przez sztuczną inteligencję.

Czyli narzędzie do wykrywania autorstwa AI analizuje styl tekstu, jego przewidywalność, charakterystyczne wyrazy występujące w treści i odnosi te obserwacje do bazy danych tekstów ludzkich i AI.

Tutaj dochodzimy do sedna problemu.

Chatboty napędzane przez duże modele językowe, takie jak wspomniany ChatGPT oparty o GPT-4, mają za zadanie kreować content, który ma maksymalnie przypominać ten tworzony przez człowieka.

Wiedząc to, a także mając świadomość faktu, że jakość tekstu generowanego przez chatbot jest wprost proporcjonalna do jakości naszego promptu, dochodzimy do ściany.

Jest bardzo prawdopodobne, że artykuł napisany, delikatnie mówiąc, przez słabego copywritera, pełen powtórzeń, pustych frazesów (tak zwanego “lania wody”) i charakteryzujący się brakiem spójności zostanie przez narzędzie do wykrywania AI uznany za generowany przez sztuczną inteligencję. Podobnie jak artykuł, który zostanie wygenerowany ze słabego promptu i niepoddany korekcie wykonanej przez profesjonalnego copywritera.

Z drugiej strony, tekst wygenerowany z dopracowanego promptu, nawet bez korekty (którą i tak warto zrobić, ale to temat na inny artykuł – dlaczego należy dokonywać korekty i fact-checkingu) zostanie przez detektory uznany za “100% human”.

W tym miejscu należy się drobne wyjaśnienie. Z pewnością, drogi czytelniku, zastanawiasz się, czym jest “dobry prompt” i jak zdefiniować jego przeciwieństwo.

Dobry prompt, np. służący do generowania tekstów na blogi, może mieć do kilku tysięcy znaków. Definiuje on styl, konkretne elementy tekstu, główne frazy, itp. Artykuł, który wygenerowałem celem poddania go weryfikacji przez GPTzero, czego wynik widzisz powyżej, powstał z promptu mającego 1800 znaków. Tekst z racji, że powstał na potrzeby eksperymentu, nie został poddany korekcie wykonanej przez człowieka.

Z drugiej strony, słaby prompt, to np. polecenie “Napisz mi artykuł na bloga o butach na wesele o długości 3000 znaków”.

Wróćmy jednak do tematu czyli tego, dlaczego narzędzia do wykrywania AI nie działają.

Odpowiedź po części już padła, ale warto jeszcze raz podkreślić. Detektory AI nie są magicznymi skrzynkami, które w czarodziejski sposób określą nam czy tekst to AI, czy nie. Narzędzia do wykrywania sztucznej inteligencji analizują styl tekstu, pewne często spotykane przy artykułach z chatbotów schematy. Bardziej mogą się przydać nam jako wskazówka, co np. poprawić w tekście, bo może brzmieć niespójnie lub służąc nam za pomocnika korektora. Pytanie tylko po co, skoro sam ChatGPT może to zrobić. 😉

Podkreślam to jeszcze raz: artykuł napisany przez słabego copywritera może być prędzej uznany za generowany z AI niż tekst bez korekty w 100% wygenerowany przez chatbota, ale z dopracowanego promptu.

Czy można wykryć treść stworzoną przez AI?

Choć może to zabrzmieć przewrotnie w kontekście tego, co napisałem powyżej, to: Tak! Można wykryć content generowany przez AI.

Wymaga to pewnego doświadczenia przy sprawdzaniu i również samodzielnym generowaniu contentu. Po pewnym czasie zauważysz, że teksty, które wypuszcza ChatGPT przyjmują pewien charakterystyczny schemat. Łatwo go zauważyć, zwłaszcza przy słabszych promptach i bez jakiejkolwiek korekty ze strony człowieka.

Drugi sposób to oznaczanie generowanego tekstu znakiem wodnym. Na ten moment jest to jedyne sensowne rozwiązanie, które pozwoliłoby wykryć, czy tekst powstał z narzędzia AI. Niestety, wymagałoby to implementacji przez firmy, do których należą produkty takie jak ChatGPT.

Pod pojęciem znaku wodnego kryje się ukryty w treści generowanej przez AI kod, taki jak charakterystyczny wzór ułożony z wyrazów lub znaków interpunkcyjnych. Taki znak wodny jest niewidoczny dla człowieka, a zatem prawie niemożliwy do usunięcia. Jedynie specjalistyczne oprogramowanie byłoby w stanie go wykryć.

Wykrywanie autorstwa AI. Co zatem począć?

Wiemy już, że detektory AI nie oferują nam stuprocentowej (ani nawet zbliżonej do tego poziomu) pewności. Narzędzia oparte o sztuczną inteligencję do generowania contentu są coraz lepsze, zwłaszcza w połączeniu z dobrym promptowaniem i wykwalifikowanym copywriterem obsługującym proces tworzenia tekstu. Z drugiej strony, oznaczanie znakami wodnymi jeszcze nie istnieje po stronie narzędzi.

Uważam za sensowne odpuszczenie sobie zabawy z detektorami online, które nie potrafią odróżnić tekstu, oznaczając stuprocentowe teksty AI jako “likely human”.

Lepiej ten czas poświęcić na dopracowanie tworzonego tekstu z myślą o czytelniku, skupiając się na dostarczaniu wartości. Mając jednocześnie świadomość, że najprawdopodobniej, w niedalekiej przyszłości, nie będzie już tekstów, które w jakimś stopniu nie byłyby tworzone bez udziału AI.

Źródła:

https://seo.ai/blog/do-ai-content-detectors-work

https://theconversation.com/we-pitted-chatgpt-against-tools-for-detecting-ai-written-text-and-the-results-are-troubling-199774#:~:text=Perplexity%20measures%20how%20complex%20a,was%20produced%20by%20an%20AI.

https://www.makeuseof.com/ai-content-detectors-dont-work/