Detektory AI: czy wynik wystarczy do odrzucenia tekstu?

Otrzymujesz firmowy artykuł, uruchamiasz detektor i widzisz wysoki procent AI. Możesz poczuć, że wykonawca nie dotrzymał ustaleń. Sam taki wynik jednak nie dowodzi, kto napisał tekst, ani nie wystarcza do jego odrzucenia. To powód, żeby sprawdzić artykuł i sposób jego przygotowania, a nie gotowy werdykt.

Proponujemy rozdzielić trzy sprawy: autorstwo, ewentualne zapożyczenia i jakość publikacji. Dopiero po ich ocenie zdecydujesz, czy tekst przyjąć, skierować do poprawy czy wstrzymać do wyjaśnienia. Dzięki temu nie odrzucisz użytecznego artykułu na podstawie jednego wskaźnika, ale też nie przeoczysz rzeczywistego problemu.

Wysoki procent AI to sygnał do sprawdzenia, nie powód do odrzucenia

Procent w raporcie trzeba czytać zgodnie z definicją konkretnego narzędzia. Nie zakładaj, że wynik 80% oznacza 80-procentowe prawdopodobieństwo napisania całego dokumentu przez AI. Ten sam zapis liczbowy może opisywać inną miarę, dlatego najpierw ustal, co właściwie zostało policzone.

Przykładem jest Turnitin. W jego raporcie procent AI oznacza udział kwalifikującego się tekstu, który model oznaczył jako prawdopodobnie wygenerowany przez AI lub następnie przekształcony odpowiednimi narzędziami. Nie jest to prawdopodobieństwo autorstwa całego dokumentu. Załóżmy, że raport pokazuje 80%: opisuje wówczas zakres oznaczonego tekstu objętego analizą, a nie pewność, że wykonawca użył AI.

Turnitin ostrzega też przed błędnym klasyfikowaniem tekstów ludzkich, wygenerowanych i parafrazowanych z użyciem AI. W zastosowaniach edukacyjnych odradza podejmowanie działań wobec studenta wyłącznie na podstawie tego wyniku. Przy odbiorze firmowego artykułu również oddziel raport od dowodów dotyczących wykonania zlecenia.

Czy detektory AI mogą się mylić?

Tak, detektory AI mogą zarówno oznaczyć tekst człowieka jako wygenerowany, jak i nie rozpoznać treści AI. Pierwszy przypadek to wynik fałszywie dodatni, czyli fałszywy alarm. Drugi to wynik fałszywie ujemny. W praktyce wysoki wynik nie rozstrzyga autorstwa, a niski nie potwierdza samodzielnej pracy człowieka.

Weber-Wulff i współautorzy w badaniu z 2023 r. ocenili 14 narzędzi: 12 publicznie dostępnych detektorów i dwa systemy komercyjne. Sześć z czternastu zwracało wyniki fałszywie dodatnie. Trzynaście zwracało wyniki fałszywie ujemne lub częściowo fałszywie ujemne dla badanych zestawów treści AI. Autorzy uznali dokładność i wiarygodność testowanych rozwiązań za niewystarczające.

Te liczby opisują konkretny eksperyment i ówczesne wersje narzędzi. Testy obejmowały dokumenty anglojęzyczne, w tym teksty przetłumaczone na angielski. Nie ustalają skuteczności obecnych detektorów ani ich trafności w ocenie polskiego bloga firmowego. Nie można więc uczciwie przypisać całej kategorii jednej wartości procentowej określającej wiarygodność.

Różne narzędzia mogą zwrócić odmienne oceny tego samego tekstu, ponieważ nie muszą stosować tych samych modeli ani definicji wyniku. Rozbieżność nie oznacza, że najwyższy procent jest najbliższy prawdy. Gdy tekst człowieka zostaje oznaczony jako AI, sam raport nie wyjaśnia przyczyny błędu. Uruchamianie kolejnych testów nie zastąpi sprawdzenia procesu pracy i treści artykułu.

Autorstwo, plagiat i jakość: trzy osobne oceny

Wykrycie AI nie oznacza plagiatu, a brak takiego wskazania nie wyklucza nieuprawnionych zapożyczeń. Także Turnitin rozdziela procent AI od wyniku podobieństwa. Przy odbiorze artykułu potraktuj więc te kontrole jako trzy osobne zadania:

• Sposób powstania tekstu: ustalasz, czy i jak wykorzystano AI oraz czy proces odpowiadał uzgodnieniom. Pomagają w tym opis pracy, historia zmian i dostępne materiały robocze, a nie sam procent z detektora.
• Podobieństwa i zapożyczenia: sprawdzasz zbieżności z innymi publikacjami, ich zakres, cytowanie i przypisanie źródeł. Samo podobieństwo wymaga oceny kontekstu; nie każda zbieżna fraza oznacza plagiat.
• Jakość artykułu: oceniasz zgodność z briefem, poprawność faktów, użyteczność dla odbiorcy i zgodność z rzeczywistą ofertą. Dobry wynik detekcji nie zastępuje żadnej z tych kontroli.

Załóżmy, że artykuł ma niski wynik AI, ale przypisuje Twojej usłudze funkcję, której nie oferujesz. Nadal wymaga poprawy. Z kolei tekst przygotowany z jawnym, uzgodnionym użyciem AI może rzetelnie odpowiadać na pytania klientów. Sposób tworzenia i jakość efektu łączą się w procesie pracy, ale nie są tą samą oceną.

Podobnie wygląda kwestia Google: samo prawidłowe użycie AI nie narusza zasad wyszukiwarki i nie daje szczególnej premii rankingowej. Google w zaleceniach dotyczących treści generowanych przez AI ostrzega natomiast przed masowym tworzeniem stron bez wartości dodanej i zaleca sprawdzanie dokładności oraz wiarygodności przed publikacją. Dla Twojego bloga liczy się więc treść, która pomaga czytelnikowi, a nie wynik zewnętrznego detektora.

Jak wyjaśnić rozbieżność z wykonawcą krok po kroku?

Zacznij od zabezpieczenia materiału, nie od oskarżenia. Jeśli od razu zmienisz artykuł lub poprosisz o jego całkowite przepisanie, trudniej będzie ustalić, czego dotyczył pierwotny raport. Proponujemy następującą kolejność:

• Najpierw zachowaj dokładną wersję tekstu i raport. Zapisz datę testu, nazwę narzędzia oraz ustawienia, jeśli były dostępne. Dzięki temu obie strony będą rozmawiać o tym samym materiale.
• Następnie sprawdź definicję procentu i obsługiwany język. Ustal, czy narzędzie analizuje polski oraz jakie ma wymagania wobec długości i rodzaju tekstu. Nie przenoś zasad jednego detektora na pozostałe.
• Potem wróć do briefu i ustaleń. Sprawdź, czy AI było dopuszczone, ograniczone do wybranych zadań czy wykluczone. Oddziel wymagania dotyczące procesu od wymagań dotyczących gotowego artykułu.
• Następnie poproś wykonawcę o opis pracy i dostępne materiały: szkice, historię zmian, notatki lub źródła. Zapytaj konkretnie, na jakich etapach powstawał tekst i jak weryfikowano fakty.
• Na koniec oceń wyjaśnienia razem z artykułem. Wypisz konkretne błędy, niezgodności z briefem i fragmenty wymagające sprawdzenia. Ustal dalsze działanie na tej podstawie, nie na podstawie samego procentu.

Obsługa języka ma tu praktyczne znaczenie. Dokumentacja raportu AI Turnitin wymienia angielski, hiszpański, japoński i arabski oraz minimum 300 słów prozy. Polski nie znajduje się na tej liście. To wymagania tego konkretnego systemu, a nie informacja o wszystkich narzędziach analizujących polskie teksty.

Brak szkiców sam w sobie nie dowodzi użycia AI. Nie każdy sposób pracy pozostawia taką samą dokumentację. Możesz napisać: „Raport oznaczył znaczną część artykułu. Chcę wyjaśnić sposób jego przygotowania i zgodność z naszymi ustaleniami. Opisz proszę proces oraz przekaż dostępne materiały robocze i źródła”.

Celem nie jest przepisywanie tekstu aż do uzyskania zera. Taka pętla skupia uwagę na wskaźniku zamiast na rzetelności i potrzebach klienta. Poprawki powinny usuwać konkretne problemy: błędne informacje, niejasne wyjaśnienia, powtórzenia czy nieuprawnione zapożyczenia.

Publikować, poprawić czy wstrzymać tekst do wyjaśnienia?

Decyzję oprzyj na tym, co udało się ustalić. Nie musisz wybierać między bezkrytycznym przyjęciem tekstu a natychmiastowym odrzuceniem. Zastosuj trzy kryteria:

• Publikuj: artykuł spełnia brief, zawiera sprawdzone informacje, pomaga odbiorcy, a kwestia zapożyczeń i zgodności procesu z ustaleniami została wyjaśniona. Sam wysoki wynik detektora nie jest wtedy powodem do odrzucenia.
• Skieruj do poprawy: problemy są konkretne i możliwe do usunięcia, na przykład błędna cecha produktu, brak odpowiedzi na ważne pytanie lub niewłaściwy ton. Opisz oczekiwany efekt poprawki zamiast żądać niższego procentu AI.
• Wstrzymaj do wyjaśnienia: pozostają istotne wątpliwości dotyczące rzetelności, zapożyczeń lub przestrzegania uzgodnionego procesu. Nazwij problem i ustal, jakie wyjaśnienie jest potrzebne do podjęcia decyzji.

Przy kolejnych zleceniach zapisz zasady używania AI przed rozpoczęciem pracy. Określ dozwolone zastosowania, sposób informowania o nich, odpowiedzialność za weryfikację faktów i kryteria odbioru. Dzięki temu rozmowa będzie dotyczyć uzgodnionej pracy i jakości tekstu, zamiast domysłów wywołanych raportem.

U nas pisanie artykułów AI jest jawnym elementem usługi. Analizujemy stronę i tworzymy profil Twojego biznesu, a treści dopasowujemy do tonu, terminologii oraz rzeczywistych produktów i usług. To dopasowanie do firmy, nie określony wynik detekcji, jest celem tego procesu.

Artykuły możesz przeczytać i poprawić przed publikacją, a automatyczną publikację treści ustawić według własnego harmonogramu. Jeśli chcesz uporządkować tworzenie firmowego bloga z jawnym użyciem AI, Zobacz, jak to działa.