Огромното мнозинство от коментари на външни автори, публикувани на страниците за мнения на The Wall Street Journal (WSJ), The Washington Post (WP)и The New York Times (NYT), се пишат от хора, но навлизането на големите езикови модели е започнало доста преди високопрофилният коментар в WSJ да предизвика полемика тази седмица, пише аналитичният сайт Semafor.

През последния месец 10 от 310-те коментара на външни автори, изпратени до трите издания, са били определени от детектора за изкуствен интелект Pangram като съдържащи поне 80% "AI". Това подсказва, че AI все още не оказва съществено влияние върху човешкия принос в най-престижните издания. Други 40 статии са били частично генерирани от AI.

Pangram използва специално разработени AI модели, за да анализира текст и друго съдържание за наличие на изкуствен интелект, и твърди, че процентът на фалшивите положителни резултати е 0.5%.

Ако Pangram установи, че повече от 80% от текста е генериран от AI, той се обозначава като AI. При неформално тестване от страна на Semafor Pangram е бил много точен при откриването на текст, написан от AI, макар че някои хора се оплакват от фалшиви положителни резултати.

Анализът на Semafor идва след дебат, разразил се във вторник, когато милиардерът Стенли Дръкънмилър, а по-късно и редакторът на страницата за мнения на The Wall Street Journal Пол Жиго, защитиха използването на AI от Дръкънмилър при написването на коментар, критикуващ действията на министъра на финансите Скот Бесент на облигационните пазари.

Текстът носеше "дървените", неестествени белези на AI текст ("This wasn’t liquidity management, it was price management" – "Това не беше управление на ликвидността, а управление на цените" -бел. ред.), но изпълни предназначението си като рязко порицание от страна на финансов титан към неговия протеже и получи широко разпространение във Вашингтон и на Уолстрийт както преди, така и след потвърждаването на AI произхода му. 
Pangram му даде 100% оценка за AI съдържание.

"Имаше причина да се прехвърля от специалност английска филология към икономика", казва Дръкънмилър пред NOTUS. "Сега пиша всичко с помощта на AI по същата причина, поради която използвам калкулатор, когато решавам математически задачи."

Редакторът Жиго заяви в позиция, че AI е "факт от съвременния живот" и че важното е "дали публикуваното от външните автори отразява тяхната оригинална теза и дали те имат необходимия авторитет и доверие, за да я защитават". 

The New York Times забранява използването на AI при "разработването и написването на коментари от външни автори". Говорител на Times не коментира констатацията на Pangram, че гост-коментар от 2 август на Джен Ийстърли, която е била директор на Агенцията за киберсигурност и сигурност на инфраструктурата по време на управлението на президента Джо Байдън, е бил маркиран като написан от AI.

В един от примерите за текст, който Pangram е маркирал, Ийстърли пише: "В епохата на киберконфликти между държави върховната мярка за устойчивост е брутално проста: Когато нападателите проникнат, чистата вода все пак трябва да продължи да тече." Ийстърли не е отговорила на запитване за коментар.

Според анализа инструментът е идентифицирал още 11 гост-коментара в NYT през последните 30 дни, които са били частично написани от AI.

Pangram също така е идентифицирал като 100% написан от AI гост-коментара от 9 август в The Washington Post, озаглавен "Университетите се борят с измамите чрез AI. Но има по-дълбок проблем", чийто автор е ректорът на Dartmouth Сантяго Шнел.

"Написах това есе въз основа на собствените си разсъждения. След това използвах ChatGPT, за да усъвършенствам няколко аргумента, да проверя за граматически грешки и да го изпратя до Washington Post", пише Шнел, като добавя, че текстът е "преминал през няколко кръга редакции от страна на Post".

Изследване на Stanford също предполага, че инструментите за откриване на AI понякога маркират текстове, написани от хора, чийто първи език не е английски. Шнел, родом от Венецуела и притежаващ докторска степен по математическа биология, отбелязва, че има доказателства, че тези инструменти "са предубедени спрямо хората, за които английският не е роден език, какъвто съм и аз".

Говорител на The Washington Post се позова на политиката на изданието, която изисква гост-авторите да потвърдят, че материалът им "не е създаден или манипулиран с помощта на изкуствен интелект или софтуер за редактиране", но не коментира 17-те коментара от външни автори, публикувани във вестника, които според Pangram са били частично или изцяло написани от AI.

По-рано този месец The Financial Times добави бележка към гост-коментар, след като читатели поставиха под въпрос дали той е написан с помощта на изкуствен интелект. FT призна, че AI е бил използван за съкращаване на статията, но изданието забранява използването на AI в процеса на писане.

Авторът на статията в Semafor Рийд Алберготи посочва, че ако инструментите на Pangram са точни, 260 от 310 души, публикували гост-коментари в NYT, WSJ и Washington Post, са го направили изцяло със собствените си мозъци (или може би с мозъците на някой подчинен).

"Защо? Моето предположение е, че причината се свежда най-вече до качеството и може би до известен страх от излагане. Големите езикови модели (LLM) просто не са особено добри в писането. И дори да се опитате да използвате моделите, за да пишат в собствения ви стил, няма да получите висококачествена статия от първия опит", пише Алберготи.

"Не съм особено уверен и че LLM ще станат много по-добри в писането. След като са погълнали целия интернет, именно дотук са стигнали – до най-ниския общ знаменател на човешкия дискурс, а това е достатъчно добро за повечето неща. Лабораториите, разработващи най-модерните модели, няма да инвестират много усилия в това да ги направят по-добри писатели, защото в това няма пари. Те се концентрират върху това да направят моделите по-добри в умения, които могат да се продават, като юридическа работа и счетоводство", добавя авторът.

"Те работят върху създаването на модели, които се държат надеждно, така че бизнесите да могат да им поверят важни задачи, а не върху избора на перфектното прилагателно. Това, което ще направи AI по-добър в писането, е способността му да се учи в движение. Днес, след като един модел бъде обучен, той е като че ли застинал, но в бъдеще AI моделите може да са способни да актуализират теглата си в движение – подобно на хората, когато натрупват все повече речников запас и развиват своя вкус, докато растат.

Така че, когато AI моделите могат с течение на времето да се научат да пишат като отделни хора, може да разполагаме с асистенти, които могат да произвеждат текстове, неразличими от нашите – надяваме се, когато сме в най-добрата си форма. Дотогава имате два избора: да използвате 20-ватовия компютър на раменете си – или да се задоволите с достатъчно добър LLM", заключава Алберготи.

Междувременно изследователи от Мичиганския университет установиха, че много хора всъщност предпочитат съдържание, генерирано от AI, пред съдържание, създадено от хора. Но когато обучени в магистърски програми по изящни изкуства "експерти" са чели текст, генериран от готови за употреба чатботове, те са предпочитали съдържанието, създадено от хора.

Това се е променило, установили изследователите, когато са "дообучили" AI моделите върху висококачествено съдържание, създадено от хора. Макар че дообучаването не означава, че основните тегла на AI модела се променят, то може да помогне за насочването на модела към определен стил.

Според изследователите дообучените модели всъщност са спечелили предпочитанията на експертите, обучени в магистърски програми по изящни изкуства.

Стилът, който някои наричат "Claudish" по името на чатбота на Anthropic, започна да се свързва с ниско качество. (А много хора все още намират изкусно написания текст за по-убедителен от словесната салата, генерирана от компютър.)

Вижте графика, показваща резултатите от AI теста на Semafor

Методологията на Semafor и кодът за възпроизводимия анализ могат да бъдат намерени в публично GitHub хранилище тук.