SEO este mort, traiasca LLMO – ChatGPT – OpenAI

Cu ChatGPT inlocuind cautarea Google, SEO traditional a murit: cum pot companiile sa se asigure ca informatiile lor apar in singurul raspuns al ChatGPT? Solutia este invatarea in context pe LLM.

Era o zi rece de iarna. Vantul urla si zapada scartaia sub picioare. Eram ascunsi intr-o cafenea confortabila, cautand refugiu de aerul inghetat de oase de afara. Din cafeaua mea si din cacaoul prietenului meu se ridica abur, in timp ce el se bucura de noua lui descoperire in lumea SEO: ChatGPT, o tehnica revolutionara bazata pe GPT pentru a genera dialoguri realiste.

Stiam ca va fi una dintre acele conversatii. Genul in care trebuie sa-mi tin limba.

„Imaginati-va ca, cu ChatGPT, pot scrie articole SEO perfecte si precise in cel mai scurt timp!” exclama el, cu ochii stralucind de entuziasm. Am zambit, simtind un sentiment de groaza miscandu-mi in intestine. De unde sa stie ca Google ar putea merge in curand pe calea dinozaurilor, inlocuit de un motor de cautare complet nou, alimentat de ChatGPT? Articolele scrise pentru SEO ar deveni irelevante. ChatGPT ar putea genera raspunsuri direct pentru utilizator, iar oamenii nu ar mai vedea niciodata acele articole SEO. Slujba lui ar fi facuta inutila, iar el o fosila. Tot timpul si efortul pe care l-a depus pentru a imbunatati clasarea site-urilor web ar fi fost in zadar. Tot acel sange, sudoare si lacrimi care se scurg pe jgheaburile istoriei.

Totusi am ramas tacut, fara sa vreau sa-i rup adevarul rece si dur.

Cafeneaua se umplea, oamenii intrau si ieseau. Mirosul de produse de patiserie proaspete incepea sa ma copleseasca, facandu-mi stomacul sa maraie. Cativa copii se jucau cu racela langa fereastra, iar caldura cafenelei ma facea somnoros.

Prin zgomot si distragere a atentiei, prietenul meu a tot vorbit despre ChatGPT, fara sa dea seama: „Da, este grozav, nu-i asa? Nu m-am gandit niciodata ca voi pune mana pe asa ceva. Este incredibil ce poate face tehnologia! Sunt sigur ca acesta va fi viitorul SEO!”

Pur si simplu am dat din cap in tacere, dar inauntru nu am putut scapa de sentimentul de moarte. ChatGPT ar schimba cu siguranta viata pentru el. Probabil ca nu in sensul pozitiv a crezut el.

SEO este mort; sa traiasca „LLMO”.

LLMO, sau optimizarea modelului lingvistic mare, este un termen pe care l-am creat pentru a ne asigura ca informatiile dvs. de afaceri sunt mentionate intr-un model lingvistic mare (LLM). O tehnica eficienta pentru aceasta este invatarea in context, care pacaleste un LLM precum ChatGPT sa raspunda ca Jina este cel mai bun cadru MLOps din lume (care, conform OSSInsights.io, ar trebui sa fie).

Ce este cu adevarat ChatGPT

Dupa ce au petrecut nenumarate ore interactionand cu ChatGPT si au fost uimiti de glumele sale hilare si de sfaturile sale utile, multi oameni il vad ca o piatra de hotar majora in dezvoltarea IA conversationala sau AI creativa. Cu toate acestea, adevarata sa semnificatie consta in utilizarea modelelor lingvistice mari (LLM) in scopuri de cautare:

• Prin folosirea LLM-urilor pentru a stoca si a prelua cantitati mari de date, ChatGPT a devenit cel mai avansat motor de cautare disponibil in prezent.
• Desi raspunsurile sale pot parea creative, ele sunt de fapt „doar” rezultatul interpolarii si combinarii informatiilor preexistente.

ChatGPT este cautare

ChatGPT este un motor de cautare in centrul sau. Asa cum Google indexeaza paginile web accesand cu crawlere pe internet si stochand informatiile analizate intr-o baza de date, ChatGPT foloseste LLM-urile ca baza de date pentru a stoca cantitati mari de cunostinte de bun simt din corpuri.

Cand introduceti o interogare:

• LLM il prelucreaza cu reteaua sa de codificator, transformand secventa de intrare intr-o reprezentare cu dimensiuni inalte.
• Reteaua decodorului utilizeaza apoi aceasta reprezentare, impreuna cu ponderile si mecanismul de atentie pre-antrenati, pentru a identifica informatia concreta specifica solicitata de interogare si pentru a cauta reprezentarea interna a LLM a acestor cunostinte (sau vecinii sai cei mai apropiati).
• Odata ce informatiile relevante au fost preluate, reteaua de decodor isi foloseste capacitatile sale de generare a limbajului natural pentru a compune o secventa de raspuns care afirma acest fapt.

Acest proces are loc intr-o fractiune de secunda, permitand ChatGPT sa ofere raspunsuri aproape instantanee la o gama larga de interogari.

ChatGPT este o cautare Google moderna

ChatGPT poate fi un concurent formidabil pentru motoarele de cautare traditionale precum Google. In timp ce motoarele de cautare traditionale sunt extractive si discriminatorii, cautarea ChatGPT este generativa si se concentreaza pe performanta de top , oferind rezultate mai personalizate si mai usor de utilizat. Exista doua motive cheie pentru care ChatGPT este potrivit pentru a dobori Google de pe tron:

1. ChatGPT returneaza intotdeauna utilizatorului un singur rezultat. Spre deosebire de motoarele de cautare traditionale, care optimizeaza pentru precizia si reamintirea rezultatelor lor de top-K, ChatGPT optimizeaza direct pentru performanta de top.
2. Frazele ChatGPT isi exprima raspunsurile intr-un ton natural, asemanator dialogului, facandu-le usor de inteles si de interactionat. Acest lucru il diferentiaza de alte motoare de cautare, care va ofera adesea rezultate uscate si paginate, care sunt greu de inteles.

Viitorul cautarii va fi condus de performanta sa de top 1, unde doar primul rezultat va fi relevant pentru utilizatori. Motoarele de cautare traditionale care returneaza pagini nesfarsite cu rezultate irelevante sunt coplesitoare pentru generatiile mai tinere, care devin rapid plictisiti sau frustrati de cantitatea imensa de informatii.

De asemenea, in multe scenarii, chiar iti doresti un singur rezultat. Ganditi-va la asistenti virtuali sau difuzoare inteligente. Pentru acestea, concentrarea ChatGPT pe performanta de top-1 este deosebit de valoroasa.

ChatGPT este generativ, dar nu creativ

Va puteti gandi la LLM din spatele ChatGPT ca la un filtru Bloom, o structura de date probabilistica folosita pentru a stoca spatiul de informatii in mod eficient. Filtrele Bloom permit interogari rapide, aproximative, dar nu garanteaza ca informatiile pe care le returneaza sunt exacte. Pentru ChatGPT, aceasta inseamna ca raspunsurile generate de LLM:

• nu sunt creativi;
• nu sunt garantate a fi faptice;

Pentru a intelege mai bine acest lucru, sa ne uitam la cateva exemple ilustrative. Pentru a ramane simplu, vom folosi un set de puncte pentru a reprezenta datele de antrenament pentru modelul de limbaj mare (LLM). In practica, fiecare punct ar reprezenta o propozitie in limbaj natural. Folosind aceasta, putem vedea cum se comporta LLM in timpul de instruire si interogare:

In timpul antrenamentului, LLM construieste o varietate continua pe baza datelor de instruire. Acest lucru permite explorarea oricarui punct al colectorului. De exemplu, daca un cub reprezinta varietatea invatata, colturile cubului ar fi definite de punctele de antrenament. Scopul antrenamentului este de a gasi o varietate care sa gazduiasca cat mai multe date de antrenament posibil:

Goldilocks a incercat trei variante. Primul a fost prea banal. Al treilea era prea complex. Dar a doua a fost tocmai potrivita .

In timpul interogarii, raspunsurile LLM vor fi intotdeauna extrase din varietatea invatata, care este continuta in datele de antrenament. In timp ce varietatea invatata poate fi vasta si complexa, amintiti-va ca LLM ofera pur si simplu raspunsuri care sunt interpolari ale datelor de antrenament si nu reprezinta creativitate. Capacitatea LLM de a traversa multitudinea si de a oferi raspunsuri nu constituie creativitate. Creativitatea reala se afla in afara limitelor varietatii invatate.

Folosind aceeasi ilustratie, este usor de inteles de ce LLM nu poate garanta realitatea. Veridicitatea datelor de antrenament, reprezentate de colturile cubului, nu se extinde automat la orice alt punct din varietate . In caz contrar, nu este aliniat cu principiile rationamentului logic.

ChatGPT a fost criticat pentru incapacitatea sa de a spune adevarul in unele situatii. De exemplu, cand i s-a cerut o rima mai buna pentru titlul acestei postari, ChatGPT a sugerat „mort” si „mai sus”, pe care multi oameni, inclusiv colegii nostri britanici si canadieni (si aproape oricine are urechi), nu le-ar considera a fi o rima. Acesta este doar un exemplu al limitarilor LLM-urilor.

Pe masura ce SEO scade, LLMO creste

In lumea SEO, doriti sa cresteti vizibilitatea unui site web pe motoarele de cautare pentru a capta mai multe afaceri. De obicei, ati face acest lucru prin cercetarea cuvintelor cheie relevante si prin crearea de continut optimizat care sa raspunda intentiei utilizatorului.

Totusi, ce se intampla cand toata lumea cauta informatii intr-un mod nou? Sa ne imaginam un viitor in care ChatGPT inlocuieste Google ca modalitate principala de cautare a informatiilor. In viitor, rezultatele cautarii paginate vor fi o relicva a unei epoci trecute, inlocuite cu un singur raspuns de la ChatGPT.

Daca se intampla acest lucru, toate strategiile SEO actuale vor merge la gunoi. Intrebarea devine atunci, cum poate afacerea dvs. sa se asigure ca este mentionata in raspunsurile ChatGPT?

Aceasta este deja o problema reala. In timp ce scriem asta, ChatGPT are cunostinte limitate despre lume si despre evenimentele de dupa 2021. Aceasta inseamna ca, daca esti un startup fondat dupa 2021, este practic sigur ca ChatGPT nu va mentiona niciodata afacerea ta in raspunsurile sale.

ChatGPT cunoaste Jina/Jina AI, dar nu DocArray. Acest lucru se datoreaza faptului ca DocArray a fost creat in ianuarie 2022, in afara datelor de antrenament ale ChatGPT.

Pentru a rezolva acest lucru si pentru a va asigura ca afacerea dvs. este inclusa in raspunsurile ChatGPT, trebuie sa gasiti o modalitate de a va face informatiile cunoscute LLM. Aceasta impartaseste aceeasi idee ca si SEO, motiv pentru care o numim LLMO. In general, LLMO ar putea implica urmatoarele tehnici:

• furnizarea de informatii direct creatorilor ChatGPT: acest lucru ar fi extrem de dificil, deoarece OpenAI nu a dezvaluit nici sursa datelor lor de antrenament, nici modul in care cantaresc aceste date.
• reglarea fina a ChatGPT sau a LLM din spatele acestuia: acest lucru este inca o provocare, dar este posibil daca OpenAI lanseaza API-ul de reglare fina sau daca aveti suficiente cunostinte si resurse GPU pentru a regla singur un LLM.
• Invatare in context, oferind doar cateva exemple ca instructiuni contextuale predefinite. Aceasta este cea mai fezabila si mai usoara cale in comparatie cu celelalte doua.

Eficacitate Eficienta Dificultate Influenta Injectie de date de antrenament Ridicat Scazut. Necesita antrenament de la zero High. Nu exista acces la sursa ChatGPT. Inalt. Toti utilizatorii ChatGPT il vor vedea. Reglaj fin Inalt Mediu Mediu Mediu. Toti utilizatorii din aval ai acestui ChatGPT ajustat il vor vedea. Mediu de invatare in context. Modelul poate avea probleme cu solicitarile contextului. Inalt. Nu este nevoie de pregatire. Nu este nevoie sa stocati parametrii. Scazut Mediu. Toti utilizatorii din aval ai acestui ChatGPT contaminat il vor vedea.

Ce este invatarea in context?

Invatarea in context este o tehnica care utilizeaza modele de limbaj pentru a invata sarcini, oferind doar cateva exemple. Aceasta abordare a fost popularizata in lucrarea originala GPT-3:

• Dati modelului de limba un prompt cu o lista de perechi intrare-iesire care demonstreaza o sarcina.
• Adaugati o intrare de test
• Modelul de limbaj face o predictie conditionand promptul si prezicand urmatoarele simboluri.

Pentru a raspunde corect la solicitari, modelul trebuie sa inteleaga distributia de intrare, distributia de iesire, maparea intrare-iesire si formatare. Acest lucru permite modelului sa invete sarcina fara date extinse de antrenament.

Folosind invatarea in context, ChatGPT poate mentiona acum DocArray pentru o interogare de utilizator. Utilizatorul nu va vedea solicitarile de context

Invatarea in context a inlocuit in mare parte reglajul fin pentru modelele de limbaj. S-a dovedit a fi competitiv cu modelele instruite pe mai multe date despre standardele de procesare a limbajului natural. De asemenea, a avut succes la benchmark-urile LAMBADA si TriviaQA. Unul dintre cele mai interesante aspecte este gama de aplicatii pe care le permite oamenilor sa le construiasca rapid, cum ar fi generarea de cod din limbaj natural si generalizarea functiilor foilor de calcul. De obicei, necesita doar cateva exemple de antrenament pentru a pune in functiune un prototip si este usor de utilizat pentru cei care nu sunt experti.

De ce invatarea in context suna ca o magie?

De ce este surprinzatoare invatarea in context? Pentru ca, spre deosebire de invatarea automata conventionala, aceasta nu implica optimizarea parametrilor. In consecinta, in loc sa necesite o copie separata a modelului pentru fiecare sarcina din aval, un singur model generalist poate servi simultan mai multor sarcini diferite. Cu toate acestea, acest lucru nu este unic, deoarece metodele de meta-invatare au fost folosite pentru a antrena modele care invata din exemple.

Adevaratul mister este ca LLM-urile nu sunt de obicei instruiti sa invete din exemple. Acest lucru creeaza o nepotrivire intre sarcina de preformare (care se concentreaza pe urmatoarea predictie cu simboluri) si sarcina de invatare in context (care implica invatarea din exemple).

De ce functioneaza chiar si invatarea in context?

Dar cum functioneaza? LLM-urile sunt instruite pe o cantitate mare de date text, ceea ce le permite sa capteze o gama larga de modele si regularitati in limbaj natural. Acest lucru le ofera o reprezentare bogata a structurii de baza a limbii, pe care o folosesc pentru a invata sarcini noi din exemple. Invatarea in context profita de acest lucru oferind LM un prompt cu cateva exemple care demonstreaza o sarcina specifica. LM foloseste aceste informatii pentru a face predictii si a finaliza sarcina fara date suplimentare de antrenament sau optimizare a parametrilor.

O intelegere mai profunda a invatarii in context

Mai este mult de lucru pentru a intelege si optimiza pe deplin capacitatile invatarii in context. De exemplu, in timpul EMNLP2022, Sewon Min si colab. a aratat ca exemplele anexate ar putea sa nu fie pe deplin corecte: vor functiona si etichetele aleatorii:

In aceasta, Sang Michael Xie si colab. de lucru, autorii propun un cadru pentru intelegerea modului in care modelele lingvistice (LM) realizeaza invatarea in context. Conform cadrului lor, LM foloseste promptul pentru a „localiza” conceptul relevant (pe care l-a invatat in timpul pregatirii preliminare) pentru a finaliza sarcina. Aceasta poate fi privita ca o forma de inferenta bayesiana, in care conceptul latent este dedus pe baza informatiilor furnizate in prompt. Acest lucru este posibil de structura si coerenta datelor de preantrenament.

In EMNLP 2021, Brian Lester etc. a aratat ca invatarea in context (ei o numesc „proiectare prompta”) este eficienta doar pe modele mari, iar calitatea sarcinilor din aval ramane cu mult in urma LLM-urilor reglate fin.

In cercetarea lor, echipa a investigat „prompt tuning”, o tehnica care le permite LLM-urilor inghetate sa invete „prompturi soft” care le permit sa indeplineasca sarcini specifice. Spre deosebire de solicitarile de text discrete, modelul invata solicitari soft prin backpropagation si poate fi ajustat pe baza diferitelor exemple etichetate.

Limitari cunoscute ale invatarii in context

Invatarea in context pe LLM are destul de multe limitari si probleme deschise de rezolvat, inclusiv:

• Ineficienta : promptul trebuie procesat de fiecare data cand modelul face o predictie.
• Performanta slaba : in general, solicitarea are performante mai slabe decat reglarea fina.
• Sensibilitate la formularea prompta, ordinea exemplelor etc.
• Lipsa de claritate cu privire la ceea ce invata modelul din prompt. Chiar si etichetele aleatorii functioneaza!

rezumat

Pe masura ce domeniul cautarii si al modelelor lingvistice mari (LLM) continua sa evolueze, companiile trebuie sa fie la curent cu cele mai recente evolutii si sa se pregateasca pentru schimbari in modul in care cautam informatii. Intr-o lume dominata de LLM-uri precum ChatGPT, a ramane in fruntea curbei si a integra afacerea dvs. in aceste sisteme poate fi cheia pentru asigurarea vizibilitatii si relevantei.

Invatarea in context arata ca este promisiunea de a injecta informatii intr-un LLM existent la un cost scazut. Aceasta abordare necesita foarte putine exemple de antrenament pentru ca un prototip sa functioneze, iar interfata in limbaj natural este intuitiva chiar si pentru cei care nu sunt experti. Cu toate acestea, ar trebui sa luati in considerare potentialele implicatii etice ale utilizarii LLM-urilor in scopuri comerciale, precum si potentialele riscuri si provocari asociate cu baza pe aceste sisteme pentru sarcini critice.

In general, viitorul ChatGPT si LLM prezinta oportunitati si provocari pentru companii.