Multi dintre cei ce activeaza online isi pun cel putin o data intrebarea “de ce nu mi-a indexat Google tot site-ul” iar raspunsurile, in functie de persoana pe care o intrebi sunt destul de variate.

Exista o gramada de site-uri si experti ce vorbesc despre optimizarea pe motoarele de cautare. Ce i-ar placea lui Google si ce nu, si ce sa faci ca sa ii pici in gratii. Matt Cutts, unul dintre angajatii Google care impartaseste cateodata ponturi despre SEO pe blogul personal, este cu siguranta una dintre persoanele pe care ar trebuii sa le citesti daca esti interesat de felul in care gigantul priveste web-ul, dar nu este singurul. Un altul este Dan Crow, care a raspuns la un moment dat la problema “ce sa fac sa imi indexez tot site-ul”.

Raspunsul este pe cat de uimitor pe atat de simplu. Chiar daca Google are resurse nelimitate cand vine vorba de puterea de calcul pe care ar putea sa o cumpere exista 2 alte resurse care inca nu permit paianjenilor care acceseaza paginile web sa indexeze chiar tot. Electricitatea si latimea de banda a serverelor.

Sa o luam mai simplu insa. Google isi trimite crawlerul (paianjenul) pe net, si din link in link acesta gaseste pagini pe care le indexeaza. Sau nu. Adevarul este ca in fiecare zi Google ajunge pe un numar mare, dar limitat de link-uri. Si asta pentru ca electricitatea necesara operatiunilor de crawling precum si latimea de banda ar fi pur si simplu mult prea mari pana si pentru marele gigant.

Ai putea sa crezi, gresit insa, ca Google ar prefera sa indexeze toate site-urile si paginile aferente de la A la I si sa le ignore cu succes pe cele de la J la Z.

Una dintre teorii este ca daca ai o valoare Page Rank mare pe cateva pagini din site-ul tau, cu siguranta acele pagini precum si multe altele din site-ul tau vor fi indexate. Insa exista situatia mult mai plauzibila cand mai multe pagini din site-ul tau au o valoare Page Rank mai mica. Atunci, chiar daca Google trece prin acele pagini, este posibil sa refuze indexarea.

Si desi afirmatia de mai sus se pupa cu politica Google de relevanta asupra Internetului, nu prea se leaga cu ce am scris mai devreme despre electricitate si latime de banda. Si asta pentru ca mai exista o teorie, destul de plauzibila. Vorbeam mai sus despre acei experti in optimizarea pentru motoarele de cautare, care de cele mai multe ori pun accentul pe continut de calitate, pe numarul de linkuri care vin catre site-ul tau, dar de foarte putine ori asupra curateniei codului.

Da, codul HTML curat este mai usor de indexat decat codul care contine elemente de CSS sau JavaScript. De multe ori cand atrag atentia unora asupra exportarii elementelor de stil si de scripting in fisiere externe, imi atrag priviri urate si incruntari. E adevarat, reprezinta o munca in plus sa faci asta dupa ce ai construit deja o pagina. Limitarea elementelor de stil (CSS) si a JavaScriptului din codul site-ului tau va reduce viteza de incarcare a paginilor precum si timpul petrecut de crawler pentru a citi continutul site-ului, ceea ce la sfarsit duce la un consum mai mic de electricitate si de latime de banda. In plus, crawlerul nici nu intelege si nici nu vrea sa inteleaga elementele de JavaScript sau de stil.

Bine bine o sa zici, dar site-ul meu se incarca rapid de la mine de acasa … si pana la urma, e site-ul meu, doar nu o sa il defavorizeze chiar pe el. Viteza accesarii site-ului tau de acasa de la tine, sau de la serviciu nu este aceeasi cu viteza accesarii site-ului tau din China, America sau Germania. Iar Google acceseaza (probabil) cateva milioane de linkuri daca nu mai bine pe zi din diferite parti ale globului. Pentru ei conteaza. O secunda timp de incarcare in plus pentru 100.000 de site-uri reprezinta un efort de 27.7 ore de electricitate si latime de banda in plus care ar putea fi evitat. Si asta doar prin curatirea codului HTML. Impresionant nu?

Daca toata lumea ar avea mai multa grija la felul in care paginile sunt construite si ar urma un set de reguli simple Google ar putea sa indexeze mai multe pagini web, mai repede, cu efort mai mic.

Si atunci, de ce nu educa Google webmasterii pentru a construii paginile mai prietenoase pentru motorul lor de cautare? Poate pentru ca ar da rau ca Google sa ceara lumii sa faca ceea ce ar trebuii deja sa faca (pana la urma de aia exista posibilitatea de a pune codul auxiliar in fisiere externe), doar pentru a le usura lor munca.