Care este bugetul pentru crawl

Un termen care este menționat mult astăzi în comunitatea SEO este bugetul de accesare. Dacă l-am traduce, s-ar citi ca „buget de urmărire”. Este un teren de mijloc rar, dar acesta este un concept foarte vechi în zona SEO.

Cei care lucrează cu proiecte la scară largă, cum ar fi comerțul electronic mare, portaluri de conținut și specialiști SEO, înțeleg bugetul de accesare la crawl ca fiind timpul pe care Google îl petrece citind paginile site-ului dvs. web într-o anumită zi.

Indice de conținut

Este momentul în care crawlerul Google este nevoie să citească paginile unui site web. Dar de data aceasta cheltuielile cu crawler-ul pe site-ul dvs. web depind de mai mulți factori; cum ar fi autoritatea site-ului web, procentul de conținut duplicat, erori de pagină și multe altele.

Cu toate acestea, potrivit blogului oficial al webmaster-ului Google, se spune că nu toată lumea ar trebui să fie preocupată de această problemă a bugetului de accesare. Adică, dacă au un site web cu câteva zeci de pagini, nu este necesar să vă faceți griji cu privire la această problemă a accesării crawling-urilor, deoarece Google o va face fără nicio atingere.

Dar dacă aveți un magazin online sau orice alt proiect web cu câteva mii de pagini, va trebui să acordați o atenție deosebită și să optimizați bugetul de accesare cu privire la site-ul dvs. web.

Bugetul cu crawlere și poziționarea web

De la Google, aceștia afirmă că bugetul pentru crawl nu influențează poziționarea, dar, totuși, poate influența și, uneori, controla, negativ, alți dintre cei peste 200 de factori care se clasează în motorul de căutare.

Dar de ce vrem ca Google să târască de mai multe ori paginile site-ului nostru web? Pe de altă parte, găsim mai mulți experți SEO care se asigură că un buget bun de accesare a crawl va îmbunătăți poziționarea generală a paginilor site-ului web în clasament și va crește astfel traficul organic.

Practic, Google are un anumit timp pentru a petrece în cadrul site-ului dvs., deoarece trebuie să decidă cât timp va petrece pe fiecare dintre site-urile din întreaga lume, pentru care va trebui să calculeze câte conexiuni simultane va putea face pentru a putea citiți paginile site-ului dvs. web.

Calitatea site-ului

Google își petrece timpul pentru a se putea conecta pe site-ul web, pentru a citi aceste pagini și a opri această lectură. Repetați acest lucru pe parcursul zilei, dar există întotdeauna o fracțiune din timp. Acea fracție de timp este de obicei proporțională cu autoritatea site-ului dvs. web, numărul de pagini noi și relevanța pe care o are pentru Google.

Acest lucru este dat de calitatea conținutului dvs. și de linkurile care indică site-ul, adică dacă aveți multe link-uri de calitate îndreptate, s-ar putea ca Google să vă înțeleagă cu mai multă calitate și să petreceți mai mult timp pe site-ul dvs. web, atât timp cât există un volum mai mare de pagini.

În general, bugetul pentru rampă nu se schimbă prea mult pentru un site de 10, 50 sau 100 de pagini, deci în câteva pagini nu există prea multe diferențe. Dar pentru site-urile mari, dacă Google are o secundă să parcurgă site-ul dvs. și îi spuneți ce să citiți, asta va fi foarte util pentru crawler, finalizând sarcina de crawling mai rapid.

Setați care sunt paginile importante

În primul rând, trebuie să cartografiați o arhitectură mai organizată a informațiilor despre site, stabilind ce pagini sunt inutile și nu lăsând indexarea anumitor pagini verificând fișierul robots.txt.

Google nu ar trebui să petreacă timp în secțiunea de căutare a site-ului sau chiar în secțiunea în care există navigare prin filtru, de exemplu, ca într-un magazin online, unde puteți alege dimensiunea pantofului, dimensiunea apartamentului sau culoarea cămășii. Aceste filtre sunt ceea ce oamenii numesc în mod normal „navigație în față” sau „filtre de navigare”.

Unii webmasteri tind să blocheze aceste filtre și acele căutări în fișierul robots.txt, doar pentru ca Google să nu petreacă timp citind aceste pagini, deoarece, de fapt, acestea sunt concentrate asupra utilizatorului care caută acea experiență și sunt conținut care este deja disponibil pe alte pagini interne ale site-ului.

Vă recomandăm să citiți: erori de evitat la crearea unui site web

O altă linie este aceea că, stabilind care sunt paginile importante ale site-ului dvs., economisiți timp Google pe paginile care au conținut duplicat, cum ar fi cazul navigării pe față, pagina cu politica de confidențialitate, termeni și condiții și nu vrei să fie citite. Aceste pagini vor fi disponibile numai pentru utilizatorii care doresc să vadă aceste pagini.

Nu trebuie pierdut timpul în aceste pagini cu valoare scăzută, întrucât nu doriți să vă clasificați pentru ele și nu fac nici cea mai mică diferență în viața voastră, dar trebuie să fie acolo, deoarece unii utilizatori vor oricum să consulte aceste informații.

Cum funcționează intern bugetul de accesare

În general, bugetul de accesare se bazează pe arhitectură. Definiți linkurile către paginile pe care Google le va putea citi și le acorda prioritate după nivelul lor de importanță.

La urma urmei, link-urile care ies din aceste pagini sunt cele care sunt probabil prioritare de către Google. Așadar, merită logica să te gândești foarte bine la legăturile interne și la modul în care este structurată pagina ta.

Bugetul crawl este timpul pe care Google îl petrece pentru a putea citi, a înțelege informațiile de pe site-ul web și a evalua elemente precum organizarea arhitecturii și blocarea în robots.txt. Folosirea etichetei nofollow pe un link împiedică Google să urmărească acel link. De exemplu, dacă o legătură are un atribut nofollow, dar o altă legătură internă nu are una pentru a ajunge la pagină, Google va face a doua cale, ceea ce vă va face să petreceți mai puțin timp.

Beneficiile unui site optimizat

Există lucruri care vă vor ajuta să citiți mai multe pagini zilnic, care pot fi utile pentru orice site web. De exemplu, dacă serverul dvs. este mai rapid, Google va solicita, în acest timp, mai multe pagini.

Dacă pagina dvs. este comprimată, Google va solicita, în aceste solicitări, mai multe pagini. Și dacă aveți un cod curat și adecvat, Google va primi și o pagină mai comprimată la sfârșitul zilei, cu biți mai buni. Adică, optimizarea site - ului, viteza site-ului și a serverului, influențează foarte mult problema bugetului de accesare.

Cum să calculați bugetul de accesare a site-ului dvs.

Numărul de ori pe care păianjenul motorului de căutare Google îl glisează pe site-ul dvs. web într-o anumită alocare de timp este ceea ce numim „bugetul de accesare”. Prin urmare, dacă Googlebot îți vizitează site-ul de 32 de ori pe zi, putem spune că bugetul de urmărire al Google este de aproximativ 960 pe lună.

Puteți utiliza instrumente precum Google Search Console și Bing Webmaster Tools pentru a calcula bugetul de accesare aproximativ al site-ului dvs. web. Trebuie doar să vă conectați și să vă îndreptați la Urmărire> Statistici de urmărire pentru a vedea numărul mediu de pagini urmărite pe zi.

Bugetul pentru crawl și SEO: sunt la fel?

Da și nu În timp ce ambele tipuri de optimizare urmăresc să facă pagina dvs. mai vizibilă și să influențeze SERP-urile dvs., SEO pune un accent mai mare pe experiența utilizatorului, în timp ce optimizarea păianjenului este în totalitate atragerea robotilor.

Optimizarea motoarelor de căutare (SEO) este concentrată mai mult pe procesul de optimizare a interogărilor utilizatorilor. În schimb, optimizarea Googlebot se concentrează asupra modului în care crawlerul Google accesează site-ul dvs.

Cum să optimizați bugetul pentru rampă

Există mai multe modalități de a optimiza bugetul de accesare al oricărui site web, în ​​funcție de fiecare proiect web, număr de pagini și alte probleme, iată câteva puncte de luat în considerare:

Asigurați-vă că paginile dvs. pot fi urmărite

Pagina dvs. poate fi urmărită dacă paianjenii motoarelor de căutare pot găsi și urmări link-uri de pe site-ul dvs. web, astfel încât va trebui să configurați fișierele .htaccess și robots.txt astfel încât să nu blocheze paginile critice de pe site-ul dvs. De asemenea, poate doriți să furnizați versiuni text ale paginilor care se bazează foarte mult pe fișiere media bogate, cum ar fi Flash și Silverlight.

Desigur, inversul este adevărat dacă doriți să împiedicați o pagină să apară în rezultatele căutării. Totuși, setarea fișierului robots.txt la „refuza” nu este suficientă dacă doriți să împiedicați indexarea unei pagini. Potrivit Google, regula „refuza” nu garantează că o pagină nu apare în rezultate.

Dacă informațiile externe (de exemplu, link-urile de intrare) continuă să conducă traficul către pagina pe care ați respins-o, Google poate decide că pagina este încă relevantă. În acest caz, trebuie să blocați manual indexarea paginii folosind meta tagul noindex sau antetul HTTP X-Robots-Tag.

- Noindex meta tag: puneți această meta tag în secțiune din pagina dvs. pentru a împiedica majoritatea crawlerelor web să indexeze pagina dvs.:

noindex "/>

- X-Robots-Tag - plasează următoarele în răspunsul antet HTTP pentru a indica crawler-urilor să nu indexeze o pagină:

X-Robots-Tag: noindex

Vă rugăm să rețineți că, dacă folosiți metaetica noindex sau eticheta X-Robots-Tag, nu ar trebui să refuzați pagina în robots.txt. Pagina trebuie să fie accesată cu crawlere înainte ca eticheta să fie văzută și ascultată.

Utilizarea prudentă a fișierelor media bogate

A existat o perioadă în care Googlebot nu a putut accesa conținut precum JavaScript, Flash și HTML. Aceste vremuri au trecut de mult (deși Googlebot mai are probleme cu Silverlight și cu alte fișiere).

Cu toate acestea, chiar dacă Google poate citi cele mai multe fișiere media bogate, este posibil ca alte motoare de căutare să nu poată face acest lucru, ceea ce înseamnă că ar trebui să folosiți aceste fișiere în mod judicios și probabil că doriți să le evitați în totalitate în paginile dorite. poziție.

Evitați redirecționarea șirurilor

Fiecare adresă URL redirecționată vă determină să pierdeți un pic din bugetul dvs. de accesare. Când site-ul dvs. web are șiruri de redirecționare îndelungate, adică un număr mare de redirecționări 301 și 302 la rând, este posibil ca păianjenii ca Googlebot să se prăbușească înainte de a ajunge pe pagina de destinație, ceea ce înseamnă că pagina nu va fi indexată.. Cea mai bună practică cu redirecționări este de a avea pe site-uri cât mai puține redirecții și nu mai mult de două la rând.

Remediază legăturile sparte

Când John Mueller a fost întrebat dacă legăturile sparte afectează poziționarea sau nu, el a răspuns că este oarecum mai concentrat pe experiența utilizatorului decât în ​​scopul poziționării.

Aceasta este una dintre diferențele fundamentale dintre SEO și optimizarea Googlebot, deoarece ar însemna că legăturile rupte nu joacă un rol substanțial în clasament, chiar dacă împiedică foarte mult capacitatea Googlebot de a indexa și a clasifica un site web..

Acestea fiind spuse, ar trebui să urmați sfaturile lui Mueller având în vedere că algoritmul Google s- a îmbunătățit substanțial de-a lungul anilor și că orice lucru care afectează experiența utilizatorului poate afecta SERP-urile.

Setați parametrii în adresele URL dinamice

Păianjenii tratează adresele URL dinamice care duc la aceeași pagină ca pagini separate, ceea ce înseamnă că este posibil să pierdeți inutil bugetul de accesare. Puteți gestiona parametrii URL accesând Search Console și făcând clic pe Urmărire> Parametri URL. De aici, puteți informa Googlebot dacă CMS-ul dvs. adaugă parametri la adresele dvs. URL care nu schimbă conținutul unei pagini.

Curățați harta site-ului

Sitemap-urile XML ajută atât vizitatorii cât și roboții păianjen, ceea ce face ca conținutul să fie mai bine organizat și mai ușor de găsit. Prin urmare, încercați să mențineți harta site-ului la zi și să o eliminați de orice dezordine care ar putea dăuna utilizabilității site-ului dvs., inclusiv 400 de pagini la nivel, redirecții inutile, pagini non-canonice și pagini blocate.

Cel mai simplu mod de a curăța sitemap-ul este să utilizați un instrument precum Auditorul site-ului Web. Puteți utiliza generatorul de sitemap XML al auditorului site-ului Web pentru a crea o sitemap curată care exclude toate indexările paginilor blocate. Mai mult, accesând opțiunea „Audit site” puteți localiza și repara toate erorile 4xx, redirecțiunile 301 și 302 și paginile non-canonice.

Utilizați feed-uri

Ambele fluxuri, RSS, XML și Atom permit livrarea de conținut către adepți atunci când aceștia nu navighează pe site. Acest lucru permite utilizatorilor să se aboneze la site-urile lor preferate și să primească actualizări periodice de fiecare dată când este publicat conținut nou.

Pe lângă faptul că fluxurile RSS au fost mult timp o modalitate bună de a spori citirea și implicarea, acestea sunt, de asemenea, printre cele mai vizitate site-uri de Googlebot. Când site-ul dvs. web primește o actualizare (de exemplu, produse noi, postări pe blog, actualizări de pagină, etc.), trimiteți-l la Google Feed Burner pentru a vă asigura că este indexat corect.

Creați legături externe

Link building-ul rămâne un subiect fierbinte și nu se vede că va dispărea oricând în curând.

Cultivarea relațiilor online, descoperirea de noi comunități, crearea valorii mărcii; Aceste mici victorii ar trebui deja să fie tipărite în procesul de planificare a linkurilor. Deși există elemente distinctive ale construirii legăturilor, care sunt acum atât de 1990, nevoia umană de a se conecta cu ceilalți nu se va schimba niciodată.

În prezent, avem deja dovezi că legăturile externe sunt strâns corelate cu numărul de vizite de păianjen pe care le primește site-ul dvs. web.

Mențineți integritatea legăturii interne

Deși crearea de legături interne nu joacă un rol substanțial în viteza de crawling, asta nu înseamnă că poate fi complet ignorat. O structură de site bine întreținută face ca conținutul dvs. să fie ușor de descoperit de către roboții de căutare, fără a irosi bugetul de accesare.

O structură de legături interne bine organizată poate îmbunătăți, de asemenea, experiența utilizatorului, mai ales dacă utilizatorii pot ajunge în orice zonă a site-ului dvs. web în trei clicuri. A face totul mai general accesibil înseamnă că vizitatorii vor rămâne mai mult timp, ceea ce poate îmbunătăți SERP-urile.

Ce concluzie tragem?

Din nou, consolidând ceea ce a fost deja menționat mai sus, această problemă a bugetului de accesare a crawl va fi importantă pentru site-urile mari cu sute și mii de pagini web, altfel nu merită să vă faceți griji, deoarece Google vă va urmări site-ul web fără probleme.

Nu trebuie să complicăm târârea paginilor site-ului nostru către Google. Există multe site-uri web cu suficiente erori și chiar cu bariere create de fișierele robots.txt și sitemap.xml care împiedică Google să acceseze conținutul. Dacă dorim să îmbunătățim poziționarea în clasamentul Google, atunci trebuie să autorizăm și să simplificăm paginile site-ului, astfel încât Google să poată accesa, indexa și poziționa rapid. Foarte simplu.

Până acum, probabil că ați observat o tendință în acest articol: De asemenea, cele mai bune practici de trasabilitate tind să îmbunătățească căutarea. Așadar, dacă vă întrebați dacă optimizarea bugetului pentru crawl este importantă pentru site-ul dvs. web, răspunsul este da.

Pur și simplu, dacă faceți mai ușor pentru Google descoperirea și indexarea site-ului dvs., vă veți bucura de mai multe accesări crawling, ceea ce înseamnă actualizări mai rapide atunci când postați conținut nou. Veți îmbunătăți, de asemenea, experiența generală a utilizatorului, îmbunătățind vizibilitatea și, în final, clasamentul SERP-urilor.

Acestea sunt doar câteva dintre punctele, printre multe altele, pentru îmbunătățirea și optimizarea bugetului de accesare a accesului la un site web.