Google обяснява защо не обхожда и не индексира всеки URL

Джон Мюлер от Google написа много подробно и честно обяснение защо Google (и инструменти за SEO на трети страни) не обхождат и индексират всеки URL или връзка в мрежата. Той обясни, че обхождането не е обективно, скъпо е, може да е неефективно, мрежата се променя много, има спам и всичко това трябва да се има предвид.

Джон написа този подробен отговор в Reddit, отговаряйки защо „Защо SEO инструментите не показват всички препратки?“ Но той отговори на това от гледна точка на Google Търсене. Той каза:

„Няма обективен начин за правилно обхождане в мрежата.

Теоретично е невъзможно да се обходи всичко, тъй като броят на действителните URL адреси на практика е безкраен. Тъй като никой не може да си позволи да поддържа безкраен брой URL адреси в база данни, всички уеб роботизи правят предположения, опростявания за това какво реалистично си струва да обхождате.

И дори тогава, за практически цели, не можете да обхождате всичко това през цялото време, интернет няма достатъчно свързаност и честотна лента за това и струва много пари, ако искате да имате достъп до много страници редовно (за робота и за собственика на сайта).

След това някои страници се променят бързо, други не са се променяли от 10 години – така че роботите се опитват да спестят усилия, като се фокусират повече върху страниците, които очакват да се променят, а не върху тези, които очакват да не променят.

И след това се докосваме до частта, в която обхождащите се опитват да разберат кои страници всъщност са полезни. Мрежата е пълна с боклуци, за които никой не се интересува, страници, които са били изпратени като спам в безполезност. Тези страници все още може да се променят редовно, може да имат разумни URL адреси, но те просто са предназначени за депото и всяка търсачка, която се грижи за своите потребители, ще ги игнорира. Понякога това не са просто очевидни боклуци. Все повече и повече, сайтовете са технически изправни, но просто не достигат „летвата“ от гледна точка на качеството, за да заслужават повече обхождане.

Следователно всички роботи (включително SEO инструменти) работят върху много опростен набор от URL адреси, те трябва да разберат колко често да обхождат, кои URL адреси да обхождат по-често и кои части от мрежата да игнорират. Няма фиксирани правила за нищо от това, така че всеки инструмент ще трябва да взема свои собствени решения по пътя. Ето защо търсачките имат различно индексирано съдържание, защо SEO инструментите изброяват различни връзки, защо всички показатели, изградени върху тях, са толкова различни.“

Почувствах, че би било добре да подчертая това, защото е полезно за SEO специалистите да прочетат това и да го разберат.