Како да се отстрани сајтот или неговиот фрагменти од индексот на Google

Според концептот на индексирање усвоени од страна на Google, изнесува комплетноста, објективноста на информации и нејзино прилагодување кон барањето за пребарување со издавање на резултатите. Ако на индексот паѓа веб-сајт со нелегална содржина, или ресурс за спам, на страниците на овој сајт нема да бидат означени во заедничката база на податоци за пребарување моторот. За нас тоа е важно да се научат како да се отстрани сајт од издавањето на резултатите од сервер за пребарување.

Варијанти на нула индексирање на Google

Откако пребарување робот - програма за да се соберат информации за нови ресурси - ќе го скенира страница на сајт од страна на страница, а потоа, кога под условите на политиката на Google за анализирање, тоа ќе бидат индексирани. Но, исто така ќе ви покаже како да го отстраните вашиот сајт или фрагменти за пребарувачите преку robots.txt - индексирање и пребарување во исто време станица.

За да се исклучи од издавањето на ресурсите, како целина, во коренската папка на серверот на кој се наоѓа на сајт, создава одредена област од текстот - рече robots.txt. Оваа зона се третира со пребарувачите и да дејствува во согласност со упатствата прочита.

Имајте на ум дека индексите на Google пребарувачот страница, дури и ако корисникот има пристап за да ја видите забрането. Кога пребарувачот одговара со 401 или 403 "Пристапот не е валиден", тоа се однесува само на посетителите, наместо програми, кои се собираат за овој пребарувач.

За да се разбере како да се отстрани сајт од пребарување индексирање, текст покажувачот мора да влезе во следниве линии:

Корисникот застапник: Googlebot

Забрана: /

Ова укажува на Роботот да индекс на забраната на сите содржини на сајтот. Еве како да се отстрани еден сајт на Google, така што таа не го кешот на ресурси во листата на откриени.

Олицетворение на скенирање на различни протоколи

Ако ви треба да се набројат индивидуалните комуникациски стандарди, за која сакате да се применуваат посебни правила за индексирање на Google, на пример, посебно за хипертекст протоколи HTTP / HTTPS, потребно е да се регистрирате во robots.txt на следниов начин (на пример).

(Http://yourserver.com/robots.txt) - име на домен на вашиот сајт (било кој)

Корисникот застапник: * - секое пребарување со мотор

Дозволете: / - да се овозможи целосна индексирање

Како да се отстрани сајт од прашање целосно до протоколот https

(Https://yourserver.com/robots.txt):

Корисникот застапник: *

Забрана: / целосна забрана за индексирање

Забрзана отстранување URL- ресурс адреси од Google SERPs

Ако не сакаат да чекаат за ре-индексирање, и на сајт сакате да се скрие, како, јас Ви препорачуваме да го користите http://services.google.com/urlconsole/controller услугата е можно поскоро. Пред robots.txt мора да биде поставен во root директориумот на серверот на страницата. Тоа треба да бидат пропишани соодветни упатства.

Ако стрелката поради некоја причина не може да се уредува во root директориумот, се создаде доволно во папката со целите за кои сакате да се скрие од пребарувачите. Откако ќе го направите ова, а се однесуваат на услугата автоматски отстранување на хипертекст адреси, Google не ќе го скенира папки кои напишани на пропустот во robots.txt.

Периодот на оваа невидливост е закажан за 3 месеци. По овој период, повлечени од прашањето директориум, повторно ќе бидат обработени од страна на Google серверот.

H ОЖ да се отстрани сајт за скенирање делумно

Кога бот пребарување е читање на содржината на robots.txt, дека некои одлуки се направени врз основа на нејзината содржина. Да речеме дека сакате да се исклучи од прикажување на целиот директориум наречен anatom. Доволно е да се пропише како прописи:

Корисникот застапник: Googlebot

Забрана: / anatom

Или, на пример, сакате да не индекс на сите видови на сликата .gif. Да го направите ова, се додава следнава листа:

Корисникот застапник: Googlebot

Забрана: /*.gif$

Еве уште еден пример. Нека бидат избришани од парсирање информации за динамички генерирани страници, со истовремено додавање на типот на елемент на индекс:

Корисникот застапник: Googlebot

Забрана: / *?

Тоа е за, и магии на правила за пребарувачите. Друга работа е дека тоа е многу полесно да се користи само тоа мета tag. И веб-администратори често ги користат само како стандарден регулира работењето на пребарувачите. Но, ние ќе разговараат за ова во иднина статии.