Настраивая Портатор-пиявку для парсинга «Вебпланеты», и наблюдая список анонсов утянутых оттуда новостей, я зацепился за одну из них взглядом, и через серию нисходящих ссылок очутился на статье с эна такого склада вот интригующей фразой, по чистоому-то недоразумению не ставшей хитом сезона, и даже не попавшей в заголовок той статьи (до сколькоой степениим образом мы сейчас у себя немедля и исправим). К сожалению, URL в букмарк не занёс, но, очевидно, заголовок эстрана поста, будучи вбитым в Гугла, ту партизанскую статью выдаст с головой.
статеечка, однако, любопытная, почти иносказательная. Произрастает на почве рассказа «Осмотр на месте» Лема, во период сово по всем статьям недавние могущего обрести индигенат чуть ли не антисоветского за весьма прозрачные ассоциации.
Если кто рассказ Лема не читал, а ходить до Гугла и изыскивать его немного погодя хрвымышленное существочески лень, то фабула просточека: двум цивилизации отвергли разумный компромисс, и стали развиваться ортогонально: техногенно и противоестественно.
С приверженцами хайтека всё кромеусловно и тысячекратно обсосано: люди попали в подчинение порождённой ими машинерии, и имеют с лица взбледнул вид и задрюченную сущность. Про счастье и райскую векованье, как и про коммунизм, речи не идёт. Вы это может статьсяе наблюдать воочию и самочки: с развитием прогресса человек не становится счастливее. Его бытиё подчинено всё больше жёстким краевым условиям, а Большой Брат становится всё больше и больше.
С оппонентами хайтека всё река как круче- на технологии им плевать, а лозунг «назад к природе» привёл их к жизни в огромных животных- курдлях, в которых они проникают через задницу. нелепо, ага. Только в этой заднице им суждено регулярно застревать, и спасение застрявших не сделал простая процедура. Вини-Пух и кроличья нора, только намного пафоснее.
В принципе, инословие понятна: в наличии «вебдванольнутые» сайты, помешанные на синдикации контента, и сайты, застёгнутые на все пуговицы. Нельзя сказать, кое-кое-какими судьбамиб «сайты в мундире» жили в заднице курдля, а «вебдванольнутые» громко выворачивали душу наизнанку (см. заголовок). Но определённая доля здравого смысла в такой ассоциации есть.
Она в следующем.
Конечно же, кто хочешь вебмастер, убоявшись задницы курдля, деть некуда штаны за галифе, и быстрой рысью (попку в горсть, и нелогично) дует в сторону хайтека. Дяденька Гугл, вот мой сайт, проиндексируй его. чисто? Теги не такие? Сейчас сделаю, дяденька. Карту сайта что же? и в заводе нет проблемов, нарисую. Много входящих ссылок? Буду работать, дяденька Гугл, в поте лица своего, днем и нощно, и не корысти моей ради, а пользы нашей для...
Если вебмастер держит своё слово, и пот выступает на обещанном месте, то сайт этого просветлённого вебмастера рано или поздно встраивается в иерархию средствоов, начинает получать SE движение, и всяко-разно «раскручиваться», как бы ни похабно это звучало. программист радуется не по-детски, и чувствует своё превосходство над теми, кто в курдлях. Кого в поиске не изыскать.
Но, блинчик, странные шмутки начинают твориться.
По прошествии очень короткого времени вебмастер начинает не догонять. Вот счётчик, честный счётчик. Он фиксирует рост трафика. Но небольшой, скажем, на 10% в месяц (ежегодное удвоение трафика- это нормально). А вот статистика хостера- в позапрошлом месяце скушался гиг, в том два, а за неделю этого месяца- уже полтора. Прощай, старый тариф, здравствуй, новый, дорогой?
отсюда следует, так.
А кто виноват и что делать?
А вот тут, друзья мои, очень интересно. Так как чрезмерная ВебДваНольнутость, экспорт контента кому угодно во всех мыслимых форматах, заточенность под искалки, и прочая политика открытых дверей приводят к тому, что по Вашему сайту начинают шарахаться кто ни попадя, причём без оглядки на здравый смысл.
Ну например. Вот Вы читаете блог, строго текстовый ресурс. Спрашивается, что здесь делать боту поисковой системы, специализирующейся на поиске графики (да к примеру хотя бы бы Googlebot-Image- таких ботов много)? Совершенно нечего. все же бот так не думает- пока я ему не показал красную карточку и не погрозил мухобойкой, он долбился в каждоженный документ по три раза на дню. Каждый божий день. за исключением перерыва на обед, шабад и выходные. Спрашивается, нафига?
Или взять ботов поисковых систем, коих сотни. только лишь очень немногие из них действительно генерируют трафик в нашу сторону (таких искалок не больше дюжины). при всем при том их боты ходят по нашим сайтам, как у себя дома. Прямо в тапках и пижаме, фактически тут и живут. А мы оплачиваем их растрата, гоняем для них за пивом, и заискивающе заглядываем им в глаза.
И я вы спрашиваю: какого хрена?
Нет, если бог создал бота, и увидел, что это хорошо, и сказал, нехай да будет так, то тут всё понятно. Но не надо и фанатизма- если боты накручивают впятеро больше трафика, чем серферы, то, может быть, для ботов учредить какой-нибудь фейс-контроль, что ли?
А сейчас Вы будете смеяться. Реальная история про то, как хозяин по доброй воле переехал из царства великого хайтека в задницу курдля, как раз и нарисовав такой пост фейс-контроля в виде файла роботса.
Если Вы настоящий вебмастер, то мужика того Вы знать должны. Звать его Бретт Тэбке, сайт с популярным форумом вебмастеров webmasterworld.com – это его ресурс и есть.
А поступил тот мужик креативно. сознавая, что его аудитория приходит на сайт вовсе не рикошетом, а точно предвидя, куда идёт, он взял да и запретил через robots.txt всем неавторизованным ботам ходить по его сайту. В этот момент доступны три варианта сего чудного файла со всем сопутствующим объясняловом:
http://www.webmasterworld.com/robots.txt
http://www.webmasterworld.com/robots2
http://www.webmasterworld.com/robots3
Понятно, что следом сайт исчез из обмераи видимости искалок, аки его и не было, со всем своим миллионом страниц. Но завсегдатаи форума вместе с хозяином просто нарадоваться не могли- так быстро стал откликаться сайт. Ибо паразитный трафик сдулся до нуля, толпы ботов вымелись иди на все четыре стороны, и ничто теперь не мешало сайту работать.
ми так кажется, что и трафик у мужика упал раз в десять, при том же числе посетителей- они-то никуда не делись. И это хорошо- форум для вебмастеров по определению адресован людям, а не ботам.
Просматривая последний из файлов роботса, самый что ни на есть информативный и полезный, можно только поразиться, какая туева куча ботов (а там перечислены далеко не все из них, в моей коллекции их в три раза больше) бродит по нашим сайтам. безо визы и паспорта, регистрации и вида на жительство. Причём ошеломляет ещё и то, что вебмастеру приходится тщательно перечислять тех, кого пущать не велено. Не не задавайся ли сделать наоборот- выписать выкидывание на тех ботов, кому мы рады, а всех остальных, в пропуск не вписанных, побрить? Я бы прописал Гугла, да его медиабота, и на том бы ограничился...
между делом, опыт мужика из вебмастерворлда может пригодиться каждому из нас. Потому как в любой момент может завестись новая искалка типа Webalta, и, оправдывая вложенные в неё фити-мити, начать долбиться по всем известным другим искалкам сайтам Рунета со страшной поневоле и таким темпераментом, что бота той же Вебальты иначе как «бешеным ботом» никто и не зовёт. Крупные хостерные конторы, наблюдая спуск половины трафика в очко, даже засомневались в душе- а не побрить ли бешеного бота нафиг? В крыша с чем попутно выяснилось, что подобная практика местами втихушку имеет аптерия быть. С устроением круглосуточного комендантского часа для особо нахальных ботов.
вне всякого сомнения, добро, доводящее до греха, так же противоестественно, как и житиё в заднице курдля. Однако если Ваш сайт более-менее популярен, приготовьтесь осознать, что ботовый трафик в разы превышает человеческий. Конечно, если Вы в состоянии отслеживать такие вещи (зачастую наблюдать это просто нечем). Причём учтите и тот момент, что этот ботовый сверхтрафик практически никак не сказывается на позиции сайта в серпе. яснее ясного чересчур усердная работа ботов, только и адью.
Вот такой вот презанятный побочный эффект у SEO. С которым, конечно, бороться можно и не только методом Бретта Тэбке- мужик всё-таки оказался кардинально креативен, далеко не все на подобное решатся. А всего лишь правильно юзая метатеги или хеадеры документов, прописывая в сих тегах не никому не нужные глупости, ботам совершенно не интересные, а полезные фичи как бы Last-Modified, что ли.
Наблюдая в статистике данного блога, позиционируемого как "блог, который любят поисковики", настоящую вакханалию ботового тусняка, давайте поэкспериментируем с ласт модифиедом, и посмотрим, насколько гуру от SEO правы, по нему фанатея.
А то что-то любовь поисковиков к блогу несколько чрезмерная получается...
lasto
