Это гостевой пост Лиора Левина.
Лучший борец со спамом в Google Мэтт Каттс недавно опубликовал в блоге длинную запись о состоянии борьбы Google со спаммерами.
В своем сообщении Каттс сообщил, что, хотя количество спама в индексе Google составляет менее половины того, что было пять лет назад, в последние месяцы этот спам в индексе Google увеличился и по некоторым запросам стал более заметным.
По мнению Каттса, это изменение связано не только с тем, что сейчас сейчас больше спамеров, чем когда-либо, пытающихся обманом добиться более высокого рейтинга в поисковых системах, но и с тем, что недавнее обновление Google Caffeine заставляет поисковую систему индексировать больше контента, чем когда-либо прежде, включая спам.
Однако он изложил план Google по борьбе с этим всплеском и предотвращению того, чтобы он стал более серьезной проблемой. В частности, он обозначил три изменения в Google, которые, как он надеется, улучшат качество результатов Google и упростят поиск для всех.
Первое изменение, недавно выпущенное Google, нацелено на самих спамеров и представляет собой «переработанный классификатор уровня документа», который лучше обнаруживает спам. контент на одной странице. Сюда входят такие вещи, как повторяющиеся слова в тексте, а также некоторые виды спама в комментариях.
Второе улучшение, которое в настоящее время оценивается, — это изменение алгоритма, нацеленное на сайты, которые копируют контент с других страниц, обычно без разрешения. Эти сайты часто копируют большие блоки контента с очень небольшим количеством оригинального материала, но иногда они имеют очень высокие рейтинги, в том числе опережая сайты, которые изначально создали этот контент.
Однако наибольшее количество дискуссий вызвало третье и последнее изменение. По словам Каттса, Google изучает способы дальнейшего снижения рейтинга так называемых «контент-ферм» или сайтов, которые производят большие объемы контента по дешевке, обычно с помощью наемной рабочей силы, качество которой зачастую сомнительно. Сюда входят такие компании, как Demand Media, которая управляет eHow, Livestrong и другими сайтами.
По словам Каттса, в 2010 году Google внесла два изменения, чтобы уменьшить влияние этих ферм контента, но понимает, что люди требуют принятия еще более решительных мер. Однако эти сайты вызвали споры, поскольку, хотя они часто содержат контент более низкого качества, они не считаются традиционным веб-спамом.
Учитывая, что Demand Media только что провела IPO, в результате которого ее стоимость составила 1,5 миллиарда долларов, легко увидеть, насколько большую стоимость компания смогла вырасти за счет «фермерства» контента. Что еще предстоит увидеть, так это то, сможет ли Google сдержать свое преобладание в результатах, особенно для поисковых запросов с длинным хвостом, на которые он нацелен.
Однако очевидно, что даже после десяти лет работы в отрасли Google по-прежнему борется с проблемами качества контента в своем индексе и изо всех сил пытается держать на расстоянии спамеров, парсеров и производителей контента.
Несмотря на то, что за последнее десятилетие компания определенно добилась прогресса, очевидно, что предстоит еще много работы, и Google собирается ее выполнить.
Все, что мы можем сделать, это сидеть сложа руки, наблюдать за тем, что происходит, и надеяться, что законные, высококачественные сайты случайно не попали в эту ситуацию.
