Журналісти провели більше сотні інтерв'ю в спробах зрозуміти, як компанія втручається в роботу пошукової системи.

Видання Wall Street Journal опублікувало велике розслідування роботи пошуковика Google - журналісти провели понад 100 інтерв'ю і кілька тижнів вивчали видачу самостійно.

1. 3,8 млн запитів, за оцінками журналістів WSJ, отримує пошук Google в хвилину.
2. 90% світового ринку пошукових систем належать Google.
3. Понад $ 900 млрд становить капіталізація материнського холдингу Alphabet.

Керівництво Google неодноразово підкреслювало на публічних заходах, у тому числі під час слухань в Конгресі США, що компанія не втручається в складання пошукової видачі вручну: алгоритми пошуку абсолютно об'єктивні, повністю автономні і «не зіпсовані» впливом людських або бізнес-інтересів.

Співрозмовники WSJ розповіли, що в 2018 році Google внесла в алгоритми понад 3200 змін різного роду, у 2017 році - 2400, в той час як в 2010 році - близько 500. У Google пояснюють це тим, що близько 15% запитів зараз представляють слова або комбінації слів, з якими система раніше не стикалася, що змушує розробників коригувати роботу алгоритмів - щоб ті надавали якомога більш релевантні результати.

«Наше розслідування показало, що команда Google втручається у формування пошукової видачі в набагато більшій степені, ніж готова це визнати», - пише WSJ. 

Пошук віддає перевагу великим компаніям

Google дуже рідко в деталях розповідає, які саме зміни вносить в алгоритми і навіщо, і це «бентежить» деякі компанії і спільноти, які відчувають, ніби їх доля залежить від примх гіганта.

Компанія намагається розповідати про роботу своїх алгоритмів, але тільки до тієї міри, яка не дозволить зловмисникам скористатися отриманою інформацією для маніпуляцій з пошуком.

Наприклад, в пошуку Google віддає переваги великим компаніям, виходячи з припущення, що покупець охочіше придбає щось у великому і відомому магазині. Це призводить до того, що більшу частину верхніх рядків видачі часто займає Amazon - навіть за запитами про продукти, які вже вийшли з продажу в магазині.

Цю проблему всередині Google обговорюють кілька років, але керівництво кожного разу вирішує нічого не змінювати, розповіли співрозмовники видання.

На додаток великі компанії отримують поради по тому, як поліпшити свої позиції в пошуку, в той час як невеликим проектам такі підказки недоступні, розповіли співробітники Google в бесіді з журналістами.

Керівник одного з найбільших рекламних клієнтів Google - агентства iProspect - розповів, що після великих оновлень його команда телефонує розробникам Google, які докладно пояснюють, що саме змінилося. «Однак в Google нам не повідомляють нічого такого, про що компанія не розповідала б публічно», - говорить він.

Так, в 2014 році eBay помітила, що стала отримувати менше трафіку з Google, на що отримала пояснення: пошуковик песимізував позиції частини сторінок eBay у видачі. Після тривалих переговорів з командою в цілому і з окремими розробниками Google погодилася повернути частини сторінок колишні позиції за умови, що онлайн-аукціон простежить за їх наповненням і релевантністю.

Компаніям без впливу eBay доводиться складніше: WSJ наводить як приклад історію купонного сайту DealCatcher, який за день втратив близько 93% трафіку через зміни алгоритмів видачі. У команди не було контактів в Google, так що вона найняла консультанта, який спробував зв'язатися з представниками компанії, проте так ніколи і не отримав відповіді. Через місяць трафік так само несподівано повернувся.

Google м'якше ставиться до втручання в непошукові блоки сторінки і намагається не «підбурювати» користувачів

Компанія втручається в роботу додаткових блоків, які з'являються на одній сторінці з пошуковою видачею - наприклад, добірок новин або відеороликів по темі, полів «користувачі також шукали» і «знань», яке збирає зведену інформацію за запитом.

Синім кольором позначені непошукові блоки, зеленим - пошукова видача

За словами журналістів WSJ, Google «абсолютно по-різному» формує пошукову видачу і список релевантних запитів в рядку автозаповнення.

WSJ кілька тижнів тестувало автозаповнення на прикладі кількох спірних запитів (вони стосувалися деяких політиків, включаючи Дональда Трампа, наркотиків, абортів, іммігрантів) і помітили, що у відповідь на ряд запитів не пропонує багато варіантів, які виявлялися в підказках від Bing, від Microsoft і DuckDuckGo.

Наприклад, за запитом "abortion is" ( "аборт це») Google пропонує варіанти автозаповнення: "legal" ( «легально»), "normal" ( «нормально»), "safe" ( «безпечно»), "a constitutional right " ("конституційне право"). Bing пропонує в тому числі варіанти: "bad" ( «погано»), "immoral" ( «аморально»), "not murder" ( «не вбивство»). У ряді тестів з інших запитів видача Google пропонувала як ліберальні, так і більш консервативні варіанти.

У публічних правилах Google зазначено, що функція автозаповнення не може пропонувати користувачеві рядки, пов'язані з домаганням, погрозами, «неналежною сексуалізацією» або розкриттям приватної і делікатної інформації.

Такі правила частково закладені з моменту створення функцій автопідказки в 2004 році. Її розробник Кевін Гіббс відразу заборонив потрапляння в рядок автозаповнення опису сексуальних актів, навіть якщо такий запит був одним з найпопулярніших.

«Без фільтрації список запитів часто виглядав жахливо», - каже Гіббс, який покинув Google в 2012 році. В Google до сих пір ведуть чорний список запитів, які вилучаються зі списку пропозицій вручну, розповіло джерело WSJ.

У компанії є й інші чорні списки

На слуханнях в Конгресі представники Google заявили, що компанія не веде чорні списки. У коментарі для WSJ в компанії уточнили, що мова йшла тільки про політично мотивовані чорні списки компаній, людей або сайтів.

Співрозмовники WSJ розповіли, що Google веде списки сайтів, які не можуть з'явитися в пошуковій видачі взагалі або за певним запитом. Причому вони не мають відношення до списку сторінок, які Google зобов'язана виключати з видачі згідно із законом - його ведуть окремо.

З 2010 до 2018 року Google отримала 685 тисяч запитів на видалення посилань з пошукової видачі від урядів по всьому світу. 78% з них - з 2016 по 2018 рік.

Найчастіше такі запити приходять з Росії - всього в російському уряді зажадали видалити з видачі 255 тисяч посилань. Джерело WSJ в Google сказав, що частіше за все це запити про видалення посилань на сторінки із забороненою в Росії інформацією - з пропагандою наркотиків або суїциду.

Сайт може потрапити в чорний список, наприклад, якщо використовує спам-тактики виведення в верхню частину пошукової видачі, штучно набиваючи собі рейтинг.

Співзасновник Google Сергій Брін з самого заснування компанії виступав проти введення агресивної антиспам-політики - він вважав, що робота по визначенню спаму зажадає занадто великого людського втручання. Джерела WSJ помітили, що єврей за походженням Брін особисто виступив за показ антисемітських сайтів у видачі за запитом "jew" ( «єврей»).

Інше джерело розповіло, що в 2004 році інший співзасновник Ларрі Пейдж, зіткнувшись в туалеті з топ-менеджером «Пошуку» Беном Гомесом, дав тому добро на боротьбу зі спамом: «Робіть що потрібно. Сергій просто зруйнує цю компанію ». Після цього компанія послабила вимоги про невтручання в результати пошуку.

На слуханнях в Конгресі представники компанії стверджували, що будь-яка зміна алгоритму розглядається спеціальним комітетом. Джерела WSJ розповіли, що це тривалий захід, подібний захисту дисертації - тому насправді безліч дрібних змін приймають без схвалення комітету.

Представники Google підтвердили виданню, що зміни не завжди розглядаються на засіданнях, але будь-які з них так чи інакше оцінюється за іншими принципами.

Побічно впливати на результати видачі можуть і співробітники, і підрядники, і інші сторони

У компанії не можуть дійти згоди щодо допустимого ступеня втручання в результати пошуку, тому будь-який співробітник може поскаржитися на видачу, яка не видається йому підходящою.

Наприклад, в 2015 році один із співробітників поскаржився на результати видачі за запитом «як вакцинація викликає аутизм» ( "how do vaccines cause autism"): у видачі з'являлися посилання на сайти, які агітують проти щеплень. Деякі працівники виступали за те, щоб дати алгоритму самостійно ранжувати результати, але в підсумку на перше місце видачі вивели сайт howdovaccinescauseautism.com - сторінку з єдиною фразою на ній: "They f-ing do not" ( «Ніяк, **** * »).

«Побудувати і підтримувати сервіс на кшталт Google - значить приймати тисячі найскладніших рішень. З одного боку, для цього компанія і наймає найкращих розробників світу - вони вирішують ці проблеми за допомогою мільйонів рядків складного коду. З іншого боку, нарівні з ними Google має армію з 10 тисяч низькооплачуваних підрядників, які сидять у себе вдома і оцінюють результати роботи, - пише WSJ. - Рейтинги, які вони складають на основі гайдлайну від компанії, також впливають на позиції сайтів у видачі ».

Один з таких підрядників розповів WSJ, що в 2016 році оплата за годину роботи становила $ 13,5. За рік роботи з ним жодного разу не зв'язався ніхто з команди Google і не розповів, як компанія використовує результати його роботи. При цьому компанія часто надсилала документи, в яких описувала, як саме повинні виглядати правильні результати видачі.

Представниця Google заявила, що гайдлайни роботи таких підрядників «абсолютно прозорі», і компанія завжди явно позначає, що саме роблять її алгоритми і для чого.

Сундар Пічаї

Глава Google з 2015 року Сундар Пічаї, за словами джерел WSJ всередині компанії, набагато більш відкритий до обговорення конкретних результатів пошукової видачі зі сторонніми компаніями і людьми, ніж засновники Сергій Брін і Ларрі Пейдж.

Google не ставить в пріоритет боротьбу з дезінформацією

Внутрішнє розслідування Google в 2016 році показало, що приблизно в 0,1-0,25% випадків в пошукову видачу потрапляє дезінформація того чи іншого роду, говорить один з топ-менеджерів компанії. За підрахунками WSJ, це близько 2 мільярдів пошукових запитів в рік. При цьому Facebook, для порівняння, потрапила під увагу Конгресу через політичну реклами, яку побачили близько 126 мільйонів користувачів.

Представниця Google пояснила, що в 0,1-0,25% випадків мова йде не тільки про дезінформацію, а про будь-яку невідповідність результатів пошукової видачі стандартам якості компанії. Вона також відкинула точність розрахунків WSJ про кількість пошукових запитів, які Google отримує в рік.

WSJ зауважує, що інші платформи на зразок Facebook і Twitter борються з дезінформацією вручну, вводячи чіткі правила щодо контенту, який не можна розміщувати на їх платформах, в той час як Google намагається боротися з нею алгоритмічними методами, вибудовуючи моделі фільтрації пошуку. У компанії говорять, що Google, на відміну від того ж Facebook, займається лише індексацією контенту, а не його публікацією - тому приймає в його фільтрації не таку активну участь.

Один з топ-менеджерів Google сказав WSJ, що проблема визначення дезінформації занадто складна і компанія просто не бажає в неї занурюватися.