ХЗ. Хто знає, яким буде майбутнє
- Автор: О’Райлі Тім
- Год: 2018
- Язык: украинский
- Год: Наш формат
- ISBN: 978-617-7682-06-5
- Переводчик: Юлия Кузьменко
- Жанр: Прочая компьютерная литература
Электронная книга - «ХЗ. Хто знає, яким буде майбутнє». Краткое содержание книги:
Великі дані або супермасив даних — це не лише масштабніша версія реляційної бази даних, як-от Oracle. Це дещо інше. Дослідники машинного навчання Google Алон Галеві, Пітер Норвіґ і Фернандо Перейра пояснили в публікації 2009 року «Незбагненна ефективність даних» (The Unreasonable Effectiveness of Data) (назва перефразована з відомої статті Юджина Віґнера 1960 року «Незбагненна ефективність математики у природничих науках» (The Unreasonable Effectiveness of Mathematics in the Natural Sciences)), чому методи статистики дедалі більше застосовуються для виконання колись надто складних завдань, як-от розпізнавання мовлення чи машинний переклад179.
Раніше все впиралося в граматику. Хіба зможе величезний поршневий двигун, який не знається на граматичних правилах, розуміти людську мову? Успіхів на цій ниві було мало. Та все змінилося, коли в інтернет почали викладати більше документів. Кілька десятків років тому дослідники покладалися на скрупульозну добірку зразків усних і письмових висловлювань із щонайбільше кількома мільйонами слів. Згодом з’явилося стільки контенту онлайн, що правила гри змінилися. 2006 року Google зібрала для мовників базу з трильйона слів і сконструювала «реактивний двигун» для її обробки. Відтоді прогрес став стрімким і безповоротним.
Галеві, Норвіґ і Перейра наголошували, що мовна база з інтернету поступалася колишнім скрупульозним добіркам. Безліч незакінчених речень, граматичні й орфографічні помилки, невраховані граматичні конструкції... Однак те, що ця база була в мільйони разів більшою, переважувало всі недоліки. «База на трильйон слів — разом із мільйонами, мільярдами чи трильйонами посилань, відеороликів, зображень, таблиць та діалогів користувачів — охоплює навіть рідкісні аспекти поведінки людини», — писали автори. Замість створювати складні мовні моделі, дослідники звернулися до «найкращого союзника, якого мали: незбагненної ефективності даних». Складні моделі, засновані на чітких правилах, не допомогли б розпізнавати мовлення; потрібен був лише статистичний аналіз — нехай дані самі визначають, якими будуть моделі.
Хоч у статті йшлося про переклад, автори окреслили підхід, який зумовив успішність пошукової системи Google. Ідея про те, що «прості моделі і великий масив даних беруть гору над ретельно розробленими моделями, заснованими на обмежених даних», пояснює стрімкий прогрес у багатьох галузях і лежить в основі роботи багатьох компаній Кремнієвої долини. Ба більше, останні прориви у розвитку штучного інтелекту теж пояснюються цим принципом.
2008 року Ді Джей Патиль з LinkedIn та Джефф Гаммербахер з Facebook ввели в обіг термін «даталогія». Так вони визначили галузь, у якій працювали. За кілька років Harvard Business Review назвала їхню роботу «найсексуальнішою у ХХІ столітті»180. Усі, хто намагається осмислити виклики ХХІ століття, мають розуміти основи даталогії та відмінність нового підходу від старих методів програмування.
Багато про що свідчить принцип роботи пошуковика Google. Google починала з того, що видавала результати пошуку за допомогою статистики і категорично не визнавала виправлення проблем вручну. На пошуковий запит «Пітер Норвіґ» перші посилання, які має отримати користувач, — стаття у «Вікіпедії» та біонота на сайті компанії, де працює ця людина. Якщо натомість першим вигулькує якийсь неважливий ресурс, це можна виправити так: додати правило «на запит “Пітер Норвіґ” не видавати цей URL в топ-10 результатів». Проте Google вирішила не робити цього — ліпше завжди шукати причину помилки. У нашому прикладі виправлення може бути таким: «На запит про будь-яку відому людину першими видавати високоякісні енциклопедичні джерела, як-от “Вікіпедія”».
«Функцією пристосування» відділу з контролю за якістю пошукової системи Google завжди була доцільність інформації: чи знаходять користувачі те, що шукають? Один із сигналів, яким нині послуговується Google, щоб це з’ясувати, є «довгий клік» і «короткий клік». Якщо користувач клікає на перше посилання й не повторює запиту, припускається, що результат пошуку виявився задовільним. Якщо користувач клікає на перше посилання, а за деякий час повертається до результатів пошуку й клікає на друге, швидше за все пошук виявився незадовільним. Якщо користувач повертається до пошуку відразу, це сигнал, що знайдена інформація зовсім не відповідала меті пошуку. Коли «довгий клік» трапляється після другого, третього чи п’ятого посилання в пошуку частіше, ніж після першого, припускається, що той результат надав доцільнішу інформацію. Якщо так вчиняє один користувач, можливо, це сталося випадково. Та коли мільйони користувачів однаково реагують на результати пошуку, випливають важливі висновки.