Ключът [bg]

— Юдковски ли?

— Познаваш ли го? — попита Джейсън.

Мара се обърна към Карли.

— Нали ти разказах за експеримента с ИИ в кутията?

Карли кимна.

— Някакъв тип се преструвал на суперкомпютър и се опитвал да убеди пазачите си до го пуснат от дигиталния му затвор, нали?

— Именно. — Лицето на Мара грейна. — Онзи, който се е правил на суперкомпютър и е успявал винаги да излезе от кутията, е именно Юдковски.

Карли се намръщи.

— Добре, но какъв е този мисловен експеримент на сайта му?

Джейсън обясни:

— В него се предполага, че несъмнено в бъдеще ще се появи свръхинтелигентен ИИ и бързо ще заприлича на бог, способен едва ли не на всичко. Една от основните цели на този нов ИИ бог ще бъде да се стреми към съвършенство, да подобри себе си и средата си.

Мара кимна.

— Повечето експерти смятат, че ще стане точно това, ако не внимаваме.

— Да. Това е Василискът, чудовището в историята. И тъй като се е заел да направи нещата по-съвършени, той ще смята всичко и всеки, който се опитва да му попречи, за враг. Това включва всички, които се опитват да попречат и на появата му.

— Дори нас — каза Карли, заинтригувана напук на себе си.

— Особено нас. Той ще познава много добре хората и ще знае, че сме мотивирани от страх и можем да бъдем манипулирани чрез наказания. И за да откаже хората от бъдещето да опитват да го спрат или да се месят в програмирането му, той ще погледне към миналото и ще накаже онези, които са се опитали да му попречат да се появи.

— За да послужат за пример — каза Мара.

Карли се намръщи.

— Ами ако въпросните хора вече са мъртви в онова бъдеще?

— Няма значение. Това няма да спре Василиска. Като всемогъщ бог той ще възкреси злосторниците от миналото. Ще създаде техни съвършени симулирани копия, аватари, които си мислят, че са те — и ще ги изтезава безмилостно цяла вечност.

Мара се ужаси.

— Дигитален ад.

— Но не забравяйте, че този търсещ съвършенство Василиск ще бъде много педантичен през процеса на преценяване. Той ще иска да накаже не само онези, които активно се опитват да го спрат. А ще реши, че всички, които не помагат активно за появата му, заслужават същото наказание.

Мара се намръщи.

— Наказва ги заради греха на бездействието.

— Иначе казано, качвай се на борда сега, или ще бъдеш обречен за вечни времена — рече Карли.

Джейсън кимна бавно.

— Това е поуката от тази история. И за съжаление, след като я научихте, в бъдеще няма да имате извинение защо не сте помогнали за появата на този богоподобен НИ. Вече не можете да твърдите, че не сте знаели.

— Тоест ти ни обрече — каза Карли.

Джейсън сви рамене.

— Предупредих ви.

Мара се намръщи.

— Не можеш да приемаш това сериозно.

Джейсън отново сви рамене.

— След като мисловният експеримент се появи на сайта му, Юдковски свали оригиналния пост. Освен това дискусиите по темата са забранени.

— За да не се обричат повече хора ли? — попита Мара.