Хронологии. Современные пророки. Т. 6

Исследования и Прогнозы

Machine Intelligence Research Institute изучает стратегические вопросы, связанные с ИИ, например, что мы можем (и не можем) предсказать о будущей технологии ИИ? Как мы можем улучшить наши способности к прогнозированию? Какие вмешательства, доступные сегодня, кажутся наиболее полезными, учитывая то, что мы мало знаем?

Начиная с 2014 года MIRI финансирует работу по прогнозированию через независимый проект AI Impacts. AI Impacts изучает исторические примеры прерывистых технологических изменений и разработал новые меры относительной вычислительной мощности человека и компьютерного оборудования.

Интерес исследователей MIRI к прерывистому искусственному интеллекту связан с аргументом И. Дж. Гуда о том, что достаточно продвинутые системы ИИ в конечном итоге превзойдут людей в задачах разработки программного обеспечения, что приведет к созданию цикла обратной связи все более способных систем ИИ:

Пусть ультраинтеллектуальная машина определяется как машина, которая может намного превосходить все интеллектуальные действия любого человека, насколько это возможно.

Поскольку конструкция машин является одной из этих интеллектуальных задач, ультраинтеллектуальная машина могла бы разрабатывать еще лучшие машины; Тогда бесспорно был бы «взрыв разведки», и разум человека остался бы далеко позади. Таким образом, первая ультраинтеллектуальная машина является последним изобретением, которое человек должен когда-либо делать, при условии, что машина достаточно послушна, чтобы рассказать нам, как держать ее под контролем.

Писатели, такие как Бостром, используют термин суперинтеллекция вместо ультраинтеллектуала Гуда.

Следуя Вернору Винджу, идея Гуда о взрыве интеллекта стала связана с идеей «технологической сингулярности». Бостром и исследователи из MIRI выразили скептицизм по поводу взглядов сторонников сингулярности, таких как Рэй Курцвейл, что суперинтеллекция «находится за углом».

Исследователи MIRI выступают за раннюю работу по обеспечению безопасности в качестве меры предосторожности, утверждая, что прошлые предсказания прогресса ИИ не были надежными.

Степень надежности и толерантность к ошибкам в ИИ

Документ о приоритетах исследований Института Будущего Жизни (FLI) гласит:

Математические инструменты, такие как формальная логика, вероятность и теория принятия решений, дали значительное представление об основах рассуждений и принятия решений.