От AI к AGI: Готовы ли мы прийти туда, куда мы идём?

Многие исследователи считают, что создание настоящего сильного искусственного интеллекта (artificial general intelligence, AGI) уже не за горами. Во второй части нашего разговора мы именно это и обсудим: когда появится AGI, как мы об этом узнаем и, главное, готовы ли мы к этому? Нужно ли нам бояться AGI и если нужно, то чего именно и над чем нам в этом контексте работать? Почему такие люди, как Джеффри Хинтон, Йошуа Бенджи и Билл Гейтс, говорят, что создание AGI может быть экзистенциальным риском для человечества?

В этой части я надеюсь не только поговорить о рисках, но и дать достаточно полный обзор основных направлений исследований, которые люди сейчас ведут в области AI safety. Это очень молодая область, и очень сложная — в основном мы не знаем даже, как хорошо поставить ту или иную задачу. Но заниматься ей надо, и мы поговорим о том, как люди пытаются это делать. Как и в первой части, доклад не будет требовать глубокого знания технических аспектов машинного обучения, но некоторые идеи я всё-таки надеюсь рассказать.