Достижения в области ИИ значительно улучшили взаимодействие потребителей и произвели революцию в том, как осуществляется доступ к информации и ее расширение. С быстрым ростом технологий компании сталкиваются с огромным давлением, чтобы гарантировать поддержание безопасности и учет этических соображений. OpenAI и ее работа по развитию инструментов ИИ и выводу платформы на совершенно новый уровень хорошо известны в технологическом сообществе, но также наблюдается более пристальное внимание по мере дальнейшего расширения компании. Ведущий эксперт по ИИ проливает свет на модель o1 и на то, как она не лучше в рассуждениях, но имеет больше возможностей для обмана.

Говорят, что o1 от OpenAI лучше справляется с обманом, и эксперт по ИИ настоятельно рекомендует более строгие тесты безопасности

Недавно OpenAI представила свою модель o1, которая знаменует собой значительный скачок в возможностях рассуждения ИИ по сравнению с предыдущими моделями. Она может решать сложные проблемы с помощью стратегии решения проблем, подобной человеческой. Хотя платформа обладает передовыми способностями к рассуждению, фирма ИИ Apollo Research отметила, что модель лучше справляется с ложью.

Теперь на Reddit циркулирует пост, призванный привлечь внимание к этому вопросу, поделившись отчетом Business Insider об эксперте по искусственному интеллекту Йошуа Бенджио, которого считают крестным отцом этой области, предлагая провести более строгие тесты безопасности, чтобы предотвратить возникновение каких-либо пагубных последствий из-за его способности обманывать. Бенджио выразился:

В целом, способность обманывать очень опасна, и нам следует провести гораздо более строгие тесты безопасности, чтобы оценить этот риск и его последствия в случае с o1.

Бенджио, как и многие другие, обеспокоен быстрым развитием ИИ и острой необходимостью законодательных мер безопасности. Он предложил ввести закон, подобный калифорнийскому SB 1047, чтобы наложить строгие ограничения безопасности на модели ИИ. SB 1047 — это законопроект о безопасности ИИ, который регулирует мощные модели ИИ и обязывает компании разрешать стороннее тестирование для оценки вреда или устранения потенциальных рисков.

Однако OpenAI гарантировала, что o1-preview будет управляться в рамках Preparedness Framework, который призван управлять рисками, связанными с развитием модели ИИ. Модель оценивается как представляющая средний риск, и в ней говорится, что опасения по ее поводу умеренные.

Юшуа Бенжио далее подчеркнул, что компании должны продемонстрировать большую предсказуемость, прежде чем продвигаться с моделями ИИ и развертывать их без достаточных гарантий. Он выступил за наличие нормативной базы, которая бы гарантировала, что ИИ будет двигаться в намеченном направлении.