Хотя GPT-4 в настоящее время находится на вершине все более запутанного мира генеративного искусственного интеллекта, его конкуренты, в том числе Claude от Anthropic и Llama с открытым исходным кодом от Meta, продолжают совершенствоваться, что требует еще одной итерации флагманской модели большого языка OpenAI (LLM). Хотя многие ожидают, что некоммерческая организация Сэма Альтмана выпустит GPT-5 в 2024 году, некоторые аналитики сейчас утверждают, что эти ожидания остаются надуманными, особенно с учетом масштаба необходимых ресурсов.
GPT-5 потребует примерно в 100 раз больше вычислительных ресурсов, чем GPT-4, или 3 месяца из примерно 1 миллиона H100.
По словам Дэна Хендрикса, директора Центра безопасности ИИ, каждая дополнительная итерация OpenAI GPT LLM требовала 10-кратного увеличения вычислительных ресурсов. Следовательно, если OpenAI пропустит GPT-4.5 и сразу перейдет на GPT-5, это приведет примерно к 100-кратному увеличению вычислительных требований по сравнению с GPT-4, что эквивалентно примерно 1 миллиону чипов H100, работающих в течение трех месяцев подряд.
Этот тезис подтверждается комментариями генерального директора Anthropic Дарио Амодеи, который недавно отметил, что в настоящее время обучение современного LLM стоит около 1 миллиарда долларов, при этом ожидается, что эта стоимость вырастет до 5–10 миллиардов долларов к 2025/26. Важно отметить, что затраты на обучение в 1 миллиард долларов соответствуют 10-кратному увеличению вычислительных ресурсов, которое можно разумно предположить для GPT-4.5.
Недавно мы отметили, что устройства NVIDIA H100, развернутые в этом году, как ожидается, будут потреблять около 13 000 ГВтч электроэнергии в год, что эквивалентно годовому потреблению электроэнергии в таких странах, как Литва и Гватемала. Ожидается, что к 2027 году глобальное энергопотребление центров обработки данных вырастет до 85–134 ТВтч (тераватт-часов)!
Конечно, конкуренция GPT-4 быстро догоняет его. Не ищите ничего, кроме Llama 3 LLM от Meta (70 миллиардов параметров), которая сейчас занимает пятое место в таблице лидеров Arena. Крайне важно, что Llama 3 сейчас превосходит все другие LLM с открытым исходным кодом, и это в отсутствие будущей модели с 405 миллиардами параметров.
Более того, некоторые эксперты теперь полагают, что для GPT-5 OpenAI придется изменить «исходную учебную программу», которая в настоящее время предполагает использование «плохо организованных человеческих разговоров» и в целом «наивного» процесса обучения. Это дополняет наш первоначальный тезис о том, что OpenAI, скорее всего, выпустит итеративную модель GPT-4.5 в этом году вместо того, чтобы полностью перевернуть ставки с помощью GPT-5.