GPT-4, последняя версия чат-бота с искусственным интеллектом ChatGPT, может сдавать тесты в средней школе и экзамены в юридические вузы с отличными оценками и обладает новыми возможностями обработки информации, которые были недоступны в предыдущей версии.
Цифры результатов тестирования GPT-4 были опубликованы 14 марта создателем OpenAI, показав, что он также может преобразовывать изображения, аудио и видео в текст, а также обрабатывать “гораздо более тонкие инструкции” более творчески и надежно.
“Он сдает имитированный экзамен на адвоката с результатом в 10% лучших сдающих экзамен”, – добавляет OpenAI. “В отличие от него, GPT-3.5 набрал около 10% худших”.
Данные показывают, что GPT-4 набрал 163 балла ~88% на экзамене LSAT – тесте, который студенты колледжей должны сдать в США для поступления в юридический колледж.
Результаты экзаменов GPT-4 и GPT-3.5 на ряде последних американских экзаменов. Источник: OpenAI
Результаты GPT4 дают хорошие шансы на поступление в 20 лучших юридических школ и лишь на несколько баллов отстают от заявленных баллов, необходимых для поступления в престижные школы, такие как Гарвард, Стэнфорд, Принстон или Йель.
Предыдущая версия ChatGPT набрала на LSAT всего 149 баллов, что ставило ее в нижние 40%.
GPT-4 также набрал 298 из 400 баллов на Едином экзамене по адвокатуре – тесте, который сдают недавно окончившие юридический факультет студенты, позволяющем им заниматься адвокатской практикой в любой юрисдикции США.
Баллы ЕГЭ необходимы для допуска к юридической практике в каждой юрисдикции США. Источник: Национальная конференция экзаменаторов адвокатов
Старая версия ChatGPT не справилась с этим тестом, попав в нижние 10% с результатом 213 баллов из 400.
Что касается экзаменов SAT Evidence-Based Reading & Writing и SAT Math, которые сдают американские старшеклассники для оценки своей готовности к поступлению в колледж, GPT-4 набрал 93 и 89 процентов соответственно.
GPT-4 преуспел и в “трудных” науках, показав результаты выше среднего уровня по биологии AP (85-100%), химии (71-88%) и физике 2 (66-84%).
Результаты экзаменов GPT-4 и GPT-3.5 на ряде последних экзаменов в США. Источник: OpenAI
Однако его результат по AP Calculus был довольно средним и находился в диапазоне от 43 до 59.
Еще одной областью, в которой GPT-4 не справился, были экзамены по английской литературе: по двум отдельным тестам он показал результаты от 8 до 44.
OpenAI заявила, что GPT-4 и GPT-3.5 взяли эти тесты из тренировочных экзаменов 2022-2023 годов, и что “никакой специальной подготовки” инструменты обработки языка не проходили:
“Мы не проводили никакой специальной подготовки для этих экзаменов. Меньшинство проблем на экзаменах были замечены моделью во время обучения, но мы считаем результаты репрезентативными”.
Результаты вызвали опасения и в сообществе Twitter.
Ник Алмонд, основатель FactoryDAO, 14 марта сообщил своим 14 300 подписчикам в Twitter, что GPT4 “напугает людей” и “обрушит” глобальную систему образования.
Assessment theory was a big chunk of my life for several years. I was banging on about this day coming many years ago. I literally sounded like the resident crank at the time.
But… really this means that anything but invigilated assessment is over from this point on.
— drnick 🗳️² (@DrNickA) March 14, 2023
Бывший директор Coinbase Конор Гроган сказал, что он вставил в GPT-4 смарт-контракт Ethereum в реальном времени, и чат-бот мгновенно указал на несколько “уязвимостей безопасности” и описал, как код может быть использован:
I dumped a live Ethereum contract into GPT-4.
In an instant, it highlighted a number of security vulnerabilities and pointed out surface areas where the contract could be exploited. It then verified a specific way I could exploit the contract pic.twitter.com/its5puakUW
— Conor (@jconorgrogan) March 14, 2023
Более ранние проверки смарт-контрактов на ChatGPT показали, что его первая версия также способна в достаточной степени обнаруживать ошибки в коде.
Роуэн Чунг, основатель информационного бюллетеня об искусственном интеллекте The Rundown, поделился видеозаписью того, как GPT переводит в код нарисованный от руки на листе бумаги поддельный веб-сайт.
I just watched GPT-4 turn a hand-drawn sketch into a functional website.
This is insane. pic.twitter.com/P5nSjrk7Wn
— Rowan Cheung (@rowancheung) March 14, 2023
— ПОДПИСЫВАЙТЕСЬ НА НАШ КАНАЛ В ТЕЛЕГРАМЕ @WHATTONEWS
Источник: whattonews.ru
Обсуждение: post