Искусственный интеллект не прошел тест на здравый смысл
Несколько недель назад в Нью-Йорке прошла Международная конференция по искусственному интеллекту, во время которой компьютерные программы впервые проходили тест Winograd Schema Challenge. Он является альтернативой тесту Тьюринга, в эффективности которого ученые все чаще сомневаются в последнее время, сообщает IEEE Spectrum.
Тест разработал в 2011 году профессор информатики Университета Торонто Гектор Левески. Для этого он использовал идеи американского профессора Терри Винограда, который занимался принципами построения системы искусственного интеллекта для распознавания естественной речи.
Так, в нем используют простые вопросы с двумя вариантами ответа, один из которых – правильный. Обычно они касаются местоимений. Например: “Городские власти отказались выдать демонстрантам разрешение, ведь они боялись/пропагандировали насилие. Кто боялся/пропагандировал насилие?” При смене глагола меняется и существительное, которое местоимение заменяет. Однако человеку понять смысл предложения и дать ответ не составит труда.
Всего в конкурсе приняли участие 6 программ. В лидерах оказался алгоритм Никоса Иссака из Открытого университета Кипра. Он смог набрать 58% совпадений, однако этого оказалось недостаточно для получения денежного приза в размере $25 тыс. Для этого показатель должен был составлять хотя бы 90%. И хотя в тестировании не принимали участие разработки таких гигантов, как Google или Facebook, эксперты не уверены, что они смогли бы показать лучшие результаты.
По словам одного из организаторов конкурса и директора Лаборатория искусственного интеллекта и обработки естественного языка в Nuance Communications Чарли Ортиса, этот конкурс показал, в каких направлениях ученым стоит исследовать искусственный интеллект и работать над новыми способами оценки прогресса в этой сфере. Следующий тест Винограда состоится в феврале 2018 года в Новом Орлеане.
