Кирилл Онацик
Deecrypto & AiA

Что происходило с искусственным интеллектом в прошлом году, и что может произойти в этом

Что происходило с искусственным интеллектом в прошлом году, и что может произойти в этом

В последние несколько лет мечты людей, заинтересованных в сфере искусственного интеллекта, начали стремительно сбываться. Эти технологии из подполья вышли в реальный мир. И совсем скоро они повлияют на жизни миллионов людей по всей планете. Сейчас в некоторых странах даже существуют министры по искусственному интеллекту. Кроме того, самые прогрессивные государства выделяют средства для того, чтобы их ученые могли успешно конкурировать в гонке разработок.

Более того, данные постоянно обновляются. Несколько лет назад специалист мог обладать знанием и умением пользоваться лишь несколькими инструментами и методами. Но теперь эта информация становится неактуальной. Искусственный интеллект растет так же стремительно, как и программирование.

Поэтому предлагаем вам вспомнить, что происходило в 2018 году в сфере искусственного интеллекта. Также мы сделаем небольшой прогноз, касающийся развития ключевых областей этой сферы. Итак, на связи редакция AiA, и мы начинаем!

Области, которые будут рассмотрены в этом материале:

  • NLP (обработка естественного языка);
  • компьютерное зрение;
  • инструменты и библиотеки;
  • обучение с подкреплением;
  • как искусственный интеллект поможет человечеству.

Обработка естественного языка или NLP

Раньше заставить машину обрабатывать слова и предложения было чем-то нереальным. Во многих языках слишком много нюансов и аспектов, которые иногда не могут понять сами люди. Однако 2018 год показал, что эта технология имеет все возможности для развития.

В прошлом году мы стали свидетелями великолепнейшего прорыва проектов ULMFiT, ELMo, OpenAI Transformer, Google BERT и т.д. Также было применено трансферное обучение, и, отметим, что довольно успешно. Оно оказалось полезным для технологии обработки естественного языка.

Итак, давайте рассмотрим каждый проект поподробнее.

ULMFiT

Начнем с ULMFiT, который был разработан усилиями Себастьяна Рудера и Джереми Ховарда, работающих на компанию fast.ai. ULMFiT является первой платформой, начавшей развитие NLP в 2018 году. Джереми и Себастьян оправдали слово «универсальный» в аббревиатуре ULMFiT, обеспечив возможность для применения во всех задачах, связанных с NLP.

Лучшая сторона ULMFiT и её подражателей таится в том, что не нужно заниматься тренировкой моделей с нуля. Потому что эти исследователи поработали на славу. По официальным данным – платформа ULMFiT смогла превзойти все шесть современных методов классификации текста.

ELMo

ELMo – это сокращение от «векторного представления языковых моделей». Этот проект моментально обрел популярность и признание среди представителей сообщества машинного обучения.

ELMo применяет языковые модели, чтобы получить векторное представление для каждого слова. Также этот проект умеет определять контекст, в котором слово вписывается в текст. Контекст – важнейший аспект для NLP, который обеспечит понимание недоступных ранее фраз и предложений. ELMo использует двунаправленную долгую краткосрочную память, чтобы создать векторное представление слов.

По аналогии с ULMFiT, ELMo может в значительной мере повысить производительность при решении широчайшего спектра задач NLP, таких, как например определение эмоциональной окраски текста.

BERT от Google

Топовые эксперты сходятся во мнении, что запуск BERT является ознаменованием новой эры в сфере NLP. После малопроизводительных ULMFiT и ELMo проект BERT стал глотком свежего воздуха и невероятной производительности.

Компания смогла достичь самых высоких результатов при решении 11 задач NLP, заняв первое место в списке SQuAD. Чтобы достичь тех же результатов на своем компьютере, достаточно воспользоваться реализацией на PyTorch или применить собственный код Google TensorFlow.

Facebook PyText

У одной из крупнейших компаний этого мира, Facebook, есть собственная среда глубокого обучения NLP, которая получила название PyText. Запущен проект был совсем недавно, поэтому судить о нем рано. Однако по данным исследователей, которые были опубликованы в Facebook, PyText смог увеличить точность разговорных моделей на 10%, а также сократить время обучения. PyText стоит за несколькими продуктами Facebook, например, FB Messenger.

Google Duplex

Что?! Вы не слышали о Goolge Duplex? Где же вас носило? Сундар Пичаи прохайпил свою технологию при помощи этой демонстрации и стал героем новостных заголовков.

Этот проект разрабатывается в недрах компании Google, а значит, вероятность опенсорс модели – минимальна. Это достаточно крутое приложение для обработки аудио. Конечно, скептики уже задались вопросами о том, как оно может повлиять на конфиденциальность, но остальным мы рекомендуем просто наслаждаться тем, как машинное обучение сумело продвинуться за последние годы.

Что будет происходить с NLP в 2019 году?

Себастьян Рудер рассказал о том, что будет происходить с NLP в текущем году:

  • внедрение предварительно обученных языковых моделей станет повсеместным явлением;
  • мы сможем увидеть предварительно обученные векторные представления моделей, которые способны работать со специализированной информацией, дополняющей языковые модели. Мы сумеем объединить различные типы предварительно обученных представлений в зависимости от задачи;
  • 2019 год станет годом работы над мультиязычными приложениями.

Компьютерное зрение

Эта область является самой популярной в сфере глубокого обучения. Сейчас существует множество фреймворков и библиотек, которые упрощают работу компьютерного зрения и значительно ускоряют её.

Специалисты из Analytics Vidhya потратили много времени, чтобы демократизировать свои наработки. Ниже мы подобрали лучшие разработки в области компьютерного зрения 2018 года.

BigGANs

Ян Гудфеллоу создал GAN в 2014 году, и с того времени его концепция смогла породить множество различных последователей. Из года в год мы можем видеть, как его концепция дорабатывается и становится все более пригодной для применения на практике. Единственная проблема, которая не переставала тревожить сообщество – это то, что изображения, созданные искусственным интеллектом было довольно легко опознать. Главной причиной этому являлось несовершенство создаваемых машиной изображений. Но BigGANs рушит и эту границу. Ниже мы прикрепили изображения, которые были созданы искусственным интеллектом. Попробуйте найти в них что-то странное, думаю, у вас не выйдет.

BigGANs тренировалась на данных из ImageNet, после чего перешла на JFT-300M. Таким образом исследователи поняли, что модели могут использовать разные источники данных и чередовать их.

Модель Fast.ai может изучить ImageNet за 18 минут

В сообществе распространилось мнение о том, что для глубокого обучения вам потребуется огромнейший набор данных и не менее существенные вычислительные ресурсы. Это же относилось к обучению модели с нуля при помощи данных с ImageNet. Однако fast.ai смогли доказать, что невозможное возможно. Эти специалисты показали 93% точность, достигнутую за 18 минут обучения. Для их эксперимента использовались 16 общедоступных серверов AWS, каждый из которых обладал 8 графическими процессорами NVIDIA V100.

Построен столь продуктивный алгоритм был с помощью библиотек fast.ai и PyTorch. Стоимость их эксперимента составила $40.

vid2vid от NVIDIA

За последние несколько лет обработка изображений кардинально изменилась. Однако, кроме фото-контента, существует и видео-контент. Перевод методов из статичного изображения в динамичное стало более сложной задачей, чем ожидалось. Возможно ли смотреть видео последовательно, после чего предсказать то, что произойдет в следующем кадре? Вряд ли. Исследования на эту тему проводились, но в лучшем случае они были расплывчатыми.

NVIDIA решила создать свой подход в начале 2018 года, и то, что вышло, получило признание общественности. Цель vid2vid заключается в том, чтобы изучить функцию отображения из заданного исходного видео для того, чтобы создать видео, отображающие содержимое исходного видео с невероятной точностью.

Что будет происходить с компьютерным зрением в 2019 году

Дроны, что ожидают одобрения со стороны властей, смогут наконец-то появиться в США. Эксперты желают, чтобы исследования проводились на реальных примерах. Такие конференции, как CVPR и ICML, отражают последние достижения в данной области, но насколько они приближены к реальности?

Возможно, что скоро появятся визуальные диалоговые системы и визуальные ответы на вопросы.

Самостоятельно обучение вышло на первый план в 2018 году, но настоящий рост стоит ожидать только в 2019 году.

Инструменты и библиотеки

Эта часть текста должна понравиться специалистам в науке о данных. Инструменты и библиотеки являются любимой темой для специалистов. Многие спорят об инструментах, полезности определенных библиотек и т.д. Всё это субъективно.

Но одно ясно точно – мы должны быть в курсе всех последних событий индустрии, чтобы не отставать от других стран. Вот, например, язык программирования Python сумел обогнать все остальные языки и занял лидирующую позицию в этой отрасли. Конечно, многие факторы здесь субъективны. Однако, не стоит гнуть свою линию, чтобы выделиться. Нужно соответствовать всем современным стандартам. Итак, какие библиотеки и инструменты особенно выделились в этом году? Давайте разбираться.

PyTorch 1.0

Фэзан Шайк знает, почему технология PyTorch стала настолько популярной. И ниже он поделился своим мнением о ней.

Первое и самое очевидное – PyTorch 1.0 является наиболее гибкой технологией и позволяет создавать на своей основе множество концепций и программ. Актуальная на сегодняшний день версия обладает поддержкой многих продуктов и сервисов, разработанных компанией Facebook. Сейчас эта технология способна переводить 6 млрд. текстов в сутки. Популярность PyTorch в текущем году будет только расти, поэтому стоит взять себе на заметку эту технологию.

AutoML

Автоматизированное машинное обучение завоевывает популярность на протяжении последних нескольких лет. Такие компании, как RapidMiner, KNIME, DataRobot и H2O.ai запустили отличные продукты, которые демонстрируют перспективы автоматизированного машинного обучения.

Представьте, что вы работаете над проектом, основанном на машинном обучении и вам больше не нужно писать код. Для полноценной работы понадобится только интерфейс. Работа с интерфейсом, заместо кодинга уже близко. Но помимо этих разработок, в машинном и глубоком обучении появилась библиотека Auto Keras.

Auto Keras – это библиотека с открытым исходным кодом, которая предназначена для выполнения задач автоматизированного машинного обучения. Основная идея заключается в том, чтобы сделать глубокое обучение доступным для тех, кто не умеет в код.

TensorFlow.js

Как вам идея глубокого обучения в веб-браузере? Сейчас это стало возможным, благодаря появлению TensorFlow.js. Вот некоторые преимущества и особые возможности TensorFlow.js:

  • разработка и внедрение моделей машинного обучения на JavaScript;
  • запуск существующих моделей TensorFlow в браузере;
  • восстановление существующих моделей.

Что будет происходить с автоматизированным машинным обучением в 2019 году?

Автоматизированное машинное обучение изменит представление о науке о данных. Поэтому его так много здесь. Вот, что об этом думает Марио Михайлидис, который представляет H2O.ai:

Машинное обучение станет важнейшей технологией будущего. В сторону этой технологии движется весь мир. Такая возможность сможет увеличить спрос на специализированные приложения в этой сфере. Главное, чтобы автоматизация стала ключом к максимально продуктивному использованию ресурсов и улучшению науки о данных.

Итак, что сможет сделать автоматизированное машинное обучение для нас с вами:

  • обеспечить интуитивно понятную визуализацию данных;
  • найти, создать и выбрать лучшее применение для определенного набора данных;
  • преодолеть разрыв между моделированием черных ящиков и их производством при помощи интерпретации машинного обучения;
  • создать более продуктивные и умные модели.
  • облегчить создание таких моделей.

Обучение с подкреплением

Хочется, чтобы обучение с подкреплением развивалось в более стремительных темпах. Кроме редких заголовков, которые мы наблюдаем нерегулярно, ничего инновационного, что изменило бы всю сферу – не произошло. Во всем виноваты трудность восприятия математики и отсутствие реальных специализированных приложений.

Надеемся, что в 2019 году мы увидим больше примеров, когда обучение с подкреплением используется на практике.

Разработчики OpenAI создали действительно полезный набор инструментов, который точно поможет новичкам в этой сфере.

OpenAI и глубокое обучение с подкреплением

Исследования в сфере обучения с подкреплениями происходят очень медленно, а объем образовательных данных здесь и вовсе минимален.

Сейчас существует небольшое количество материалов, включающее в себя терминологию обучения с подкреплением, важные статьи и неплохой репозиторий кода. Также есть несколько упражнений, помогающие начать работать в этой сфере.

Dopamine от Google

Для того, чтобы ускорить исследования и привлечь ещё больше людей к обучению с подкреплением, ребята из Google открыли Dopamine, который обладает открытым исходным кодом. Dopamine является фреймворком для TensorFlow, который должен упростить и сделать исследования более гибкими и воспроизводимыми.

Что будет происходить в обучении с подкреплением в 2019 году

Ксандер Стинбрюгге спикер DataHack Summit 2018 и по совместительству владелец канала ArxivInsights является экспертом в этой сфере. Вот, что он говорит о происходящем в обучении с подкреплением.

У этой сферы есть три основные проблемы. Сложность выборки, обобщенное обучение (учишься на одном, а работаешь на другом), иерархия целей. Первые две проблемы могут быть решены при помощи методов, которые связаны с обучением неконтролируемой репрезентации. Сейчас при помощи обучения с подкреплением обучаются глубокие нейронные сети, которые могут сопоставлять необработанные пространства ввода со сквозной обработкой.

  • Довольно много времени понадобится на создание полезных функций. Обучение с подкреплением начинается со случайных действий до того, как оно не получит вознаграждение. Далее нужно выяснить, что именно стало причиной получения вознаграждения. Дальнейшие исследования загоняются в жесткие рамки или наоборот продолжаются только из любопытства, что приводит к первой проблеме.
  • Глубокие нейронные сети склонны к переоснащению, и в обучении с подкреплениям постоянно проверяют агентов на данные, которые могут использоваться для обучения. Переоснащение, довольно часто, вознаграждается.

Ксандер Стинбрюгге заинтересован в том, чтобы применять неконтролируемое обучение для преобразования пикселей из многомерного в низкоразмерное концептуальное пространство, которое будет иметь определенные свойства, по типу линейности, развертывания, устойчивости к помехам.

После того, как это будет сделано обучение резко станет более простым и быстрым.

Гораздо легче применить сложную иерархическую задачу в скрытом пространстве, чем в необработанном входном пространстве.

  • Сложность выборки продолжит улучшаться за счет добавления большего количества вспомогательных учебных задач, которые будут вознаграждаться. Особенно хорошо это будет работать в случаях редких вознаграждений.
  • Из-за этого системы обучения станут более доступными и осуществимыми. Он считает, что в 2019 году будет показано много робототехнических новинок, которые будут возможны благодаря глубокому обучению и не могут быть загнаны в рамки или полностью созданы человеком.
  • После колоссального успеха глубокого обучения с подкреплением в AlphaGo, эти системы доказали свою продуктивность в реальных бизнес-решениях. Изначально всё будет зациклено на приложениях, в которых будут установлены точные системы для массового обучения агентов.

Искусственный интеллект и благие намерения

Представьте, что мы стали рабами алгоритмов. Не очень радужная перспектива. Этика в искусственном интеллекте постоянно продвигается компанией Analytics Vidhya.

Многие компании не стали вмешиваться в относительно недавний скандал Facebook и Cambridge Analytica. Однако это стало причиной разработки уставов и руководящих принципов, которым следуют компании, становясь только лучше.

Сейчас нет ни одного готового решения, которое способно искоренить этические проблемы искусственного интеллекта. Для этого требуется детальный подход, который, в сочетании со структурированным списком целей сможет решить эту проблему. Итак, давайте рассмотрим основные и самые важные моменты этой сферы.

Действия от Google и Microsoft

Было довольно круто осознавать то, что крупные компании начали двигаться в сторону искусственного интеллекта. Особое внимание нужно обратить на принципы, которыми руководствуются эти компании. Всё, что происходит сейчас говорит о справедливом отношении к искусственному интеллекту и контроле за происходящем.

Влияние GDPR

GDPR, или Общее положение о защите данных, несомненно, повлияло на то, как собираются данные для создания приложений, работающих на искусственном интеллекте. GDRP обеспечивает пользователям наибольший контроль над своими данными.

Если данных будет недостаточно, то создание любой модели искусственного интеллекта станет практически невозможным. GDPR уменьшил показатель полезности искусственного интеллекта для огромного количества платформ.

Этические тенденции искусственного интеллекта, которые ожидаются в 2019 году

Единых решений здесь не существует. Сообщество должно объединиться, чтобы внедрять этические нормы в проекты, управляемые искусственном интеллектом. CEO Analytics Vidhya Кунал Джейн сообщил, что нужно создать концепцию, которая станет примером для других.

Лучшие корпоративные практики должны будут провести реструктуризацию, а подходы к управлению должны быть пересмотрены, ведь искусственный интеллект уже находится в центре внимания. Он надеется, что инновационные разработки будут поддерживаться правительством.

Резюме

События, которые произошли с искусственным интеллектом в 2018 году являются очень важными. И, возможно, что 2019 год принесет нам еще больше значимых событий, которые полностью изменят представление об этой замечательной технологии.