Skip to content

Latest commit

 

History

History
153 lines (111 loc) · 8.51 KB

a-roadmap-towards-mi.md

File metadata and controls

153 lines (111 loc) · 8.51 KB
Raw
  • Ссылка на статью: arXiv

Введение

В статье описывается дорожная карта к машинному интеллекту (МИ, по крайней мере к её составляющей).

Статья разделена на 4 части:

Описание основных характеристик машинного интеллекта:

  • коммуникация (communication),
  • обучение (learning).

Машина изучает новые понятия через коммуникацию.

Выдвигается идея, что надо декомпозировать сложную задачу, которую для нас должен решать машинный интеллект на более простые подзадачи, которые ведут к решению сложной задачи.

Предложена интерактивная среда обучения (interactive learning environment) на котором обучается и проверяется качество работы МИ.

Описаны методы, которые позволят МИ эффективно использовать интерактивную среду обучения.

Предложенный авторами подход рассмотрен в контексте прошлых и текущих подходов к разработке МИ.

1. Основные характеристики машинного интеллекта (desiderata for an intelligent machine)

В этой части рассматриваются три составляющие машинного интеллекта:

  • коммуникация (communication),
  • обучение (learning),
  • мотивация (motivation).

Коммуникация

  • происходит через естественный язык,
    • естественный язык можно использовать для передачи нелингвистической информации (например, давать команду для включения телевизора).
  • может быть рассмотрена как интерфейс между естественным языком и языком программирования (ниже будет подробнее),
  • интерактивная (задавание вопросов, уточнения, обратная связь...),
  • максимально простой интерфейс (bit-based IO channel),
  • интерфейс к машине - лингвистическое знание никак не кодируется, машина должна сама понять что делать, на основе входа и выхода.

Обучение

Адаптация к окружению путем максимизации функции мотивации.

Мотивация

Задается позитивное и негативное подкрепление, контролируется пользователем (учителем, окружением) через коммуникацию.

2. Интерактивная среда для обучения

  • Это "детский сад" для машинного интеллекта, контролируемое окружение,
  • с помощью него МИ Учиться как учИться,
  • должна быть достаточно сложной, чтобы МИ выучил сложные стратегии обучения,
  • человек не должен испытывать больших трудностей, если окажется в такой среде, даже если там будет неизвестный ему язык.

Описание экосистемы

![Ecosystem Scheme] (Towards ai scheme.png)

Начальные стадии симуляции

Ученик:

  • должен внимательно слушать учителя,
  • изучает базовые умения,
  • создаем кластеры связанных задач, организованных по уровням, так чтобы ученик мог найти для себя оптимальный путь для их изучения.
  1. Обучаем взаимодействовать с окружением.
  2. Понимаем, что состояние окружения меняется.
  3. Генерализация - понимание того, что действие может быть применено к объектам разного типа. Изучение новых стратегий.
  4. Декомпозиция высокоуровневых задач.
  5. Интерактивная коммуникация (обращение за помощью к учителю или эксперту, общение для достижения цели, решения задачи).
  6. Знание базовых алгоритмических элементов (циклы, if). Ученик может рассматриваться как нечто, что пишет программы на основе сообщений полученных от учителя. Ученик выдает инструкции, которые выполняются окружением. Т.о. можно автоматизировать написание программ.

3. На пути к разработке МИ

Виды обучения

  • различные виды поведения, которым мы хотим обучать
    • коммуникация (базовый навык),
    • чем более узкая задача ставится, тем меньше обучения требуется. В краевых случаях можно писать программу.

Долговременная память и композициональость выученных навыков

  • храним факты и алгоритмы относящиеся к выученному навыку,
  • композиция имеющихся навыков для решения задачи,
    • берем имеющиеся навыки,
    • формируем план (прям как в постгрес),
    • выполняем, ... PROFIT.

Вычислительные особенности МИ

  • не нужно строить МИ на базе Машины Тьюринга,
  • существует много Тьюринг-полных вычислительных систем (какую выбрать?).

4. Связанные идеи

Тьюринг (1950)

  • создаем child-машину, которую учим через communication channel,
  • предполагал, что машина будет запрограммирована людьми (60 прогеров на 50 лет),
  • Игра в имитацию.

The Blocks world of Winograd (1971) - идея о AI находящимся в синтетическом окружении коммуницирующим через естественный язык.

Далее описываются статьи про помощников типа Siri, про мультиагентные системы, про semantic parsing, про статьи на тему "learning to learn".

Ring (1997) desiderata к AI:

  • автономный агент,
  • сенсорный,
  • производит действия,
  • отвечает на подкрепление (вознаграждение, reward) от окружения,
  • обучается (поведение и навыки) во время решения задачи,
  • обучается инкрементально,
  • нет фиксированной обучающей выборки,
  • обучение происходит на каждом шаге,
  • обучается иерархически,
  • навыки могут быть изменены,
  • черный ящик,
  • внутренности агента не обязаны быть нам понятны и изменяемы нами,
  • поведение агента строится через обучение, а не манипуляцию,
  • имеет доступ к миру через сенсоры, действия и подкрепление,
  • нет ultimate final task.

Пример взаимодействия учителя, среды и ученика

![Example of interaction] (example.png)