Машинное обучение

Материал из Википедии — свободной энциклопедии

Машинное обучение (англ. Machine Learning) — обширный подраздел искусственного интеллекта, изучающий методы построения алгоритмов, способных обучаться. Различают два типа обучения. Обучение по прецедентам или индуктивное обучение основано на выявлении закономерностей в эмпирических данных. Дедуктивное обучение предполагает формализацию знаний экспертов и их перенос в компьютер в виде базы знаний. Дедуктивное обучение принято относить к области экспертных систем, поэтому термины машинное обучение и обучение по прецедентам можно считать синонимами.

Машинное обучение находится на стыке математической статистики, методов оптимизации и дискретного анализа, но имеет также и собственную специфику, связанную с проблемами вычислительной эффективности и переобучения. Многие методы индуктивного обучения разрабатывались как альтернатива классическим статистическим подходам. Многие методы тесно связаны с извлечением информации (Data Mining).

Содержание 1 Приложения 2 Общая постановка задачи обучения по прецедентам 3 Типология задач обучения по прецедентам 3.1 Типы входных данных 3.2 Типы выходных данных 3.3 Типы функционалов качества 3.4 Методы решения 4 Использованная литература 5 Внешние ссылки 5.1 Ресурсы 5.2 Журналы 5.3 Конференции 5.4 Российские исследовательские группы и коммерческие фирмы 6 Категории

[править] Приложения

Целью машинного обучения является частичная или полная автоматизация решения сложных профессиональных задач в самых разных областях человеческой деятельности.

Машинное обучение имеет широкий спектр приложений:

• Распознавание речи
• Распознавание изображений
• Распознавание рукописного ввода
• Техническая диагностика
• Медицинская диагностика
• Прогнозирование временных рядов
• Биоинформатика
• Обнаружение мошенничества
• Обнаружение спама
• Категоризация документов
• Биржевой технический анализ
• Финансовый надзор
• Кредитный скоринг
• Предсказание ухода клиентов

Сфера применений машинного обучения постоянно расширяется. Повсеместная информатизация приводит к накоплению оргомных объёмов данных в науке, производстве, бизнесе, транспорте, здравоохранении. Возникающие при этом задачи прогнозирования, управления и принятия решений часто сводятся к обучению по прецедентам. Раньше, когда таких данных не было, эти задачи либо вообще не ставились, либо решались совершенно другими методами.

[править] Общая постановка задачи обучения по прецедентам

Имеется множество объектов (ситуаций) и множество возможных ответов (откликов, реакций). Существует некоторая зависимость между ответами и объектами, но она не известна. Известна только конечная совокупность прецедентов — пар «объект, ответ», называемая обучающей выборкой. На основе этих данных требуется восстановить зависимость, то есть построить алгоритм, способный для любого объекта выдать достаточно точный ответ. Для измерения точности ответов определённым образом вводится функционал качества.

Данная постановка является обобщением классических задач аппроксимации функций. В классических задачах аппроксимации объектами являются действительные числа или векторы. В реальных прикладных задачах входные данные об объектах могуть быть неполными, неточными, нечисловыми, разнородными. Эти особенности приводят к большому разнообразию методов машинного обучения.

[править] Типология задач обучения по прецедентам

[править] Типы входных данных

• Признаковое описание объектов — наиболее распространённый случай.
• Описание взаимоотношений между объектами, чаще всего отношения попарного сходства.
• Временной ряд или сигнал.
• Изображение или видеоряд.

[править] Типы выходных данных

• Классификация — множество возможных ответов конечно.
• Кластеризация — множество возможных ответов конечно, но не известно.
• Регрессия — ответы являются действительными числами или векторами.

[править] Типы функционалов качества

• Обучение с учителем — наиболее распространённый случай. Для каждого прецедента задаётся и объект, и ответ. Функционал качества определяется как средняя ошибка ответов. Предполагается, что искомый алгоритм должен его минимизировать.
• Обучение без учителя, в частности, кластеризация. Для каждого прецедента задаётся только объект. Требуется сгруппировать объекты в кластеры, используя данные о попарном сходстве объектов. Функционалы качества могут определяться по-разному, например, как отношение средних межкластерных и внутрикластерных расстояний.
• Обучение с подкреплением. Роль объектов играют пары «ситуация, принятое решение», ответами являются значения функционала качества, характеризующего правильность принятых решений (реакцию среды). Данный подход используется при самообучении роботов.
• Активное обучение отличается тем, что обучаемый алгоритм имеет возможность самостоятельно назначать следующий объект, на котором станет известен верный ответ. См. также Планирование экспериментов.

[править] Методы решения

• Байесовский классификатор:
  • линейный дискриминант;
  • непараметрическое восстановление плотности;
  • разделение смеси вероятностных распределений;
  • метод потенциальных функций;
  • метод ближайших соседей.

• Байесовская сеть.

• Кластеризация:
  • иерархическая кластеризация.

• Регрессия:
  • линейная регрессия;
  • нелинейная регрессия;
  • векторная регрессия;
  • логистическая регрессия.

• Нейронная сеть:
  • персептрон;
  • многослойный персептрон;
  • самоорганизующаяся сеть Кохонена;
  • гибридная сеть встречного распространения;
  • машина опорных векторов.

• Индукция правил:
  • решающее дерево;
  • решающий список;
  • решающий лес;
  • тестовый алгоритм;
  • алгоритм вычисления оценок.

• Алгоритмическая композиция:
  • взвешенное голосование;
  • бустинг;
  • бэггинг;
  • метод комитетов;
  • смесь экспертов.

• Сокращение размерности:
  • селекция признаков = отбор признаков;
  • метод главных компонент;
  • метод независимых компонент;
  • многомерное шкалирование.

• Выбор модели:
  • минимизация эмпирического риска;
  • структурная минимизация риска;
  • минимум длины описания;
  • критерий Акаике = AIC;
  • байесовский информационный критерий = BIC;
  • скользящий контроль;
  • извлечение признаков;
  • метод группового учёта аргументов = МГУА = самоорганизация моделей;
  • случайный поиск с адаптацией;
  • генетический алгоритм.

[править] Использованная литература

1. Айвазян С. А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: основы моделирования и первичная обработка данных. — М.: Финансы и статистика, 1983.
2. Айвазян С. А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: исследование зависимостей. — М.: Финансы и статистика, 1985.
3. Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: классификация и снижение размерности. — М.: Финансы и статистика, 1989.
4. Вапник В. Н. Восстановление зависимостей по эмпирическим данным. — М.: Наука, 1979.
5. Журавлев Ю. И., Рязанов В. В., Сенько О. В. «Распознавание». Математические методы. Программная система. Практические применения. — М.: Фазис, 2006. ISBN 5-7036-0108-8.
6. Загоруйко Н. Г. Прикладные методы анализа данных и знаний. — Новосибирск: ИМ СО РАН, 1999. ISBN 5-86134-060-9.
7. Шлезингер М., Главач В. Десять лекций по статистическому и структурному распознаванию. — Киев: Наукова думка, 2004. ISBN 966-00-0341-2.
8. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. — Springer, 2001. ISBN 0-387-95284-5.
9. Mitchell T. Machine Learning. — McGraw-Hill Science/Engineering/Math, 1997. ISBN 0-07-042807-7.

[править] Внешние ссылки

[править] Ресурсы

• Распознавание, классификация, прогноз
• Воронцов К. В. Математические методы обучения по прецедентам. Курс лекций. МФТИ. 2006.

[править] Журналы

• Pattern Recognition and Image Analysis

[править] Конференции

• ММРО — Математические методы распознавания образов
• РОАИ — Распознавание образов и анализ изображений
• ИОИ — Интеллектуализация обработки информации

[править] Российские исследовательские группы и коммерческие фирмы

• Лаборатория распознавания образов (московский Центр непрерывного математического образования).
• ABBYY — один из ведущих мировых разработчиков ПО в области распознавания документов (OCR), ввода форм (ICR) и прикладной лингвистики.
• BaseGroup — добыча данных, анализ и прогнозирование, создание прикладных аналитических систем (Рязань).
• Forecsys — интеллектуальный анализ данных, прогнозирование продаж, кредитный скоринг, распознавание образов.
• Megaputer — разработка и производство аналитических систем для углубленного анализа числовых и текстовых баз данных.
• NeurOK — анализ данных и управление знаниями.
• SnowCactus — Аналитические технологии для бизнеса.
• Solutions — Центр технологий анализа данных и прогнозирования (Долгопрудный).
• ZSoft — Проектирование, разработка и внедрение информационно-аналитических систем (Санкт-Петербург).

[править] Категории