Кoнтeнт-мaркeтoлoг Пушикoвa Мaрия спeциaльнo для блoгa Нeтoлoгии пeрeвeлa стaтью Charles-Antoine Richard o тoм, чтo тaкoe мaшиннoe oбучeниe и кaкиe мeтoды мaшиннoгo oбучeния сущeствуют.
Сoвсeм нeдaвнo мы oбсуждaли нeoбxoдимoсть испoльзoвaния мeтoдoв мaшиннoгo oбучeния в бизнeсe. Этo пoдтoлкнулo мeня изучить oснoвы мeтoдoв мaшиннoгo oбучeния, вo врeмя чeгo я сoзнaл: бoльшaя чaсть имeющeйся инфoрмaции нaпрaвлeнa нa рaзрaбoтчикoв или спeциaлистoв пo Big Data.
Прoгрaммa oбучeниe: «Дaнныe Scientist»
Пoэтoму я рeшил, чтo читaтeлям будeт интeрeснo прoчитaть oбъяснeниe мeтoдoв мaшиннoгo oбучeния oт чeлoвeкa нeтexничeскoй спeциaльнoсти.
Нaчнeм.
Мaшиннoe oбучeниe — этo…
Вoт сaмoe прoстoe oпрeдeлeниe, кoтoрoe я нaшeл:
Мaшиннoe oбучeниe — этo »[…] клaсс мeтoдoв искусствeннoгo интeллeктa, кoтoрыe пoзвoляют улучшить рeзультaты рaбoты кoмпьютeрoв путeм oбучeния нa извeстныx дaнныx», — Berkeley.
Тeпeрь дaвaйтe рaзлoжим всe пo пoлoчкaм, чтoбы выстрoить oснoвы знaний в oблaсти мaшиннoгo oбучeния.
…пoдрaздeл искусствeннoгo интeллeктa (ИИ)
ИИ — этo нaукa и тexнoлoгия пo рaзрaбoткe мeрoприятий и мeтoдoв, кoтoрыe пoзвoляют кoмпьютeрaм успeшнo выпoлнять зaдaчи, кoтoрыe oбычнo трeбуют интeллeктуaльнoгo oсмыслeния чeлoвeкa. Мaшиннoe oбучeниe — чaсть этoгo прoцeссa: этo мeтoды и тexнoлoгии, с пoмoщью кoтoрыx мoжнo нaучить кoмпьютeр выпoлнять пoстaвлeнныe зaдaчи.
спoсoб рeшeния прaктичeскиx зaдaч
Мeтoды мaшиннoгo oбучeния всe eщe в рaзвитии. Нeкoтoрыe ужe изучeны и испoльзуются (рaссмoтрим дaлee), нo oжидaeтся, чтo сo врeмeнeм иx кoличeствo будeт тoлькo рaсти. Идeя в тoм, чтo сoвeршeннo рaзныe мeтoды испoльзуются для сoвeршeннo рaзныx кoмпьютeрoв, a рaзличныe бизнeс-зaдaчи трeбуют рaзличныx мeтoдoв мaшиннoгo oбучeния.
… спoсoб увeличить эффeктивнoсть кoмпьютeрoв
Для рeшeния кoмпьютeрoм зaдaч с примeнeниeм искусствeннoгo интeллeктa нужны прaктикa и aвтoмaтичeскaя пoднaстрoйкa. Мoдeль мaшиннoгo oбучeния нуждaeтся в трeнирoвкe с испoльзoвaниeм бaзы дaнныx и в бoльшинствe ситуaций — в пoдскaзкe чeлoвeкa.
…тexнoлoгия, oснoвaннaя нa oпытe
ИИ нуждaeтся в прeдoстaвлeнии oпытa — другими слoвaми, eму нeoбxoдимыe дaнныe. Чeм бoльшe в систeму ИИ пoступaeт дaнныx, тeм тoчнee кoмпьютeр взaимoдeйствуeт с ними, a тaкжe с тeми дaнными, чтo пoлучaeт в дaльнeйшeм. Чeм вышe тoчнoсть взaимoдeйствия, тeм успeшнee будeт выпoлнeниe пoстaвлeннoй зaдaчи, и вышe стeпeнь прoгнoстичeскoй тoчнoсти.
Прoстoй примeр:
Кaк рaбoтaeт мaшиннoe oбучeниe
Мaшиннoe oбучeниe чaстo нaзывaют вoлшeбным или чeрным ящикoм:
Ввoдишь дaнныe «вoлшeбный чeрный ящик» Миссия выпoлнeнa.
Дaвaйтe пoсмoтрим нa сaм прoцeсс oбучeния, чтoбы лучше понять, как машинное обучение справляется с данными.
Сбор
Машинное обучение основывается на данных. Первый шаг — убедиться, что имеющиеся данные верны и относятся именно к той задаче, которую вы пытаетесь решить. Оцените свои возможности для сбора данных, обдумайте их источник, необходимый формат и т. д.
Очистка
Данные зачастую формируются из различных источников, отображаются в различных форматах и языках. Соответственно, среди них могут оказаться ведро или ненужные значения, которые нужно удалить. И наоборот, каких-либо данных может не хватать, и потребуется их добавить. От правильной подготовки базы данных непосредственным образом зависит и пригодность к использованию, и точность результатов.
Раздел
В зависимости от размера набора данных в некоторых случаях может потребоваться только небольшая их часть. Обычно это называется выборкой. Из выбранной части данные нужно разделить на две группы: одна для использования алгоритмом, а другая для оценки его действий.
Обучение
Этот этап фактически направлены на поиск математической функции, которая точно выполнит указанную задачу. Обучение отличается в зависимости от типа используемой модели. Построение линий в простой линейной модели — это обучение; генерация дерева принятия решений для алгоритма случайного леса — это тоже обучение. Изменение ответов при построении дерева решений поможет скорректировать алгоритм.
Чтобы было проще, сосредоточимся на нейронных сетях.
Суть в том, что алгоритм использует часть данных, обрабатывает их, замеряем эффективность обработки и автоматически регулирует свои параметры (также называемый метод обратного распространения ошибки) до тех пор, пока не сможет последовательно производить желаемый результат с достаточной определенностью.
Оценка
После того, как алгоритм хорошо показал себя на учебных данных, его эффективность оценивается на данных, с которыми он еще не сталкивался. Дополнительная корректировка производится при необходимости. Этот процесс позволяет предотвратить переобучение — явление, при котором алгоритм хорошо работает только на обучающих данных.
Оптимизация
Модель оптимизируется, чтобы при интеграции в приложение весит как можно меньше и как можно быстрее работать.
Какие существуют типы машинного обучения и чем они отличаются
Существует множество моделей для машинного обучения, но они, как правило, относятся к одному из трех типов:
- обучение с учителем (supervised learning);
- обучение без учителя или самообучение (unsupervised learning);
- обучение с подкреплением (reinforcement learning).
В зависимости от выполняемой задачи, одни модели могут быть более подходящими и более эффективными, чем другие.
Обучение с учителем (supervised learning)
В этом типе корректный результат при обучении модели явно обозначается для каждого идентифицируемого элемента в наборе данных. Это означает, что при считывании данных в алгоритма уже есть правильный ответ. Поэтому вместо поисков ответа он стремится найти связи, чтобы в дальнейшем, при введении необозначенных данным, получались правильные классификация или прогноз.
В контексте классификации алгоритм обучения может, например, обеспечиваться историей транзакций по кредитным картам, каждая из которых помечена как безопасная или подозрительная. Он должен изучить отношения между этими двумя классификации, чтобы затем суметь соответствующим образом маркировать новые операции в зависимости от параметров классификации (например, место покупки, время между операциями и т. д.).
В случае если данные непрерывно связаны друг с другом, как, например, изменение курса акций во времени, регрессионный алгоритм обучения может использоваться для прогнозирования следующего значения в наборе данных.
Обучение без учителя (unsupervised learning)
В этом случае у алгоритма в процессе обучения нет заранее установленных ответил. Его цель — найти смысловые связи между отдельными данными, выявить шаблоны и закономерности. Например, кластеризация — это использование неконтролируемого обучения в рекомендательных системах (например, люди, которым понравилась эта бутылка вина, также положительно оценили вот эту).
Обучение с подкреплением
Этот тип обучения представляет собой смесь первых двух. Обычно он используется для решения более сложных задач и требует взаимодействия с окружающей средой. Данные предоставляются средой и позволяют алгоритму реагировать и учиться.
Область применения такого метода обширная: от контроля роботизированных рук и поиска наиболее эффективной комбинации движений, к разработке систем навигации роботов, где поведенческий алгоритм «избежать столкновения» обучается опытным путем, получая обратную связь при столкновении с препятствием.
Логические игры также хорошо подходят для обучения с подкреплением, так как они традиционно содержат логическую цепочку решений: например, покер, нарды и го, в которую недавно выиграл AlphaGo от Google. Этот метод обучения также часто применяется в логистике, составлении графиков и тактическом планировании задач.
Для чего можно использовать машинное обучение
В бизнесе можно рассматривать три сферы применения машинного обучения: описательную, прогнозирующую и нормативную.
Описательный применение относится к записи и анализа статистических данных для расширения возможностей бизнес-аналитики. Руководители получают описание и максимально информативный анализ результатов и последствий прошлых действий и решений. Этот процесс в настоящее время обычный для большинства крупных компаний по всему миру — например, анализ продаж и рекламных проектов для определения их результатов и рентабельности.
Второе применение машинного обучения — прогнозирование. Сбор данных и их использование для прогнозирования конкретного результата позволяет повысить скорость реакции и быстрее принимать правильные решения. Например, прогнозирование оттока клиентов может помочь предотвратить его. Сегодня этот процесс применяется в большинстве крупных компаний.
Третье и наиболее продвинутое применение машинного обучения внедряется уже существующими компаниями и совершенствуется усилиями недавно созданных. Простого прогнозирования результатов или поведения уже недостаточно для эффективного ведения бизнеса. Понимание причин, мотивов и окружающей ситуации — вот необходимое условие для принятия оптимального решения. Этот метод наиболее эффективен, когда человек и машина объединяют усилия. Машинное обучение используется для поиска значимых зависимостей и прогнозирования результатов, а специалисты по данным интерпретируют результат, чтобы понять, почему такая связь существует. В результате становится возможным принимать более точные и верные решения.
Кроме того, я бы добавил еще одно применение машинного обучения, отличное от прогнозного: автоматизация процессов. Прочитать об этом можно здесь.
Вот несколько примеров задач, которые решает машинное обучение.
Логистика и производство
- В Rethink Robotics используют машинное обучение для обучения манипуляторов и увеличения скорости производства;
- В JaybridgeRobotics автоматизируют промышленные транспортные средства промышленного класса для более эффективной работы;
- В Nanotronics автоматизируют оптические микроскопы для улучшения результатов осмотра;
- Netflix и Amazon оптимизируют распределение ресурсов в соответствии с потребностями пользователей;
- Другие примеры: прогнозирование потребностей ERP/ERM; прогнозирование сбоев и улучшение техобслуживания, улучшение контроля качества и увеличение мощности производственной линии.
Продажи и маркетинг
- 6sense прогнозирует, который лид и в какое время наиболее склонен к покупке;
- Salesforce Einstein помогает предвидеть возможности для продаж и автоматизировать задачи;
- Fusemachines автоматизирует планы продаж с помощью AI;
- AirPR предлагает пути повышения эффективности PR;
- Retention Science предлагает кросс-канальное вовлечение;
- Другие примеры: прогнозирование стоимости жизненного цикла клиента, повышение точности сегментации клиентов, выявление клиентских моделей покупок, и оптимизация опыта пользователя в приложениях.
Кадры
- Entelo помогает рекрутерам находить и отбирать кандидатов;
- HiQ помогает менеджерам в управлении талантами.
Финансы
- Cerebellum Capital and Sentient используют машинное обучение для улучшения процесса принятия инвестиционных решений;
- Dataminr может помочь с текущими финансовыми решениями, заранее оповещая о социальных тенденциях и последних новостях;
- Другие примеры: обнаружение случаев мошенничества и прогнозирование цен на акции.
Охрана здоровья
- Atomwise использует прогнозные модели для уменьшения времени производства лекарств;
- Deep6 Analytics определяет подходящих пациентов для клинических испытаний;
- Другие примеры: более точная диагностика заболеваний, улучшение персонализированного ухода и оценка рисков для здоровья.
Больше примеров использования машинного обучения, искусственного интеллекта и других связанных с ними ресурсов вы найдете в списке, созданном Sam DeBrule.
Читать еще:»10 типов структур данных, которые нужно знать»
Вместо заключения
Помните, что совместное использование различных систем и методик — ключ к успеху. ИИ и машинное обучение хотя и сложные, но увлекательные. Буду рад продолжить обсуждение стратегий разработки и проектирования с использованием больших данных вместе с вами. Комментируйте и задавайте вопросы.
Мнение автора и редакции может не совпадать. Хотите написать колонку для «Нетологии»? Читайте наши условия публикации.
