it-roy-ru.com

Оценка и расчет точности Top-N: Top 1 и Top 5

Я встречал несколько упомянутых в журнале работ (проблема классификации машинного обучения) об оценке точности с помощью подхода Top-N. Данные показали, что точность Top 1 = 42,5%, а точность Top 5 = 72,5% при одинаковых условиях обучения и тестирования. Интересно, как рассчитать этот процент топ-1 и топ-5?

Может кто-нибудь показать мне пример и шаги для расчета этого?

Благодарность

41
D_9268

Точность топ-1 - это общепринятая точность: ответ модели (с наибольшей вероятностью) должен быть именно таким, как ожидаемый.

Точность топ-5 означает, что любой из вашей модели 5 ответов с наибольшей вероятностью должен соответствовать ожидаемому ответу.

Например, допустим, вы применяете машинное обучение для распознавания объектов с помощью нейронной сети. Изображение кота показано, и это - выходы вашей нейронной сети:

  • Тигр: 0,4
  • Собака: 0,3
  • Кошка: 0,1
  • Рысь: 0,09
  • Лев: 0,08
  • Птица: 0,02
  • Медведь: 0,01

Используя точность топ-1, вы считаете этот вывод как неправильный, потому что он предсказал тигра.

Используя точность топ-5, вы считаете этот вывод как правильный, потому что cat входит в топ-5 догадок.

89
rcpinto

Дополнением к точности является ошибка. Ошибка топ-1 - это процент времени, в течение которого классификатор не дал правильному классу наивысшую оценку вероятности. Ошибка топ-5: - процент времени, в течение которого классификатор не включал правильный класс в топ-5 вероятностей или догадок.

2
Mohammed Awney