Как работает тренер Trace и насколько ему можно верить
Здесь — на чём стоит разбор, как мы проверяли каждую оценку и где разбор может ошибаться. Все числа — из наших проверок на настоящих матчах.
На чём учился тренер
Запись твоего матча
Разбор читает полную запись матча с серверов Valve: где был каждый герой каждую секунду, что видела твоя команда, кто кого бил и какие метки ставили союзники. Запись разбирается на твоём компьютере, обычно за 1–3 минуты — время зависит от записи и компьютера.
Больше 18 000 матчей всех рангов
Открытые матчи девяти групп: от Рекрута до Титана и турниры профессиональных команд. По ним тренер знает, как на самом деле играют на каждом ранге и на каждой позиции.
Турниры профессиональных команд
Записи турниров — верхняя ступень шкалы. На них проверяли, что считать ошибкой, а что — обычной игрой даже у лучших.
Игроки из таблицы лидеров Dota 2
В разработке участвовали игроки из таблицы лидеров Dota 2.
Насколько точны оценки
Каждое число ниже получено на матчах, которых модель не видела при обучении, или сверено с ручной разметкой.
Каждая точка — группа положений в матчах, на которых модель не училась. Чем ближе точки к линии, тем честнее шанс.
Показать числа таблицей
| Средний прогноз | Доля побед | Положений |
|---|---|---|
| 3,8% | 4,5% | 15 620 |
| 15,0% | 16,7% | 9 883 |
| 24,9% | 24,8% | 9 695 |
| 35,2% | 35,4% | 11 306 |
| 45,1% | 45,4% | 13 351 |
| 54,9% | 55,9% | 14 678 |
| 65,0% | 66,3% | 14 126 |
| 75,0% | 75,2% | 11 551 |
| 85,1% | 85,5% | 12 591 |
| 96,3% | 96,7% | 21 107 |
±1,7пункта
Шанс на победу
Когда разбор пишет «шанс 75%», команды в таком положении выигрывают 75,2% матчей. Во всех десяти группах прогноза расхождение не больше 1,7 пункта.
Проверено на каждом пятом из 18 332 матчей — на них модель не училась.
448из 450
Позиция игрока
Разбор сам понимает, на какой позиции ты играл, — с первой по пятую. С ручной разметкой его ответ совпал у 448 игроков из 450. С ролью, которую назначил поиск матча, — у 92% игроков, и почти все расхождения — это игроки, которые поменялись ролями.
Ручная разметка 45 матчей и сверка ещё на 481 матче.
24,2%при 24,0%
Опасность места
Тренер оценивает риск погибнуть в ближайшие 30 секунд — только по тому, что видела твоя команда. Когда он говорит «24,0%», погибают в 24,2% случаев; при «12,1%» — в 12,4%; при «55,4%» — в 55,5%.
Обучено на 4 463 матчах, проверено на матчах, которых модель не видела.
Как мы проверяем правила разбора
Модель может быть точной, а правило — несправедливым. Поэтому каждое правило, которое называет что-то ошибкой, мы проверяем на сильных игроках.
- 0117 814 матчейвсех рангов и профессиональных турниров прогнали через каждое правило разбора.
- 02Сравнение с сильнымиЕсли у Титанов и профессионалов правило срабатывает так же часто, как у новичков, значит, оно ловит обычную игру, а не ошибку.
- 03ПоправкаТакие правила смягчили или убрали, а после правки снова прогнали по тем же матчам.
- 04Твой разборВ разборе остаются правила, которые прошли эту проверку или ручную разметку.
Пример сильного правила: пробежки без фарма и драк у Рекрутов, Стражей и Рыцарей случаются вдвое чаще, чем у Титанов, даже если считать на 10 минут игры.
Где не хватает записи, смотрит человек
Не всё можно понять по цифрам. Позиции 450 игроков и 100 смертей разметили вручную и сверили с разбором. По этой разметке поменяли правило о смертях после 10-й минуты.
Где разбор может ошибаться
- Тренер не слышит голосовой чат. «Опасно» для него — то, что твоя команда видела на карте, в метках и в чате.
- Опасность места тренер оценивает для обычного игрока. Сильный игрок с голосовой связью знает больше, чем видит его команда.
- В записи нет перезарядки способностей и предметов врагов по секундам, поэтому готовый ультимейт врага тренер не учитывает.
- В первые 10 минут шанс на победу угадывается хуже, чем потом: игра ещё мало что решила.
- Сравнение твоих чисел с игроками на том же герое и позиции временно выключено: мы перепроверяем архив по версии игры, режиму и роли.
Не согласен с оценкой?