AI для Всех

🚗 Scaling Laws в беспилотном транспорте

О чём вообще речь?

Waymo опубликовала исследование: взяла 500 000 часов реальных поездок, обучила трансформеры до 30 М параметров на задаче «предскажи всех участников трафика + спланируй свою траекторию» — и построила лог-лог кривые. Они оказались почти прямыми: качество растёт как Compute^-0.27. То есть больше GPU → меньше аварий.

Почему так происходит?
1. Переизбыточность данных. Чем разнообразнее поездки, тем выше шанс встретить редкий «поворот на красный в тумане».
2. Масштаб модели ↔ сложность среды. Шире сеть — больше «места» запомнить длинный хвост редких сценариев.
3. Инференс-семплы для улучшения предсказаний. Monte-Carlo-планирование с 100-200 вариантом хода позволяет маленькой сети догнать большую.

Как Waymo проверяла гипотезу?
• Данные: 0.5 млн часов поездок (крупнейший приватный датасет в AV).
• Модели: трансформеры 1 М → 30 М параметров.
• Метрики:
• Open-loop — MSE/NLL на фиксированных сценариях.
• Closed-loop — симуляция, где ошибка ведёт к столкновению.
• Вычисления: масштабировали и обучение, и число сэмплов при планировании.

Что из этого следует?
• Open ≈ Closed. Улучшения на статическом датасете почти линейно переходят в симуляцию — можно быстро итераировать без дорогих полевых испытаний.
• Бюджет предсказуем. Команды робототехники могут планировать апгрейды так же, как NLP-команды: знаешь FLOPs → знаешь будущую точность.
• Шанс для стартапов. При умном инференсе компактные сети догоняют 30-миллионную — открывая путь к поколению «лайт-роботакси».
• Барьеры остались. Сенсоры, лицензии на данные и суперредкие кейсы никто не отменял.

Практическая интуиция

Думайте о беспилотнике как о GPT на колёсах: хотите безопаснее — покупайте ещё миллионы часов трафика и горки GPU.

Блог-пост

www.tg-me.com/us/telegram/com.nn_for_science/2458

3.7K viewsArtemii, Jun 14 at 19:27

🚗 Scaling Laws в беспилотном транспорте

О чём вообще речь?

Waymo опубликовала исследование: взяла 500 000 часов реальных поездок, обучила трансформеры до 30 М параметров на задаче «предскажи всех участников трафика + спланируй свою траекторию» — и построила лог-лог кривые. Они оказались почти прямыми: качество растёт как Compute^-0.27. То есть больше GPU → меньше аварий.

Почему так происходит?
1. Переизбыточность данных. Чем разнообразнее поездки, тем выше шанс встретить редкий «поворот на красный в тумане».
2. Масштаб модели ↔ сложность среды. Шире сеть — больше «места» запомнить длинный хвост редких сценариев.
3. Инференс-семплы для улучшения предсказаний. Monte-Carlo-планирование с 100-200 вариантом хода позволяет маленькой сети догнать большую.

Как Waymo проверяла гипотезу?
• Данные: 0.5 млн часов поездок (крупнейший приватный датасет в AV).
• Модели: трансформеры 1 М → 30 М параметров.
• Метрики:
• Open-loop — MSE/NLL на фиксированных сценариях.
• Closed-loop — симуляция, где ошибка ведёт к столкновению.
• Вычисления: масштабировали и обучение, и число сэмплов при планировании.

Что из этого следует?
• Open ≈ Closed. Улучшения на статическом датасете почти линейно переходят в симуляцию — можно быстро итераировать без дорогих полевых испытаний.
• Бюджет предсказуем. Команды робототехники могут планировать апгрейды так же, как NLP-команды: знаешь FLOPs → знаешь будущую точность.
• Шанс для стартапов. При умном инференсе компактные сети догоняют 30-миллионную — открывая путь к поколению «лайт-роботакси».
• Барьеры остались. Сенсоры, лицензии на данные и суперредкие кейсы никто не отменял.

Практическая интуиция

Думайте о беспилотнике как о GPT на колёсах: хотите безопаснее — покупайте ещё миллионы часов трафика и горки GPU.

Блог-пост

BY AI для Всех