Нейро сети для самых маленьких. Часть первая (которая после нулевой). Удобство в прокрустовом ложе оптимизации
Это первая (после нулевой) статья из серии Нейро сети для самых маленьких , в которой мы разбираем инфраструктуру для запуска нейронных сетей. Для обучения и инференса нейросетей и для любых видов High Performance Com...
Yandex: Нейро сети для самых маленьких. Часть первая (которая после нулевой). Удобство в прокрустовом ложе оптимизации.
Это первая (после нулевой) статья из серии Нейро сети для самых маленьких , в которой мы разбираем инфраструктуру для запуска нейронных сетей. Для обучения и инференса нейросетей и для любых видов High Performance Computing используются специализированные технологии: GPU/TPU, RDMA, Kernel bypass, NVLink, InfiniBand, RoCE и другие. Про некоторые из них большинство только что-то слышали, но сталкиваться с ними не приходилось. Нельзя просто взять ванильный стек Linux, воткнуть в него 400Gb Ethernet+IP и получить рабочее решение. Почему? Потому что общее решение на масштабе в большинстве случаев проигрывает специализированным как в скорости, т...
Почему это важно: новость может повлиять на продуктовую стратегию и темп внедрения AI-инструментов.