Нейронные сети, на основе которых строятся современные системы глубинного машинного самообучения и искусственного интеллекта, в большинстве случаев используют стандартный 32-разрядный формат чисел с плавающей запятой IEEE FP32. Это обеспечивает высокую точность вычислений и конечного результата, но
Нейронные сети, на основе которых строятся современные системы глубинного машинного самообучения и искусственного интеллекта, в большинстве случаев используют стандартный 32-разрядный формат чисел с плавающей запятой IEEE FP32. Это обеспечивает высокую точность вычислений и конечного результата, но требует использования больших объемов памяти и высокопроизводительных процессоров, потребляющих значительное количество энергии. В системах же с высокими требованиями к быстродействию и с ограниченными вычислительными ресурсами используются 8-разрядные целые числа со знаком INT8. Это позволяет получить высокую производительность систем искусственного интеллекта, принеся в жертву точность вычислений и конечного результата.
Для решения проблемы, связанной с компромиссом между производительностью систем искусственного интеллекта и разрядностью используемых чисел, специалисты Google Brain в свое время разработали специальный формат чисел с плавающей запятой, оптимизированный для глубинного самообучения и позволяющий получать результат с минимально возможными потерями точности. Этот формат, BF16 (BFloat16, Brain Float 16) уже нашел широкое применение в специальных аппаратных ускорителях, разработанных компаниями Google, Intel, ARM и др.
В чем же разница между форматами FP32 и BF16? Число с плавающей запятой в стандартном формате FP32 состоит из 1 знакового бита, определяющего знак числа (+ или -), после него следует 8-битная экспонента (степень числа), после которой идет 23-битная мантисса (само число). И в сумме набираются полные 32 разряда.
Для формата BF16 специалисты Google Brain предложили усечь мантиссу до 7 бит. Такой выбор был сделан далеко не случайно, проведенные эксперименты показали, что качество работы нейронных сетей намного более чувствительно к размеру экспоненты, нежели мантиссы. И вариант BF16 является самым приемлемым компромиссом.
{full-story limit=»10000″}
Источник:
