Вычислительную мощность нейросети можно оценочно описывать числом нейронных связей в ней (именно числом нейронных связей, а не числом нейронов). В области машинного обучения, число нейронных связей — это число тренируемых параметров нейросети.
Содержание:
[1] Человеческий мозг
По современным данным, в человеческом мозге 85 млрд нейронов, каждый из которых обладает 1’000…15’000 синаптическими связями.
Итого, связей в мозге оценочно: 85 млрд * 5000 ≈ 500’000’000’000’000 = 500’000 млрд
Будем считать, что это и есть число тренируемых параметров мозга.
[2] Простейшие нейронные сети
Сети, способные распознавать чёрно-белые рукописные цифры (с достоверностью >90%) существуют примерно с 1980 годов. Сейчас традиционно эти цифры хранятся в изображениях размером 28x28 пикселей.
Примерное число параметров в сети, способной различать такие цифры: от 10’000 до 100’000 в зависимости от архитектуры.
Изображения, которые способна распознать рассматриваемая нейросеть
Точное вычисление для ценителей
Вариант 1 — Fully-connected архитектура.
Возьмём сеть, состоящую из 2х скрытых fully-connected слоёв по 10 нейронов в каждом:
- Число входных нейронов: 28x28=784
- Число весов и баясов 1-го скрытого слоя: 784*10 + 10
- Число весов и баясов 2-го скрытого слоя: 10*10 + 10
- Число весов output-слоя: 10*10 + 10
- Итого: (7840 + 10) + (100 + 10) + (100 + 10) = 8070 тренируемых параметров
Варинат 2 — свёрточная архитектура. Сеть LeNet-5, 1998 г.
В этой нейросети около 120’000 тренируемых параметров. Она распознаёт чёрно-белые изображения размером 32x32 пикселя.
[3] AlexNet (2012)
В 2012 году была создана важная для истории развития нейросетей — нейросеть AlexNet. Она способна классифицировать цветные изображения размером 227x227 пикселей на вплоть до 1000 разных классов (собака, кошка, машина и т.п.).
Изображения, которые способна распознавать сеть AlexNet
Число тренируемых параметров: 62 млн
Точное вычисление для ценителей
[4] Text-to-Image models
Современные модели, способные генерировать изображения из текста (такие как Stable Diffusion, DALL-E и др.) в зависимости от поколения содержат от 1 до 20 млрд тренируемых параметров.
Шаги генерации изображений из текста (первый шаг — 100% шум, последующие шаги этот шум уменьшают и приводят в осмысленное изображение)
[5] GPT
Нейросеть ChatGPT развивалась в несколько поколений (сейчас самое актуальное — ChatGPT-4), и в каждом поколении использовалось большое число разных моделей (ada, davinci, gpt-turbo и т.п.). Но ориентироваться можно осреднённо не следующие цифры (по данным Википедии):
| Число тренируемых параметров | |
|---|---|
| ChatGPT-1 | 0.12 млрд |
| ChatGPT-2 | 1.5 млрд |
| ChatGPT-3 | от 0.4 млрд (ada) до 170 млрд (davinci) |
| ChatGPT-4 (2024+) | 1’700 млрд |
Итоговая таблица
| Число нейронных связей | |
|---|---|
| Простейшие сети, способные распознавать чёрно-белые рукописные цифры размером 28x28 пикселей (например, сеть LeNet, 1998) | 10’000 .. 100’000 |
| AlexNet, 2012. Классифицирует цветные изображения размером 227x227 пикселей на вплоть до 1000 разных классов) | 62 млн = 0.062 млрд |
| Text-to-Image models (Stable Diffusion, DALL-E и др.) | 10 млрд (ориентировочно) |
| ChatGPT-3 | 100 млрд (ориентировочно) |
| ChatGPT-4, 2024+ | 1’700 млрд |
| Человеческий мозг | 500’000 млрд (нейронных связей) |
Итого, у одной из самых больших современных сетей (ChatGPT-4) число связей — около 0.3% от числа связей в человеческом мозге. ДУМАЙТЕ.