Умножить, сложить, согнуть. Из этих трёх операций собраны все модели мира, включая те, что рисуют картинки и пишут код.
Искусственный нейрон не имеет отношения к биологии, кроме названия. Это простейший вычислительный узел, который делает ровно три вещи:
вход: x₁ x₂ x₃
вес: w₁ w₂ w₃
сумма = x₁·w₁ + x₂·w₂ + x₃·w₃ + b
↑ смещение
выход = f(сумма)
↑ активация
Всё. Больше внутри нейрона ничего нет.
Это резистивный сумматор с усилителем. Входы — напряжения. Веса — проводимости (чем больше вес, тем сильнее влияет вход). Смещение — опорное напряжение. Активация — нелинейность вроде диода или ограничителя на выходе.
В вашей схеме номиналы резисторов выбираете вы, исходя из расчёта. В нейросети веса подбирает алгоритм, глядя на примеры. Глава 04 — про то, как именно.
Нейрон, решающий, исправен ли драйвер. Три входа: напряжение на выходе в вольтах, пульсации в процентах, температура корпуса в градусах.
напряжение в норме? x₁ = 1 w₁ = +2.0 → сильный довод «исправен» пульсации высокие? x₂ = 1 w₂ = -3.0 → сильный довод «неисправен» перегрев? x₃ = 0 w₃ = -2.5 → не сработал сумма = 1·2.0 + 1·(-3.0) + 0·(-2.5) + 0.5 = -0.5 выход: отрицательно → «неисправен»
Обратите внимание: знак веса — это направление довода, а модуль — его сила. Пульсации весят −3.0, то есть перевешивают нормальное напряжение с его +2.0. Именно такие соотношения и подбираются при обучении.
Самый неочевидный и самый важный пункт главы. Без активации вся сеть, сколько бы слоёв в ней ни было, схлопывается в одно-единственное линейное преобразование.
Линейная функция от линейной функции — снова линейная. Сто слоёв умножений и сложений математически эквивалентны одному слою с другими коэффициентами. Глубина не даёт ничего. Нелинейность — единственное, что позволяет слоям добавлять выразительность, а не дублировать друг друга.
Практический смысл: линейная модель может провести только прямую границу. Задачи вроде «исправно, если напряжение в норме и пульсации низкие, но при перегреве всё равно нет» прямой не разделяются. Нелинейность даёт возможность гнуть границу.
| Название | Что делает | Где встречается |
|---|---|---|
| ReLU | Отрицательное обнуляет, положительное пропускает как есть | Рабочая лошадка. Проста и быстра |
| GELU | То же, но со сглаженным переходом около нуля | Современные языковые модели |
| SiLU / Swish | Похожа на GELU | Многие свежие архитектуры |
| Sigmoid | Сжимает что угодно в диапазон от 0 до 1 | Выход, когда нужна вероятность |
| Tanh | Сжимает в диапазон от −1 до 1 | Старые архитектуры |
| Softmax | Превращает набор чисел в вероятности, дающие в сумме единицу | Последний слой классификатора |
Отрицательное не пропускает, положительное пропускает без изменений. Ровно идеализированный диод из вашей схемотехники. Именно за счёт такой предельной простоты она и вытеснила более «математичные» варианты: быстро считается и хорошо обучается.
Она вам ещё встретится и во внимании (глава 08), и при генерации текста. Задача: превратить произвольные числа в вероятности.
сеть выдала оценки: драйвер 3.2 кристалл 1.1 конденсатор 0.4
после softmax: драйвер 0.79 кристалл 0.16 конденсатор 0.05
в сумме ровно 1.0
Обратите внимание на важное свойство: softmax усиливает разрыв. Разница между 3.2 и 1.1 была троекратной, стала почти пятикратной. Это потому, что внутри стоит возведение в степень. Свойство пригодится, когда будем говорить о температуре при генерации текста.
| Задача | Порядок |
|---|---|
| Разделить две группы точек прямой | Один нейрон |
| Логическое «исключающее или» | Три-четыре, в два слоя |
| Узнать рукописную цифру | Тысячи |
| Узнать объект на фотографии | Миллионы |
| Понимать и писать текст | Миллиарды |
«7B» из названия модели — это и есть количество весов и смещений, сложенных вместе. Семь миллиардов чисел, каждое из которых участвует в описанных трёх операциях.
Один нейрон почти ничего не умеет. Соберём из них сеть и посмотрим, откуда берётся способность узнавать сложное.
Бесплатная книга · tariel.ge · версии инструментов и команды проверяйте в документации проектов
Книга бесплатна для чтения. Автор — Тариел Бежанидзе, компьютерный мастер в Батуми · tariel.ge · все бесплатные книги. Копировать текст целиком на другие сайты — только со ссылкой на источник.