LoRA: дообучить модель на своём ноутбуке

Обучить 7B целиком — нужны десятки гигабайт видеопамяти. Обучить крошечную добавку к ней — хватит ваших шестнадцати. Как устроен приём и как им пользоваться.

Идея

Из главы 03: при обучении помимо весов надо хранить градиенты и состояния оптимизатора — втрое-вчетверо больше памяти, чем занимает модель. Для 7B это десятки гигабайт. У вас 16.

Приём LoRA: не трогать исходные веса вообще. Заморозить их и обучить маленькую добавку, которая прибавляется к результату.

обычное дообучение:   W  →  W'        (меняем 7 млрд чисел)

LoRA:                 W  +  A·B       (W заморожен,
                      ↑     ↑          учим только A и B)
                   не трогаем    несколько миллионов чисел

Хитрость в том, что A и B — узкие матрицы. Если исходная матрица 4096×4096 (это 16 миллионов чисел), то A размером 4096×8 и B размером 8×4096 дают вместе 65 тысяч — в 250 раз меньше. А их произведение имеет тот же размер, что исходная матрица, и потому может к ней прибавляться.

Что вы получаете

Ещё экономнее: квантованный вариант

Можно пойти дальше: держать замороженную базовую модель в сжатом виде (4 бита, как в главе 10 книги «ИИ»), а обучать адаптер в обычной точности. Это то, что обычно называют QLoRA.

Экономия огромная: 7B в четырёх битах занимает около 4 ГБ вместо 14, и на ваших 16 ГБ остаётся достаточно места для самого обучения. Именно этот вариант делает дообучение на ноутбуке реальным.

Главные настройки

Данные важнее всего остального

Здесь ровно как в главе 05: результат определяется данными, а не настройками.

Формат данных — те же пары «задание — ответ», что в главе 12. Важно, чтобы ответы были единообразны: если в половине примеров вы пишете маркированным списком, а в половине сплошным текстом, модель выучит случайность.

Порядок работы

1. Сформулируйте, что именно хотите изменить. «Пусть будет лучше» — не цель. «Пусть отвечает в стиле моих учебников: короткие абзацы, без вводных слов, с примерами из электроники» — цель.
2. Соберите 200–500 примеров в едином формате. Это основная работа.
3. Отложите 10% на проверку и не показывайте их при обучении.
4. Обучите с небольшим rank и одной эпохой. Посмотрите на результат.
5. Сравните с базовой моделью на одних и тех же вопросах.
6. Меняйте что-то одно за раз и сравнивайте по тому же списку.

Что пойдёт не так

Реалистичные ожидания для вашей машины

Проверьте, что поняли

• Я понимаю идею: заморозить веса, учить узкую добавку
• Я знаю, что результат — маленький переключаемый файл
• Я понимаю, что даёт квантованный вариант
• Я знаю, что означают rank и alpha и в какую сторону их менять
• Я понимаю, что данные важнее настроек
• Я отложу часть данных на проверку
• Первую LoRA сделаю на маленькой модели

Что дальше

Языковые модели закончились. Переходим к совершенно другому классу — тому, что рисует картинки. Механизм там неожиданно изящный.

Бесплатная книга · tariel.ge · версии инструментов и команды проверяйте в документации проектов