tariel.ge › Полезное: бесплатные книги › ИИ изнутри: от нейрона до своей моделиБесплатно · автор Тариел Бежанидзе
← ИИ изнутри ЛИСТ 26СвоёРЕВ. 1
Глава 26 · Своё

Собрать свой инструмент: от идеи до рабочего скрипта

Общая схема почти любого инструмента на моделях, пять готовых проектов под ваши задачи — и честный список того, где ИИ не нужен.

Схема, которая подходит почти ко всему

устройство типичного инструмента
ИСТОЧНИК      → откуда берутся данные
                (папка, запись, камера, микрофон, ваши книги)
     ↓
ПОДГОТОВКА    → привести к виду, который принимает модель
                (нарезка, спектрограмма, кадрирование)
     ↓
МОДЕЛЬ        → одна операция
                (эмбеддинг, распознавание, генерация, классификация)
     ↓
ПРОВЕРКА      → отсечь очевидно плохое, пометить сомнительное
     ↓
РЕЗУЛЬТАТ     → файл, база, папка, уведомление
     ↓
ЖУРНАЛ        → что сделано, с чем, когда
Два блока, которые все пропускают

Проверка и журнал. Без первого в результат попадают выдумки из главы 11. Без второго через месяц невозможно понять, откуда взялся странный файл и какими настройками он получен. Оба добавляются за полчаса и экономят дни.

Пять проектов под ваши задачи

1. Поиск по вашим книгам

ЭлементЧто взять
ИсточникHTML-файлы ваших учебников
ПодготовкаНарезка по главам и разделам, с заголовком в тексте куска
МодельЭмбеддинги, глава 07
ПроверкаПорог близости: ниже — «не найдено»
РезультатСсылки на главы с цитатами

Почему первым: сложность низкая, польза сразу, и вы точно можете оценить качество — вы знаете свои книги.

2. Субтитры и расшифровки для роликов

ЭлементЧто взять
ИсточникПапка с видео
ПодготовкаИзвлечь звук, отделить голос от фона (глава 21)
МодельРаспознавание речи, глава 19
ПроверкаПросмотреть начало и конец, найти повторы
РезультатФайл субтитров плюс текст для будущей статьи

Почему это стоит сделать: вероятно, наибольшая экономия времени из всего, что есть в книге.

3. Оформление статьи из наговорённого текста

Наговорить главу голосом, расшифровать проектом 2, и прогнать через языковую модель с задачей: расставить абзацы, исправить термины, убрать слова-паразиты, не меняя содержания. Последнее условие обязательно и требует проверки — модель склонна «улучшать».

4. Иллюстрации в едином стиле

Обучить LoRA на стиле (глава 17), сделать заготовку схемы в ComfyUI с управлением по наброску (глава 16), и дальше получать иллюстрации для всех книг с одинаковым видом. Сложность выше, зато результат переиспользуется годами.

5. Датчик состояния механизма

Акселерометр, обнаружение аномалии, микроконтроллер (главы 21 и 23). Самый «ваш» проект из всех: соединяет электронику, самоделки и машинное обучение, и не требует ни видеокарты, ни интернета.

С чего начинать

ПроектСложностьПользаПорядок
СубтитрыНизкаяОчень высокаяПервый
Поиск по книгамСредняяВысокаяВторой
Оформление расшифровокНизкаяВысокаяТретий
Датчик состоянияСредняяИнтереснаяКогда захочется железа
Иллюстрации в стилеВысокаяДолгоиграющаяПоследний

Где ИИ не нужен

Самый полезный список в главе

Правила, которые сэкономят месяцы

  1. Сначала вручную на десяти примерах. Поймёте задачу и получите проверочный набор из главы 25.
  2. Самая простая модель, которая справляется. Не самая мощная.
  3. Одна операция на инструмент. Не «универсальный помощник».
  4. Сохраняйте промежуточное. Дешевле, чем пересчитывать всё после сбоя.
  5. Ничего необратимого без подтверждения.
  6. Замеряйте по своему списку после каждого изменения.
  7. Сначала поиск и подготовка данных, потом модель. Качество чаще упирается в них.

Как не отстать

ЧтоНасколько быстро устаревает
Механизмы из глав 01–09Не устаревают. Основа не меняется с 2017 года
Принципы работы с даннымиНе устаревают
Понимание ограниченийНе устаревает
Названия моделейМесяцы
Команды и инструментыМесяцы
Требования к памятиМедленно снижаются
Практичный способ следить

Не читать новости каждый день. Раз в два-три месяца проверять одно: не появилось ли чего-то лучше в моей весовой категории — то есть в 16 ГБ видеопамяти. И прогонять кандидата по своему списку из главы 25. Всё остальное — шум, который вас не касается.

Пятнадцать правил из всей книги

  1. Обучение — это вывод правил из примеров, а не программирование правил.
  2. Если правило можно записать словами, пишите программу, а не обучайте модель.
  3. Нейрон — это умножение, сложение и одна нелинейность. Больше ничего.
  4. Без нелинейности глубина бесполезна.
  5. Обучение — это измерить ошибку и сделать маленький шаг. Миллион раз.
  6. Хороший результат на обучающих данных не означает ничего. Проверяйте на новых.
  7. Волк на снегу: модель находит признак, а не смысл. Меняйте всё, кроме того, чему учите.
  8. Смысл — это вектор. Близкое по смыслу оказывается рядом.
  9. Внимание позволяет каждому элементу смотреть на все остальные. Цена — квадратичный рост.
  10. Модель предсказывает правдоподобное. Отдельного механизма для правды в ней нет.
  11. Дообучение меняет как отвечать. Поиск по вашим данным — что отвечать.
  12. Почти никогда не учите с нуля. Берите готовое и дообучайте добавку.
  13. Данные важнее настроек. Всегда.
  14. Не поручайте то, результат чего не можете проверить.
  15. Свой список из двадцати задач честнее любого рейтинга.
Напоследок

Всё, что вы прочитали, собрано из трёх операций над числами, одного приёма подбора весов и одной идеи о том, как элементам смотреть друг на друга. Ничего мистического внутри нет — и именно поэтому вы можете понимать, где этому доверять, а где нет.

Вы всю жизнь разбираетесь, как устроены вещи, и чините то, что сломалось. Эта штука устроена не сложнее усилителя — просто деталей больше, и номиналы подобраны не вами. Дальше всё как обычно: взять схему, собрать, померить, понять, где не сходится.

Глава26 — Собрать свой инструмент: от идеи до рабочего скрипта
БлокСвоё
Далее— конец книги —
Ревизия1
↑ Оглавление Предыдущая глава← 25 · Как оценивать модель и не обманывать себя Конец книгиК оглавлению →

Бесплатная книга · tariel.ge · версии инструментов и команды проверяйте в документации проектов

Книга бесплатна для чтения. Автор — Тариел Бежанидзе, компьютерный мастер в Батуми · tariel.ge · все бесплатные книги. Копировать текст целиком на другие сайты — только со ссылкой на источник.