Становятся ли одни и те же LLM тупее? + о возможностях на рынке для фаундеров
В твитерах и на реддитах регулярно появляются обсуждения (вот, график оттуда), как новая модель сначала впечатляла, а спустя какое-то время по ощущениям деградировала.
1️⃣ У меня тоже бывают такие ощущения, но как-то надежно проверить это сложно. Хотя есть проекты вроде livenurf, которые изучают колебания качества конкретной модели, - и они находят ухудшение гораздо реже.
Кто-то говорит (и исследует), что лабы делают A/B тесты на реальных платных юзерах, так что одни замечают деградацию, а другие нет. Вроде на подписках такого много, а в API мало.
2️⃣ AI лабам конечно нужно снижать стоимость инференса, иначе бизнес так и останется крайне убыточным. Но обычным пользователям что делать с потенциально нестабильными моделями?
Хуже всего, что это может влиять на "низовой" адопшн AI, когда маленький b2b-стартап покрутил пилотное решение для бизнеса, настроил как-то, чтобы была польза, а потом бац, все сломалось.
3️⃣ И тут решением могут быть открытые локальные модели, которые внезапно обзавелись еще одним преимуществом - предсказуемостью (в дополнение к посту про за/против). Но пока такие модели не очень используют - почти весь корп. рынок занимают openai и антропик.
4️⃣ Я на все смотрю позитивно: если есть большая проблема - значит есть возможность для фаундеров 🙂
Например общие бенчмарки - это хорошо, но можно сделать сервис/услугу по оценке AI-решения на конкретных задачах конкретного бизнеса. Или какой-то AI governance.
Кучу всего можно делать, например для какой-нибудь страховой:
• Правильно ли агент обрабатывает заявки? (evaluation)
• Не ухудшилось ли качество после обновления модели? (мониторинг)
• Аудит типа соблюдает ли агент установленные правила, включая требования к обработке персональных данных?
• Governance: кто разрешил внедрить, кто отвечает за ошибки, когда нужно вмешательство человека и как все документируется?
• Ну и комплаенс конечно, куда ж без него (чтобы по законам и регуляциям все было норм).
5️⃣ И мне кажется сегодня для нетехнарей потенциально хороший AI продукт (в т.ч. в виде сайд проекта) - это не трекер калорий, а митигатор каких-нибудь AI рисков.
Потому что главным узким местом внедрения AI по-прежнему остается сотрудник компании, боящийся увольнения 🙂