Честно ли одной команде делать LLM Core, а потом передавать его на интеграцию команде AI Biz Integration?

Это в чате канала продолжается дискуссия на тему экономики кейсов с LLM под капотом:

При этом это не камень в огород, признание того что ты, Ринат поступаешь очень по-умному, избегая самую неблагодарную часть, которую конечно же тоже умеешь реализовывать.

Здесь на ситуацию нужно смотреть не только с точки зрения одной команды, которая умеет и любит делать проекты с LLM под капотом (и для них интеграция - это самая скучная работа).

Для полноты картины лучше рассмотреть и другие точки зрения.

Первая точка зрения - это видение ситуации людьми, которые работают в области Biz Integration не один год (PM, Frontend/Backend, Full-stack итп). У них есть немаленький опыт разработки и интеграции, но в последние годы и добавляется печалька, что такая большая сфера деятельности как LLM/AI просто проплывает мимо. Причем времени на “вкатывание” в ML/AI нужно потратить столько, сколько у них свободного нет, а иначе никак не попасть на проекты с LLM. Традиционная проблема курицы и яица.

Например, у меня есть пара коротких советов про вкатывание в LLM разработчику и команде. Но у кого в реальности будет время и cognitive capacity на все эти шаги?

С этой точки зрения передача собранного ядра LLM Core команде на интеграцию - это как раз возможность получить практический опыт внедрения без необходимости нести отвественность за результаты работы LLM системы.

Уже есть какое-то ядро, но оно спрятано за интерфейсом API. По сути это просто еще один сервис, который надо интегрировать. За поддержание LLM Core в рабочем режиме несет ответственность та же команда, которая его и делала.

При желании члены команды интеграции могут залезть во внутрь и начать самостоятельно ковыряться и поддерживать. Им с радостью все покажут, помогут и расскажут. А еще есть системы бенчмарков и тестов, которые не позволят случайно поломать все (см про как тестировать агентов). Но все это - опционально, без спешки. Если разобраться в ядре не за месяц, а за год, на успех и сроки реализации проекта это никак не повлияет.

В общем, для классических команд разработки, разделение проекта на LLM Core + AI Biz Integration - это возможность начать нарабатывать практический опыт с LLM/AI в комфортном для себя темпе, выполняя ту же работу, которую делали и всегда.

Это первая точка зрения. Вторая - точка зрения компаний, которые хотят реализовывать новые интересные проекты в области AI/LLM, но при этом практического опыта в этой сфере нет ни у одной из их команд. Напишу чуть попозже.

А пока - кому близка первая точка зрения про "опыта с AI/LLM нет, а в проекты с LLM под капотом не берут без соответствующего опыта"?

Ваш, @llm_under_hood 🤗