Перейти к основному содержимому

Создание цепочек вызовов больших языковых моделей

Платформа упрощает доступ к большим языковым моделям (Large Language Model, LLM) и их использование. Решение ресурсоемких задач часто требует использования нескольких LLM, которые необходимо вызывать последовательно. Последовательность вызова LLM можно настроить путем создания цепочек вызовов LLM.

В интерфейсе DevTools можно создавать цепочки вызовов LLM.

Чтобы создать цепочку вызовов LLM, на боковой панели нажмите значок UG_flows_icon.png (Chatflows) и на странице Chatflows, которая открывается и отображает список цепочек вызовов LLM, созданных в текущем экземпляре Платформы, нажмите + Add New.

Цепочки вызовов LLM состоят из узлов разных типов и связей между ними. Информацию о создании цепочек вызовов LLM, выборе типов узлов в цепочках и связывании узлов вы можете получить в документации стороннего инструмента, который используется в Платформе.

Созданную цепочку вызовов LLM можно отладить на странице ее редактирования в чате, который открывается по нажатию значка UG_chat_icon.png (Chat) вверху справа.

Запуск цепочки вызовов LLM может быть реализован следующими способами:

  • вызов в интерфейсе приложения, например, по нажатию кнопки на экранной форме;
  • вызов в программном агенте в коде сервиса бизнес-логики.

Каждая цепочка вызовов LLM имеет уникальный идентификатор, который используется при вызове. Вы можете экспортировать созданную цепочку в виде json-файла и перенести этот файл в другой экземпляр Платформы.

примечание

Цепочки вызовов LLM с использованием генерации с извлечением данных, RAG-цепочки (Retrieval-Augmented Generation), невозможно перенести между экземплярами Платформы.