В статье автор исследует применение больших языковых моделей (LLM) для автоматизации оценки сроков и бюджета IT-проектов.

Ключевые слова: искусственный интеллект, оценка бюджета, модель, первичная оценка параметров проекта, оценка сроков.

Введение

В современном мире информационные технологии играют ключевую роль в цифровой трансформации бизнеса, общества и технологий. Одной из наиболее сложных задач на этапе планирования таких проектов является точная оценка сроков и бюджета. Ошибки в оценке могут привести к перерасходу средств, срыву сроков и, в конечном итоге, к провалу проекта [2, с. 64].

За последние три десятилетия проведено множество исследований, посвященных оценке усилий и стоимости разработки программного обеспечения. Традиционные методы, такие как COCOMO, функциональные точки и экспертные оценки, широко используются [1, с. 2], но часто сталкиваются с ограничениями в точности и применимости. В последние годы методы искусственного интеллекта, включая генеративные модели, стали набирать популярность и применяться в различных сферах жизни и бизнеса. Особенно это касается генеративных моделей искусственного интеллекта, таких как ChatGPT, которые способны обрабатывать сложные запросы и предоставлять обоснованные ответы на основе анализа большого объёма данных.

Данное исследование посвящено изучению применимости генеративных моделей искусственного интеллекта для автоматизированной оценки стоимости и сроков IT-проектов. В рамках работы рассматривается использование таких моделей для первичной оценки параметров проекта, их точность сравнивается с реальными данными. Основная гипотеза исследования заключается в том, что использование генеративных моделей искусственного интеллекта может повысить скорость и качество оценки, снизив необходимость в трудоёмких ручных методах.

Цель исследования — оценить применимость и точность генеративных моделей искусственного интеллекта для задач прогнозирования стоимости и сроков IT-проектов.

Основная часть

В исследовании использовались данные из технического задания (ТЗ) для проекта, реализуемого на языке программирования C++ с использованием фреймворка Qt. Проект включал интеграцию голосового помощника «Маруся» и блок-модуля диспетчеризации «Обь 7.2».

Объектом исследования стали ответы LLM-сервисов (Large Language Model, «большая языковая модель») на запросы, связанные с оценкой сроков и бюджета проекта. Эти оценки были сопоставлены с реальными данными, согласно которым проект был выполнен двумя Junior-разработчиками за три месяца с бюджетом в размере 350 000 рублей и 200,000 рублей на оборудование.

Методология исследования

Для проведения исследования был подготовлен набор запросов, которые были направлены на оценку стоимости, сроков и количества специалистов, необходимых для реализации проекта. Запросы были отправлены через API к следующим LLM-сервисам: DeepSeek , GigaChat , ChatGPT 4o , YandexGPT.

Каждый сервис предоставил свои оценки, которые были затем сопоставлены с реальными данными. Для повышения точности оценок были использованы различные формулировки запросов, включая уточнения о уровне опыта разработчиков (Junior) и размере проекта (небольшой проект).

Обоснование выбора моделей

В рамках данного исследования были выбраны несколько ключевых моделей, представляющих различные рынки и технологии, для проведения всестороннего анализа и сравнения их возможностей в контексте оценки стоимости и сроков реализации проекта.

В частности, ChatGPT 4 является лидирующей моделью на рынке и активно развивается. Также была выбрана китайская модель DeepSeek, которая демонстрирует высокие результаты в лингвистических задачах и является достойным конкурентом для GPT-4 в этой области [3, с. 20].

GigaChat и YandexGPT были выбраны как популярные модели, доступные пользователям онлайн, которые показывают хорошие результаты на русском языке [4].

Анализ ответов

Фактические данные показывают, что проект был выполнен за 3 месяца с бюджетом 350 000 рублей на зарплату разработчиков и 200 000 рублей на оборудование. Таким образом, общий бюджет составил 550 000 рублей.

– DeepSeek: Оценки бюджета варьировались от 279 000 рублей до 12,888,000 рублей, а сроки от 2 до 12 месяцев.

– DeepSeek (DeepThink): Оценки бюджета варьировались от 210 000 рублей до 12,000,000 рублей, а сроки от 1,5 до 9 месяцев.

– ChatGPT 4o: Оценки бюджета варьировались от 350 000 рублей до 4,000,000 рублей, а сроки от 1,5 до 8 месяцев.

– GigaChat и YandexGPT: Не смогли предоставить точных оценок, но предоставили инструкции, которые могут быть полезными при оценке проекта.

После уточнения, что проект небольшой, оценка моделями бюджета и сроков приблизилась к реальным данным.

Заключение

В ходе исследования и тестирования было установлено, что генеративные модели могут предоставить приблизительную структуру затрат на проект. Однако их оценки сроков и стоимости проекта не всегда соответствуют реальным затратам.

Генеративные модели искусственного интеллекта могут быть полезны для первичной оценки параметров проекта, особенно в ситуациях, когда требуется быстрое принятие решения. Однако для получения точных оценок по-прежнему рекомендуется использовать традиционные методы.

Дальнейшие исследования могут быть направлены на улучшение точности генеративных моделей путём обучения на более специализированных данных, а также на разработку шаблонов запросов, которые позволят повысить точность оценки.

Приложение

Таблица 1

Вход — Документ

Таблица 2

Вход — Текст

Таблица 3

Вход — Документ. Уточнение Junior

Таблица 4

Вход — Текст. Уточнение Junior

Таблица 5

Вход — Текст. Уточнение — Junior. Уточнение — Это небольшой проект

Литература:

1. Sakib S. M. N. Software Effort Estimation for Improved Decision Making. — 2022.
2. Arslan F. et al. A review of machine learning models for software cost estimation //Review of Computer Engineering Research. — 2019. — Т. 6. — №.2. — С. 64–75.
3. DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model / Liu Aixin. — Текст: электронный // arxiv: [сайт]. — URL: https://arxiv.org/pdf/2405.04434 (дата обращения: 16.12.2024).
4. Группа «Т-Технологии» представила лучшие в мире открытые большие языковые модели на русском языке. — Текст: электронный // tbank: [сайт]. — URL: https://www.tbank.ru/about/news/11122024-the-t-technologies-group-has-introduced-the-worlds-most-efficient-open-large-language-models-in-russian/ (дата обращения: 16.12.2024).