Команда новостников RB.RU несколько недель тестировала ChatGPT для написания бэков к новостям — краткой справки о компании, которая идет в конце основного текста новости. В противовес восторженным постам о том, как ChatGPT легко может заменить специалистов (а особенно — журналистов) рассказываем, как и что получилось у нас.
Какая была задача
Мы решили потестировать, как ChatGPT может облегчить работу новостного отдела. Отдавать искусственному интеллекту на написание сразу всю новость казалось преждевременной задачей, а формулировать запрос как «перепиши пресс-релиз своими словами с сохранением фактов» — бессмысленной.
Остановились на написании бэков — у нас это обычно короткая справка о фигурантах новости и последних событиях в их деятельности на основе предыдущих новостей.
Для работы нужен prompt — грамотно сформулированный запрос к ChatGPT. Это важно: при плохом запросе ИИ вас просто не поймет и выдаст соответствующий результат. Кстати, разработчик промптов — уже отдельная профессия на рынке, здесь все серьезно.
Чтобы все заработало, нам также потребовалась подписка на ChatGPT Plus за 20 долларов в месяц и включенный плагин Link Reader в чате с GPT4 (плагин позже заменили). Ссылка — chat.openai.com.
Итоговый промпт по нашей задаче выглядел так:
Я редактор rb.ru — медиа про стартапы и бизнес. Сейчас я пишу статью про одну компанию. Помоги мне написать «бэк» для этой новости — абзац текста, содержащий краткое описание событий, происходивших с компанией в последнее время. Бэк должен быть написан исключительно на основе предыдущих статей с сайта rb.ru и содержать ссылки на них. Желательно, чтобы события в бэке были релевантны тексту статьи. Бэк не должен содержать информации из самой статьи (к которой написан бэк), а должен дополнять статью информацией из других статей с rb.ru Ссылки должны быть «вписаны» в отдельные слова текста бэка (не фразы).
Не используй сноски.
Бэк не должен содержать оценочных суждений.
В бэке не используй вводные предложения и не делай саммари.
В бэке не используй вводные конструкции и не делай саммари. Если на rb.ru ранее не упоминалась эта компания, не пиши бэк, а напиши, что компания ранее не упоминалась на rb.ru. Следующим сообщением я пришлю название статьи и часть ее текста. А ты мне пришлешь готовый бэк в ответ.
Следующим сообщением отправляли заголовок статьи, для которой нужен бэк, и фрагмент текста статьи.
Что получилось
Еще на старте работы мы знали, что у ChatGPT есть некоторые понятные ограничения. Например, он может не улавливать контекст по времени (если в новости сказано «через неделю», не будет поправки на то, что текст был написан месяц назад: так и будет выдаваться — «через неделю), может допускать ошибки и не всегда действует четко по заданному алгоритму.
Но даже с учетом этого итоговые бэки, предложенные ChatGPT, не соответствовали ожиданиям. Пример запроса и результат, выданный чатом:
Результат не соответствовал теме запроса, более того, ChatGPT не смог найти релевантные материалы на сайте RB.RU. И только после того, как мы сами дали ему ссылки на новости, собрал из них бэкграунд:
Какие выводы сделал новостной отдел
Анастасия Марьина, руководитель новостного отдела:
«Из плюсов ChatGPT — если надо найти информацию по совсем незнакомой теме, то он может быстро что-то выдать и сориентировать тебя. Можно использовать не для бэков, но для объяснения каких-то сложных терминов в текстах простыми словами, и тут у ChatGPT хорошо получается.
Минусы, которые мы заметили:
- Комбинация бэков идет от старых новостей к новым (но это, наверное, можно поправить, подкорректировав промпт);
- Не находит бэки к некоторым компаниям, хотя они у нас точно есть, и говорит, что мы об этом ничего не писали;
- Сгенерированные тексты все равно приходится переписывать, т.к. не соблюдается нужный нам стиль, факты тоже надо перепроверять;
- Плагины регулярно слетают, бот включает отказ и говорит, что не работает с новостями и обучен только до событий 2021 года;
-
Учитывая все вышеизложенное, времени написать и найти самому/обучить ChatGPT выходит одинаково, новости быстрее от этого не пишутся.
В целом, наверное, неплохо иметь подписку на всю редакцию, наверняка время от времени в других отделах он тоже будет нужен. Но внедрять как обязательный инструмент в работу я бы не стала. Чат еще не на том уровне».
Карина Пардаева, новостной редактор:
«Я не могу дать однозначного ответа по поводу использования ChatGPT, поэтому 50/50. Среди плюсов — за тебя печатают бэк и это точно быстрее, но куда же без минусов:
- У меня слетает плагин каждый раз, требуется время на старт работы;
-
Требовалась защита учетки: нужно было выбирать направление для изображения;
- Заметила, что бэки ищет в основном по заголовкам;
- Комбинирует новости так, что уже даже не актуальные по времени или событию могут оказаться выше нужных;
- Ссылки на фразах, не на словах, хотя прописывается, что хочешь на словах;
- Ссылки сносками, тоже приходится просить переписывать;
-
В целом пишет бэк больше для колонок/статей, чем под новости, переписывала.
И в целом исправление минусует его скорость. В итоге я тратила столько же времени, сколько ушло бы на самостоятельный поиск информации для бэка. Продолжу его тестить, просто потому что люблю такие штуки».
Кирилл Билык, новостной редактор:
«Общая оценка — 4 из 10.
Пробовал юзать чат-бот по утвержденной схеме с промптом и т.д. Чат-бот работает быстро, но (как по мне) очень некачественно. Основная претензия — слишком много воды и текста не по делу в материале по любой теме, будь то финансы, технологии, дженерал-ньюс.
Формулировки размытые, нет конкретики, что для формата новостей недопустимо. Плюс — нужно обязательно все перепроверять (допускает ошибки) и в 95% случаев переписывать. Стиль, в котором пишет чат-бот, мне показался неинформативным и неподходящим для новостей.
Вердикт — дальше бы не пользовался чат-ботом, потому что он только усложняет работу: нужно тратить время на перепроверку информации и переписывание текста».
Наталья Гормалева, новостной редактор:
«Пока что по затратам времени искать информацию для бэков самой все же удобнее и быстрее. То, какие бэки предлагает чат, все равно приходится переписывать полностью, потому что текст не совсем нейтральный.
Главные претензии к чату:
- Не всегда ищет то, что нужно. Порой говорит, что на RB.RU нет текстов про «Кинопоиск» и другие компании;
- Зачастую для бэков предлагает неактуальную инфу за 2017-2018 годы, в то время как на сайте выходили более свежие новости даже в текущем году;
-
Если подбирает всё же подходящие ссылки, порой делает не совсем корректные выводы на основе информации из этих ссылок. Например, приводит ту или иную информацию о компании, а затем пишет что-то вроде «это подтверждает приверженность компании тому или иному принципу».
Плюсы:
- Может быстро подсказать контекст к новости о компании, о которой мы не так часто пишем, и я, например, не знаю предыстории и всего развития того или иного сюжета.
-
Если всё же корректно выполняет запрос, собирает много разной инфы, которая быстро позволяет получить наиболее общее представление о теме и учесть какие-то не учтенные ранее аспекты.
В запросе я бы прописала, чтобы он не делал свои выводы и взаимосвязи, а просто выдавал информацию. И желательно в хронологическом порядке. Чтобы приоритет отдавался более свежим ссылкам, а не новостям 5-летней давности.
Вывод: продолжила бы использовать ChatGPT, корректируя запросы и настраивая его под свои задачи. По всей видимости, технология будет развиваться и распространяться на многие сферы. Чем быстрее начать ее осваивать, тем больше профита можно получить в будущем».
Фото: Unsplash
Нашли опечатку? Выделите текст и нажмите Ctrl + Enter
Материалы по теме
- Пройти курс «Кейсы предпринимателей: как справиться с вызовами»
- 1 «Альфа-Банк» стал стратегическим партнером RB.RU
- 2 Альфа-Банк совместно с RB.RU запустил бесплатную образовательную платформу «Курс» для предпринимателей
- 3 Подкаст Kotelov digital finance с победителями премии RB Digital Awards 2024
- 4 Подкаст Тариф Без Связи