Проблему виявили у спілкуванні з копірайтерами. Я з нею теж стикалася, але я маркетолог, генерація заголовків для мене менш актуальне. Тому над її вирішенням не замислювалася. А тут стало цікаво, і я пішла тестувати (на новому безкоштовному акаунті для чистоти експерименту). А заодно в основному акаунті з платним GPT-4 обговорювала варіанти розв'язання цієї проблеми та її причини.
Ймовірно, річ у тім, як працює модель GPT-3.5: вона "запам'ятовує" і застосовує загальні правила і стандарти написання тексту, ґрунтуючись на даних, якими вона навчалася. Якщо в цих даних більшість заголовків оформлено з великої літери для кожного слова, модель може повторювати цей стиль, навіть якщо це йде всупереч конкретним інструкціям.
У версії 3.5 ця особливість більш виражена - GPT-4 коректно все писав з першого разу, коли я тестувала. Я спробувала кілька варіантів формулювань у первинному промпті:
- більш деталізовані та конкретні інструкції (замість "напиши заголовок з однією великою літерою" використовувала "створи заголовок, де тільки перше слово починається із великої літери, а решта слів написані малими літерами")
- додаткова вказівка дотримуватися моїх поточних інструкцій, а не загальних правил з її навчальних даних ("Будь ласка, зосередься на цих конкретних інструкціях і не керуйся стандартними правилами оформлення заголовків, які могли бути в даних твого навчання")
- вимога перевірити ще раз перед виведенням результатів і виправити ("Перед тим, як вивести результат, перевір написання слів, і якщо заголовок буде сформований неправильно, будь ласка, виправ його згідно з цими інструкціями")
- і т. д.
Нічого не спрацювало. Єдине, що допомогло (і допомагало щоразу, я кілька разів починала ноий діалог для перевірки) - після того, як GPT-3.5 виводить свою відповідь, дублювати вимогу "Створи заголовки, де тільки перше слово починається з великої літери, а решта слів написані малими літерами"
* У діалозі з GPT-4 про цю проблему його останньою фразою було “Дякую за терпіння” :)
