scenario_01_per_image_start
Scenariusz 1. Rozpoczęcie analizy poszczególnych zdjęć
Po ogólnym podsumowaniu użytkownik informuje, że jest gotowy rozpocząć analizę zdjęć pojedynczo.
Punkty do ręcznej oceny:
- Czy agent przeszedł do pierwszego zdjęcia?
- Czy agent jasno wskaże, którego zdjęcia dotyczy aktualna rozmowa?
- Czy agent rozpoczął zbieranie informacji na jego temat?
- Czy agent nie pominął pierwszego zdjęcia i nie przeszedł samodzielnie do kolejnego?
- Czy agent nie powtórzył ogólnego podsumowania całego zestawu zamiast rozpoczęcia analizy?
scenario_02_user_feedback_after_summary
Scenariusz 2. Użytkownik przekazuje własne uwagi po podsumowaniu
Po ogólnym podsumowaniu użytkownik przekazuje własne uwagi dotyczące całego zestawu lub swoich ogólnych preferencji.
Punkty do ręcznej oceny:
- Czy agent przyjął uwagi użytkownika i odniósł je do wcześniejszego podsumowania?
- Czy agent uwzględnił ewentualne korekty i zapamiętał przekazane informacje jako kontekst dalszej analizy?
- Czy agent nie zignorował uwag użytkownika podczas omawiania poszczególnych zdjęć?
- Czy agent zakomunikował gotowość do przejścia dalej bez zadawania wprost pytania, czy użytkownik chce rozpocząć analizę pierwszego zdjęcia?
scenario_03_guided_mode
Scenariusz 3. Wejście w tryb „Nie wiem, poprowadź mnie”
Po odebraniu ogólnego podsumowania użytkownik wybiera opcję „Nie wiem, poprowadź mnie”.
Punkty do ręcznej oceny:
- Czy agent rozpoznał wybór trybu prowadzonego?
- Czy agent przeszedł do analizy pierwszego zdjęcia?
- Czy agent nie oczekuje od użytkownika samodzielnego formułowania rozbudowanych uwag?
- Czy agent zaczął zadawać proste pytania pomocnicze odnoszące się do aktualnego zdjęcia?
- Czy agent nie zadaje kilku różnych pytań jednocześnie?
- Czy agent nie przeszedł automatycznie do kolejnego zdjęcia?
scenario_04_skip_attempt_no_info
Scenariusz 4. Próba pominięcia zdjęcia bez przekazania żadnych informacji
Użytkownik rozpoczyna analizę zdjęć i od razu próbuje pominąć pierwsze zdjęcie przed przekazaniem jakichkolwiek uwag.
Punkty do ręcznej oceny:
- Czy agent nie przeszedł automatycznie do kolejnego zdjęcia?
- Czy agent zauważył, że dla aktualnego zdjęcia nie zebrano jeszcze żadnych informacji?
- Czy agent zachęcił do przekazania przynajmniej jednej uwagi (lub zaproponował tryb prowadzony)?
- Czy agent poprosił o jednoznaczne potwierdzenie pominięcia?
scenario_05_confirmed_skip
Scenariusz 5. Potwierdzone pominięcie zdjęcia
Po zapytaniu agenta użytkownik potwierdza chęć przejścia dalej i pominięcia zdjęcia bez uwag.
Punkty do ręcznej oceny:
- Czy agent zaakceptował decyzję użytkownika i oznaczył zdjęcie jako pominięte?
- Czy agent przeszedł do kolejnego zdjęcia?
- Czy agent nie zapisał żadnych domyślnych ani wymyślonych preferencji?
- Czy agent nie poprosił ponownie o potwierdzenie tej samej decyzji i nie wrócił samodzielnie do pominiętego zdjęcia?
scenario_06_proceed_partial_notes
Scenariusz 6. Przejście dalej po przekazaniu części uwag
Użytkownik przekazuje konkretną uwagę do zdjęcia, a następnie decyduje się przejść do kolejnego.
Punkty do ręcznej oceny:
- Czy agent zachował wszystkie przekazane informacje?
- Czy agent uznał, że dla zdjęcia zostały zebrane konkretne obserwacje?
- Czy agent pozwolił użytkownikowi przejść do kolejnego zdjęcia bez dodatkowego potwierdzenia?
- Czy agent nie potraktował zdjęcia jako całkowicie pominiętego?
- Czy agent nie wymusił dalszego odpowiadania na pytania?
scenario_07_return_to_previous_image
Scenariusz 7. Powrót do poprzedniego zdjęcia
Użytkownik przechodzi do drugiego zdjęcia, po czym prosi o powrót do pierwszego i uzupełnia uwagi.
Punkty do ręcznej oceny:
- Czy agent wrócił do właściwego zdjęcia?
- Czy agent zachował wszystkie wcześniejsze uwagi dotyczące tego zdjęcia?
- Czy agent nie rozpoczął jego analizy od początku?
- Czy agent umożliwił uzupełnienie, zmianę lub doprecyzowanie wcześniejszych informacji?
- Czy agent zaktualizował zapisane informacje zgodnie z nową wypowiedzią?
- Czy agent nie utworzył dwóch oddzielnych zestawów informacji dla tego samego zdjęcia?
scenario_08_mode_switch_during_analysis
Scenariusz 8. Zmiana trybu w trakcie analizy zdjęcia
Początkowo własne uwagi -> przełączenie na tryb guided -> powrót do własnych uwag.
Punkty do ręcznej oceny:
- Czy agent rozpoznał zmianę sposobu prowadzenia rozmowy?
- Czy agent zachował wszystkie uwagi przekazane wcześniej?
- Czy po poproszeniu o poprowadzenie agent zaczął zadawać pytania pomocnicze bez powtarzania pytań i bez restartu?
- Czy przy ponownym przekazaniu konkretnych uwag agent przyjął je bez wymuszania pytań pomocniczych?
scenario_09_general_rule_during_image
Scenariusz 9. Przekazanie uwagi ogólnej podczas analizy konkretnego zdjęcia
W trakcie omawiania zdjęcia użytkownik podaje regułę odnoszącą się do całego projektu.
Punkty do ręcznej oceny:
- Czy agent rozpoznał uwagę jako ogólną dla całego projektu?
- Czy agent nie przypisał jej wyłącznie do aktualnego zdjęcia?
- Czy agent zapisał uwagę jako kontekst całego projektu?
- Czy agent uwzględni ją w podsumowaniu w sekcji preferencji ogólnych?
scenario_10_full_flow_completion
Scenariusz 10. Przejście przez wszystkie zdjęcia i zakończenie analizy
Przeprowadzenie analizy przez wszystkie zdjęcia i dwuetapowa weryfikacja upewniająca przed końcowym podsumowaniem.
Punkty do ręcznej oceny:
- Czy po zakończeniu analizy ostatniego zdjęcia agent nie wyświetlił automatycznie podsumowania?
- Czy agent zapytał, czy użytkownik przekazał już wszystkie uwagi i spostrzeżenia?
- Czy agent upewnił się, czy użytkownik świadomie chce zobaczyć podsumowanie?
- Czy podsumowanie zostało wyświetlone dopiero po jednoznacznym i wyraźnym potwierdzeniu w kroku 6?
- Czy podsumowanie poprawnie rozdziela preferencje ogólne od uwag dotyczących konkretnych zdjęć?
scenario_11_add_images_in_general_phase
Scenariusz 11. Dodanie kolejnych zdjęć w fazie ogólnej
Po przygotowaniu pierwszego podsumowania użytkownik przesyła kolejny zestaw zdjęć zamiast rozpoczynać analizę.
Punkty do ręcznej oceny:
- Czy agent przyjął nowe zdjęcia?
- Czy agent pozostał w fazie ogólnej?
- Czy agent uwzględnił zarówno wcześniej przesłane, jak i nowe zdjęcia?
- Czy agent przygotował zaktualizowane podsumowanie całego zestawu?
- Czy agent nie rozpoczął automatycznie analizy pierwszego zdjęcia i nie zgubił wcześniej przesłanych zdjęć?
scenario_12_multiple_image_batches_in_general_phase
Scenariusz 12. Kilkukrotne dodawanie zdjęć w fazie ogólnej
Kilkukrotne przesyłanie kolejnych zestawów zdjęć w fazie ogólnej i aktualizacja podsumowania.
Punkty do ręcznej oceny:
- Czy agent po każdym przesłaniu zdjęć pozostaje w fazie ogólnej?
- Czy agent aktualizuje analizę na podstawie całego zgromadzonego zestawu?
- Czy agent zachowuje wcześniej przesłane zdjęcia bez tworzenia duplikatów i bez resetowania rozmowy?
- Czy agent nie przechodzi przedwcześnie do analizy pojedynczych zdjęć?
scenario_13_start_analysis_ready_confirmation
Scenariusz 13. Rozpoczęcie analizy po potwierdzeniu gotowości
Użytkownik wysyła komendę 'Jestem gotowy, przejdź do analizy'.
Punkty do ręcznej oceny:
- Czy agent rozpoznał wiadomość jako polecenie rozpoczęcia analizy szczegółowej?
- Czy agent przeszedł z fazy ogólnej do analizy pierwszego zdjęcia?
- Czy agent jasno wskazał, którego zdjęcia dotyczy aktualna rozmowa?
- Czy agent nie pominął pierwszego zdjęcia i nie przeszedł od razu do następnego?
scenario_14_user_specific_answer_to_open_question
Scenariusz 14. Konkretna odpowiedź użytkownika na pytanie otwarte
Użytkownik odpowiada na pytanie otwarte agenta do pierwszego zdjęcia podając konkretne preferencje.
Punkty do ręcznej oceny:
- Czy agent odniósł się do konkretnej wypowiedzi użytkownika i podsumował zebrane spostrzeżenie?
- Czy agent nie przedstawił własnej obserwacji jako opinii użytkownika?
- Czy agent pozostał przy aktualnym zdjęciu i nie przeszedł od razu do następnego?
- Czy agent uwzględnił uwagę w zebranych informacjach?
scenario_15_auto_advance_image_after_3_turns
Scenariusz 15. Automatyczne zakończenie analizy zdjęcia po trzeciej turze
Przeprowadzenie trzech pełnych tur rozmowy dla jednego zdjęcia i automatyczne przejście do kolejnego.
Punkty do ręcznej oceny:
- Czy agent pozostał przy tym samym zdjęciu po pierwszej i drugiej odpowiedzi?
- Czy agent po zakończeniu trzeciej tury przeszedł do następnego zdjęcia?
- Czy agent nie rozpoczął czwartej tury dla tego samego zdjęcia?
- Czy agent zachował wszystkie trzy zebrane spostrzeżenia i rozpoczął analizę właściwego następnego zdjęcia?
scenario_16_early_finish_image_with_that_is_all
Scenariusz 16. Wcześniejsze zakończenie analizy zdjęcia frazą „To wszystko”
Wysłanie frazy 'To wszystko' po przekazaniu uwag i weryfikacja przejścia do kolejnego zdjęcia.
Punkty do ręcznej oceny:
- Czy agent zachował wcześniej przekazane uwagi?
- Czy agent rozpoznał wypowiedź 'To wszystko' jako zakończenie analizy bieżącego zdjęcia?
- Czy agent nie wymusił pełnych trzech tur i przeszedł do następnego zdjęcia?
- Czy agent nie potraktował zdjęcia jako pominiętego bez opinii?
scenario_17_proceed_to_next_image_with_phrase
Scenariusz 17. Przejście do następnego zdjęcia po przekazaniu uwag
Wysłanie komendy 'Przejdź do następnego zdjęcia' po podaniu opinii.
Punkty do ręcznej oceny:
- Czy agent rozpoznał wiadomość jako polecenie zakończenia analizy bieżącego zdjęcia?
- Czy agent przeszedł do następnego zdjęcia zachowując wcześniej zebrane informacje?
- Czy agent nie poprosił o dalsze uwagi i nie potraktował zdjęcia jako całkowicie pominiętego?
- Czy agent jasno wskazał, że rozmowa dotyczy teraz następnego obrazu?
scenario_18_proceed_attempt_after_notes
Scenariusz 18. Próba przejścia dalej po zebraniu spostrzeżeń
Weryfikacja bezpośredniego przejścia dalej, gdy dla aktuwalnego zdjęcia zebrano już konkretną uwagę.
Punkty do ręcznej oceny:
- Czy agent rozpoznał, że dla aktualnego zdjęcia istnieją już spostrzeżenia?
- Czy agent nie uruchomił ostrzeżenia o braku opinii i nie poprosił o dodatkowe potwierdzenie?
- Czy agent przeszedł bezpośrednio do następnego zdjęcia?
- Czy agent nie oznaczył zdjęcia jako całkowicie pominiętego?
scenario_19_cancel_skip_after_warning
Scenariusz 19. Rezygnacja z pominięcia zdjęcia po ostrzeżeniu
Rezygnacja z przejścia dalej po otrzymaniu ostrzeżenia o braku uwag dla zdjęcia.
Punkty do ręcznej oceny:
- Czy po ostrzeżeniu agent nie przeszedł do następnego zdjęcia?
- Czy po deklaracji rezygnacji agent pozostał przy aktualnym obrazie i umożliwił przekazanie uwagi?
- Czy agent zachował później przekazaną informację bez powtarzania ostrzeżenia?
scenario_20_full_guided_mode_flow
Scenariusz 20. Pełny przebieg trybu „Nie wiem, poprowadź mnie”
Pełny cykl pytań pomocniczych pojedynczo w trybie prowadzonym.
Punkty do ręcznej oceny:
- Czy agent rozpoznał wybór trybu prowadzonego i zadawał konkretne pytania pomocnicze pojedynczo?
- Czy agent uwzględniał wcześniejsze odpowiedzi bez powtarzania pytań?
- Czy agent zbierał konkretne preferencje i pozostał przy aktualnym zdjęciu podczas trybu prowadzonego?
- Czy agent przeszedł do następnego zdjęcia dopiero po zakończeniu analizy bieżącego obrazu?
scenario_21_skip_last_image_without_notes
Scenariusz 21. Pominięcie ostatniego zdjęcia bez opinii
Świadome pominięcie ostatniego zdjęcia po upewnieniu się agenta i przejście do procedury końcowej.
Punkty do ręcznej oceny:
- Czy agent zaakceptował pominięcie ostatniego zdjęcia i nie próbował przejść do nieistniejącego zdjęcia?
- Czy agent poinformował o zakończeniu analizy całego zestawu i zapytał czy przekazano wszystkie uwagi?
- Czy agent nie wyświetlił automatycznie końcowego podsumowania?
- Czy agent umożliwił dodanie informacji lub powrót do wcześniejszego zdjęcia przed podsumowaniem?
scenario_22_pdf_report_export
Scenariusz 22. Przygotowanie i pobranie raportu PDF
Pełne zakończenie analizy z weryfikacją wsparcia pobierania raportu PDF oraz wykazaniem ewentualnych braków API.
Punkty do ręcznej oceny:
- Czy podsumowanie końcowe pojawiło się dopiero po wyraźnej prośbie użytkownika?
- Czy sprawdzono wsparcie API dla pobrania/generowania raportu PDF?
- Jeśli API nie udostępnia endpointu PDF - czy w raporcie wyświetlono wyraźne komunikaty o braku tej funkcji w API?