Specification of dialogue functionality for the Demo-2 demo

We hereby make the first step towards the design of four dialogues that we will present as part of the demonstration of Demo-2. We will determine the final dialogues by trial and error, that is, we try utterances and follow-up utterances until we find a sequence that the system handles correctly. The precise sequence depends on details of system behaviour, for example, the questions that the qa's give useable answers to. So, at that moment, we will need to freeze the Demo-2 version that we designed the dialogues on. For this reason, we will delay the determination of the dialogues themselves until the final version of Demo-2, which will be due february.

To make the final determination of dialogues easy, we will come up with two things now: a precise specification of the types of follow-up user utterances and system reactions that will be demonstrable in the demo, and a set of cases of such utterances. These cases will be taken from a corpus of "second utterances" collected from potential users. The collection of this corpus is in progress (see at the bottom of the page). The relevant follow-up questions in the corpus will be annotated with the corresponding re-written self-contained question.

Handling of well-formed follow-up questions

We will support a doable subset of follow-up questions. They are dealt with by rewriting them to self-contained questions. The system will reliably support:

question with regular anaphor referring to last user utterance.

User-1: Wat is cholera?
Sys-1: Een acute, besmettelijke darmziekte, veroorzaakt door de bacteriën Vibrio cholerae en Vibrio el-tor.
User-2: Is het dodelijk?
==> Is cholera dodelijk?

User-1: wat is ouderdomsdementie?
Sys-1: Dementie is de afname van geestelijke vermogens die meestal geleidelijk verergert.
User-2: Hoe snel kan het gaan?
==> Hoe snel kan ouderdomsdementie gaan?

a deictic anaphor, and a pen action referring to a picture or word group in the system's answer.

User-1: Wat is ergonomie?
Sys-1: Ergonomie is het vakgebied waarin mens-machine systemen op micro, meso en macro niveau ontwikkeld worden.
User-2: Wat is dit? [points at the words "meso niveau"]
==> Wat is meso niveau?

a pen action referring to a picture, with an utterance like "wat is dit?".

User-1: Hoe kan ik mijn werkplek het beste inrichten om RSI te voorkomen?
Sys-1: Men moet de stoel en tafel juist plaatsen en het scherm op ooghoogte plaatsen.
[plaatje van werkplek met scherm, toetsenbord en voetensteun]
User-2: [wijst op voetensteun] Wat is dat?

Sys-2: Dat is een voetensteun. Wilt u hier meer informatie over?
{system detects picture identification question}

User-3: Ja
{system translates this to: "wat is een voetensteun?"}

In addition, the system will have less reliable support for:

elliptical questions, i.e. noun phrase with zero anaphor.

User-1: Wat is RSI?
Sys-1: RSI is een aandoening die kan worden veroorzaakt door herhaaldelijk dezelfde bewegingen maken en door spierspanningen.
User-2: Wat voor spierspanningen?
==> Wat voor spierspanningen veroorzaken RSI?

questions with anaphors referring to any previous utterance
questions without anaphor, which require (PP) attachment of a salient topic

Handling of ill-formed follow-up questions and negative user feedback

Detection and repair of problematic user questions. Questions are problematic if the system detects that they are ill-formed in some manner, and:

the question does not yield any answer, and in particular, when one or more qa engines also report an error,
or the user gives negative feedback concerning the answer (see below).

The dialogue manager will deal with this by finding out what might be wrong with the question, and giving a prompt that helps improve it. In demo-2, we will cover a limited number of cases:

Sentences without references and without domain concepts, and/or not in question form. The system will deal with this with a simple prompt asking for a question about the medical domain.

Complex and/or multiple sentences. The user uttered a very long sentence, multiple sentences, or sentences describing a personal situation (i.e. words like "ik" are used). The system will deal with this with a simple prompt asking for a short, single-sentence, etc, question.

User-1: Ik heb dit [wijst op plaatje met gewichten] laatst gekocht. Het zijn een soort van kleine gewichtjes die je aan je handen vast kunt maken. Ik doe daar nu oefeningen mee. Helpen dat soort dingen?

User-1: Wanneer moet je naar de dokter? Hoe erg moeten de klachten zijn?

User-1: Mijn oudste broer en zus hebben alletwee RSI, maar mijn jongste broertje niet. Terwijl die juist het meeste met computers werkt (hij is grafisch ontwerper, en werkt dus heel veel met een muis!). Dus mijn vraag is nu eigenlijk in hoeverre het erfelijk is.

Ambiguities, in particular when the question generation module comes up with multiple rewrites. The system will deal with this by providing the user with a choice between the options.

What's left is the description of the negative user feedback that the system understands. This feedback will be dealt with either by the problematic user question detection procedure, or by a simple prompt for a reformulation of the question. The negative feedback that is understood is:

A question that has clear cues that it is not a follow-up question but negative feedback.

User-1: Ik zie lichtflitsen. Wat is er aan de hand?
Sys-1: Intermitterende paraesthesieën in het palmaire deel van het door de n. ulnaris verzorgde gebied van de hand, distaal van de pols, OF pijn in het door de n.ulnaris geïnnerveerde gebied van de hand die uit kan stralen naar de onderarm.
User-2: Huh?! Wat heeft dit met lichtflitsen te maken?
{system detects negative feedback}

Sys-2: Ik begrijp dat u niet tevreden bent over het antwoord. Kunt u uw vraag herformuleren als 1 korte zin?
{problematic question handling: system detects multiple sentences}

a statement with negative feedback cues (such as "nee" or "niet").

User-1:	Wat is het syndroom van Guillain-Barr?
Sys-1:	ook syndroom van Landry-Guillain-Barr-Strohl, polyradiculopathie of polyradiculoneuropathie (n. G. Guillain, Frans neuroloog, 1876-1961, J.A. Barr, Frans neuroloog, 1880), ziektebeeld waarbij in de loop van enkele dagen tot weken uitgebreide ve
User-2:	Volgens mij klopt er iets niet. {system detects negative feedback}
Sys-2:	Ik begrijp dat u niet tevreden bent over het antwoord. Kunt u uw vraag herformuleren? {no problems found in question: simple prompt}

Dealing with perception and interpretation problems

In some cases, the system may not be able to construct a reliable intepretation of the user utterance, due to errors signalled during the processes of either speech recognition, syntactic analysis, semantic tagging or dialogue act recognition.

The system will respond by prompting the user to rephrase or repeat his/her utterance (question). The prompts will based on the generation of negative auto-feedback dialogue acts that are mapped directly to fixed system prompts.

User-1: wat is er te doen aan een ....
{Word is not understood}
Sys-1: ik heb de vraag niet begrepen, kunt u hem herformuleren?

User-1: .....
{system cannot understand what the user says}

Sys-1: ik heb u niet kunnen verstaan, kunt u het herhalen?

Following social conventions

The system will respond to greetings/openings, thanks and valedictions/closings in a reactive manner.

User-1: Hallo, ik wilde graag weten wat [...] wat is er te doen aan een [...]
{User asks normal question, but starts with greeting}
Sys-1: Goedendag. Ik heb de volgende antwoorden gevonden: ...

User-n: Oke, bedankt.
{user thanks system after system reply}

Sys-n: Graag gedaan. U kunt met de knoppen afsluiten of een nieuwe dialoog beginnen.

Annotated corpus

Part of the corpus that is being collected has been annotated. The part of this which is relevant as examples to the above specification is found here:

Preliminary set of examples from the "second question" corpus

Boris van Schooten en Simon Keizer, 16 december 2005

User-1:	Wat is cholera?
Sys-1:	Een acute, besmettelijke darmziekte, veroorzaakt door de bacteriën Vibrio cholerae en Vibrio el-tor.
User-2:	Is het dodelijk? ==> Is cholera dodelijk?

User-1:	wat is ouderdomsdementie?
Sys-1:	Dementie is de afname van geestelijke vermogens die meestal geleidelijk verergert.
User-2:	Hoe snel kan het gaan? ==> Hoe snel kan ouderdomsdementie gaan?

User-1:	Wat is ergonomie?
Sys-1:	Ergonomie is het vakgebied waarin mens-machine systemen op micro, meso en macro niveau ontwikkeld worden.
User-2:	Wat is dit? [points at the words "meso niveau"] ==> Wat is meso niveau?

User-1:	Hoe kan ik mijn werkplek het beste inrichten om RSI te voorkomen?
Sys-1:	Men moet de stoel en tafel juist plaatsen en het scherm op ooghoogte plaatsen. [plaatje van werkplek met scherm, toetsenbord en voetensteun]
User-2:	[wijst op voetensteun] Wat is dat?
Sys-2:	Dat is een voetensteun. Wilt u hier meer informatie over? {system detects picture identification question}
User-3:	Ja {system translates this to: "wat is een voetensteun?"}

User-1:	Wat is RSI?
Sys-1:	RSI is een aandoening die kan worden veroorzaakt door herhaaldelijk dezelfde bewegingen maken en door spierspanningen.
User-2:	Wat voor spierspanningen? ==> Wat voor spierspanningen veroorzaken RSI?

User-1:	Ik heb dit [wijst op plaatje met gewichten] laatst gekocht. Het zijn een soort van kleine gewichtjes die je aan je handen vast kunt maken. Ik doe daar nu oefeningen mee. Helpen dat soort dingen?

User-1:	Wanneer moet je naar de dokter? Hoe erg moeten de klachten zijn?

User-1:	Mijn oudste broer en zus hebben alletwee RSI, maar mijn jongste broertje niet. Terwijl die juist het meeste met computers werkt (hij is grafisch ontwerper, en werkt dus heel veel met een muis!). Dus mijn vraag is nu eigenlijk in hoeverre het erfelijk is.

User-1:	Ik zie lichtflitsen. Wat is er aan de hand?
Sys-1:	Intermitterende paraesthesieën in het palmaire deel van het door de n. ulnaris verzorgde gebied van de hand, distaal van de pols, OF pijn in het door de n.ulnaris geïnnerveerde gebied van de hand die uit kan stralen naar de onderarm.
User-2:	Huh?! Wat heeft dit met lichtflitsen te maken? {system detects negative feedback}
Sys-2:	Ik begrijp dat u niet tevreden bent over het antwoord. Kunt u uw vraag herformuleren als 1 korte zin? {problematic question handling: system detects multiple sentences}

User-1:	wat is er te doen aan een .... {Word is not understood}
Sys-1:	ik heb de vraag niet begrepen, kunt u hem herformuleren?

User-1:	..... {system cannot understand what the user says}
Sys-1:	ik heb u niet kunnen verstaan, kunt u het herhalen?

User-1:	Hallo, ik wilde graag weten wat [...] wat is er te doen aan een [...] {User asks normal question, but starts with greeting}
Sys-1:	Goedendag. Ik heb de volgende antwoorden gevonden: ...

User-n:	Oke, bedankt. {user thanks system after system reply}
Sys-n:	Graag gedaan. U kunt met de knoppen afsluiten of een nieuwe dialoog beginnen.