Family-centered care in neonatology

It has been validated the  Italian version of the questionnaire Empathic-N to explore  the experience and the satisfaction of parents (SG) of infants discharged from Neonatal Intensive Care Unit (NICU)  regarding  the family-centered care (FCC).

A recent European research indicates   as 2^nd research priorities in NICU, the topic  of the FCC. Moreover, more attention have online systems, to systematically evaluate the satisfaction of patients and their families with the services offered.

Objectives: To assess the quality of the FCC in NICU by administering a rediced version of Empathic-N to explore the experience and the SG of infants discharged from NICU , using an on-line system, compared to the survey with paper forms.

Methods and tools: multicenter observational cohort study, integrated with a qualitative section. The population  are the parents of newborns discharged or transferred from NICU that will be administered the questionnaire Empathic-N in print or online. The health personnel involved in the collection and analysis of data and the representatives of parents, participate in focus groups to explore the perception of the two collection data modes.

Expected results: the assessment of the feasibility and compliance of parents in the utilization of  the online system for continuous monitoring of the quality of the FCC in  NICU , detected through the reduced  Empathic-N 

 Key words: Family centered care, Parents, Patient satisfaction, Intensive Care-Neonatal, quality indicators  , Internet, sistemi on-line, survey. 

La nascita pretermine (<37 settimane) interessa in Europa tra  il 5% e il 12% dei neonati.⁽¹⁾ In  particolare quelli nati con un peso <1500 gr. necessitano di  assistenza intensiva. In Italia, nel 2013 sono nati 514.000 bambini, considerando la tendenza degli ultimi anni si ipotizza una percentuale di nati prematuri intorno al 7% del totale, di cui circa l’1% ha un peso inferiore a 1.500 grammi ed il 6,2% tra 1.500 e 2.500 grammi⁽²⁾  Inoltre  le terapie intensive neonatali (TIN) sono poco più di 100.⁽³⁾

L’assistenza centrata sul paziente rappresenta uno dei sei obiettivi del miglioramento della qualità di un’organizzazione sanitaria⁽⁴⁾ e va perseguito  anche in contesti  peculiari, come l’area critica neonatale, dove è  indirizzata al neonato e alla sua famiglia⁽⁵⁾. La soddisfazione dei pazienti ha avuto un crescente riconoscimento come criterio di valutazione della qualità del servizio offerto in ambito sanitario⁽⁶⁾ nonché  orienta eventuali  interventi di miglioramento. Essa riflette le preferenze personali e le aspettative del consumatore, nonché la realtà dell’assistenza ricevuta⁽⁷⁾. 

Già nel 2005,  Nicholas et Al, avevano descritto numerose esperienze di survey mirate alla  valutazione sistematica della percezione della soddisfazione dei pazienti, o dei loro genitori, rispetto all’assistenza ricevuta in ospedale⁽⁸⁾.  E’ stata anche sottolineata   l’importanza di questo processo continuo di Ratings of Quality, proprio ai fini del miglioramento continuo⁽⁹⁾. Inoltre, l’esplorazione della customer satisfaction  permette anche di individuare ambiti cruciali che determinano le scelte dei pazienti, a cui alle volte non si attribuisce il giusto valore, ma che altresì rappresentano elementi importanti per chi usufruisce di un servizio⁽¹⁰⁾.

Più recentemente, è stato descritto peraltro l’uso di strumenti on-line, per valutare i diversi servizi sanitari offerti,  come ad esempio l’accessibilità del pediatra⁽¹¹⁾. 

 Tornando alla FCC, anche in TIN, essa  si esplica attraverso diversi livelli, quali la  presenza, la partecipazione, il coinvolgimento e la partnership  dei genitori nel piano di cura del neonato, sottesi dall’empowerment e la negoziazione⁽¹²⁾.

Da una recente ricerca condotta con il metodo Delphi, a livello europeo, diversi esperti infermieri, nell’ambito dell’assistenza intensiva neonatale, hanno indicato le priorità di ricerca per i prossimi anni. Tra queste, una di quelle che ha ottenuto uno dei punteggi più elevati (ranking tra 1 e 6), è stata “i bisogni dei genitori e la famiglia” (media 5.04; SD 1.23). Sono inoltre stati desunti i diversi domini a cui afferivano suddette priorità di ricerca e quello relativo alla FCC, ha raggiunto il II posto, in termini di punteggio complessivo (4.84; SD1.29). E’ da notare la differenza tra il punteggio medio di  4.89 nelle regioni del Nord Europa, versus il punteggio medio di 4.50 delle regioni del Sud Europa.⁽¹³⁾ Gli stessi autori, infine, invitano all’inclusione dei genitori nella ricerca, come elemento essenziale per permettere un processo di empowerment e di coinvolgimento nell’assistenza.

Con tali premesse, la valutazione sistematica della soddisfazione e dell’esperienza dei genitori che hanno avuto un neonato in TIN, assume una valenza particolare, in quanto indicatore dell’efficacia dei diversi interventi di miglioramento dell’assistenza rivolta ai bambini e alle loro famiglie in contesti così critici e complessi.

 In letteratura è descritto come, al di là degli impegni teorici, la reale applicazione dell’assistenza centrata sulla famiglia non sia sempre così lineare e costante.^(14,15,16)

Ancora oggi si discute a livello italiano ma anche internazionale, sui requisiti di base per la messa in pratica dell’assistenza centrata sulla famiglia, quali  la presenza dei genitori, il timing d’ingresso e il ruolo che essi possono svolgere quando sono accanto al neonato^(17,18).

La valutazione della soddisfazione dei genitori in una realtà complessa come la TIN, richiede     strumenti  mirati e validi che permettano di misurare la loro esperienza, in considerazione anche del fatto che i genitori attribuiscono a numerosi ambiti dell’assistenza un’importanza maggiore che non quella espressa da infermieri e medici.⁽¹⁹⁾   

Diverse sono le modalità con le quali finora è stata esplorato il grado di soddisfazione dei genitori  dei neonati ricoverati in TIN, ed essi  indicano generalmente elevate livelli di soddisfazione, anche se la rigorosità della metodologia utilizzata non è stata approfondita.⁽²⁰⁾

 In questo panorama, il fatto stesso di valutare sistematicamente la soddisfazione indiretta (perché tramite i genitori) dei soggetti centrali del processo assistenziale assume diverse valenze: permette di comprendere “a che punto stiamo”, indica gli ambiti di miglioramento e può suggerire le direzioni del cambiamento, ci mette nelle condizioni di “assumere il punto di vista dell’altro” e di mettere a fuoco aspetti sui quali non si può aver fatto sufficiente attenzione.

In tal senso, l’esperienza dello studio multicentrico di validazione della versione italiana del questionario elaborato in Olanda, Empathic-N[1]⁽²¹⁾ ha fatto emergere tra i partecipanti allo studio, che, al di là dei risultati numerici forniti dalle risposte al questionario, il fatto stesso di cominciare a “valutare”, innescava un meccanismo virtuoso di miglioramento relativo agli item esplorati con il questionario stesso.

Con questo studio, si è ottenuto uno strumento sottoposto a validazione cognitiva tramite un rigoroso percorso di traduzione e adattamento culturale⁽²²⁾ e psicometrica, a disposizione di tutte le TIN italiane.^(23-24) 

    Costituito da 57 item, più quattro item di “soddisfazione generale”, l’Emphatic-N, riesce a esplorare in modo completo i diversi domini della FCC: l’informazione, l’assistenza e la cura

Disegno dello studio

 Il disegno di studio è di coorte osservazionale, multicentrico. Lo studio sarà integrato con una sezione qualitativa.

Popolazione

Lo studio verrà condotto in almeno 10 TIN, in riferimento alla numerosità dei pazienti dimessi/anno. Ai fini di questo studio e della numerosità della popolazione disponibile,   si prevede di includere i genitori di almeno 600 neonati in totale.

 Le TIN partecipanti verranno  individuate su base volontaria, considerando inoltre che siano  rappresentative in prima istanza delle TIN laziali o regioni limitrofe e in caso delle diverse aree geografiche italiane (in relazione alla disponibilità a partecipare senza oneri di spesa, indicativamente tre per ogni zona: Nord, Sud e Isole). Andrà esplorata la possibilità di coinvolgimento di TIN afferenti ad altri paesi.

I soggetti coinvolti saranno selezionati con criterio del cluster sampling  ( i primi due mesi  verrà proposto il questionario Empathic-N in forma cartacea e i due mesi successivi verrà proposto l’analogo questionario in formato on-line) e dovranno rispettare i seguenti criteri:

1.      Genitori dei neonati che hanno avuto un ricovero nelle TIN partecipanti allo studio.

Nei mesi in cui è previsto l’arruolamento del campione di genitori per l’utilizzo del sistema on-line, saranno arruolati i  genitori con possibilità di accesso a un personal computer o in possesso di smartphone o similari.   

Verranno esclusi i genitori dei pazienti ricoverati in TIN   che sono deceduti.   Verranno inoltre esclusi i genitori che non abbiano una sufficiente conoscenza dell’italiano tale da permettere  la comprensione e la compilazione del questionario.

2. Personale infermieristico,  medico e altro personale sanitario coinvolto nel processo di somministrazione e/o imputazione dei dati, in servizio presso le TIN partecipanti, nonché i coordinatori infermieristici e i responsabili delle UU.OO. di TIN. Verrà escluso il personale di sostituzione.  

3. Ove disponibili, verranno coinvolti i rappresentanti dei genitori presenti nella TIN, relativamente al processo di somministrazione dei questionari, imputazione e analisi dei dati.

Raccolta dati

Strumenti:

-          Versione ridotta del questionario Empathic-N in italiano, in formato cartaceo o on-line 

-          Scheda di rilevazione dati anagrafici e clinici del neonato (per es. diagnosi, età gestazionale, peso alla nascita, durata degenza), comprendente anche alcuni dati socio demografici dei genitori

-          Questionario per esplorare i dettagli della modalità di compilazione del questionario (per es. durata della compilazione, momento in cui è stato compilato il questionario, supporto utilizzato se personal computer o smartphone o similari, etc.)

 I diversi strumenti previsti dallo studio,  o i sistemi on-line utilizzati, verranno discussi e visionati insieme a dei rappresentanti dei genitori

Procedure:

-          I neonati verranno arruolati  al termine del ricovero del neonato in TIN, o comunque ad una distanza non superiore a 30 gg. e verrà somministrato il questionario ai genitori con le diverse modalità previste (cartaceo o on-line)

-          Contestualmente all’arruolamento dei neonati verrà compilata la scheda clinica del neonato, comprendente anche i dati socio demografici dei genitori

-          Il questionario relativo alla modalità di compilazione del questionario e la soddisfazione in relazione al metodo utilizzato, sarà somministrato contestulamente all’Empathic-N 

-          Tutti i materiali verranno testati in una fase pilota dello studio presso il centro coordinatore

-          Al termine del periodo di somministrazione dei questionari previsto, i ricercatori afferenti al centro coordinatore condurranno per  ogni TIN partecipante, un focus group in presenza o via computer con il personale sanitario che si occupa della somministrazione dell’Empathic-N e dell’imputazione e analisi dei dati. Verranno coinvolti nel focus group i rappresentanti dei genitori, ove disponibili

-          Suddette procedure verranno condotte per la durata di almeno due mesi (o fino al raggiungimento di almeno 300 questionari compilati), in cui verrà utilizzata la modalità cartacea e poi per altrettanti altri due mesi (o fino al raggiungimento di almeno 300 questionari compilati) in cui verrà utilizzata la modalità on-line

Trattamento ed elaborazione dati

I dati raccolti tramite questionario cartaceo verranno imputati su apposito data base (Exell), specificatamente elaborato.

I dati raccolti tramite questionario on-line verranno imputati direttamente dal sistema.

L’analisi statistica sarà condotta utilizzando STATA 12.0 (Stata Corp College Station, Texas USA), o altri software adeguati per la tipologia dei dati da trattare.

La statistica descrittiva prevederà il conteggio e le proporzioni per le variabili categoriche, e le medie, mediane , deviazione standard e range per le variabili continue.

Per l’analisi dei dati tra le due diverse fasi dello studio (modalità cartacea e poi on-line),      verranno valutate mediante test per dati appaiati le differenza  delle risposte fornite per i singoli items e per i relativi domini previsti dall’Empathic-N. 

La comparazione tra i sottogruppi verrà effettuata applicando il test Chi square o il Fisher test, dove appropriati. Per i dati continui, verranno applicati  il test di Student e il Mann-Whitney test non parametrico. L’analisi logistica multivariata verrà usata per esplorare le associazioni tra i dati socio demografici dei genitori e clinici dei neonati, con il grado di soddisfazione espresso tramite il questionario e con le diverse modalità di somministrazione. 

Tecniche di analisi qualitative verranno usate per le risposte alle domande aperte  del questionario dei genitori.

I focus group verranno registrati e trascritti, verrà poi condotta l’analisi dei contenuti tramite utilizzo del software NVivo e verrà condotta la triangolazione dei dati ai fini dell’individuazione dei temi e sottotemi.

Aspetti etici

Verrà richiesto il parere al Comitato Etico. 

-          I questionari per i genitori saranno anonimi, ma ad essi  sarà attribuito un numero, per permettere la corrispondenza con   la scheda contenente i dati clinici del neonato e i dati socio demografici dei genitori (anch’essa anonima). La tabella di corrispondenza sarà gestita dal responsabile dello studio, in modo che rimanga anonimo il contenuto del questionario. Verrà richiesto ai genitori di sottoscrivere il consenso informato.

-          Il diritto del genitore ad esprimere la valutazione della propria soddisfazione tramite la compilazione dell’Empathic-N, verrà garantito a prescindere dall’accesso o meno a un personal computer, o smartphone (o similari) come richiesto dallo studio. Ad essi infatti  verrà fornito comunque il questionario cartaceo.

-          Verrà chiesto al personale sanitario e ai rappresentanti dei genitori coinvolto nei focus group di sottoscrivere il consenso informato. 

Interpretazione dei risultati

I risultati dello studio   verranno discussi in riferimento a precedenti esperienze analoghe disponibili in letteratura in merito all’utilizzo di sistemi   on-line per la rilevazione della soddisfazione dei pazienti.

  I risultati   saranno discussi in relazione a:

-          L’efficacia e la compliance alle due diverse modalità di somministrazione del questionario.

-          Il grado di soddisfazione espresso dai genitori. Dal punto di vista dei genitori, il  questionario Empathic-N, permette di riflettere in modo completo sul concetto di FCC offerto dal servizio.  

-          Inoltre verranno trasmessi ai singoli centri partecipanti i propri risultati dei questionari Empathic-N, al fine di discuterli all’interno dell’U.O. e di evidenziare eventuali spunti di miglioramento, da implementare ove necessario.  

Modelli di diffusione dei risultati

I risultati verranno diffusi sia tramite partecipazione a convegni (per es. SIN, PNAE o ESPNIC), che tramite pubblicazioni nazionali e internazionali.

Sarà poi necessario individuare delle modalità per offrire un ritorno dei risultati della ricerca ai partecipanti stessi.  In tal senso, nel caso in cui la nuova modalità on-line risulti più efficace e accessibile per ottenere la compilazione del questionario Empathic-N, nonché per facilitarne l’imputazione e analisi dei dati, andrà esplorata una modalità che ne permetta la fruibilità nel tempo per tutte le TIN interessate. L’ipotesi potrebbe essere quella di un sistema on-line centralizzato, attraverso il quale ogni TIN possa avere garantito l’automatico accesso per i genitori afferenti alla stessa che compilano il questionario on-line, l’imputazione e relativa analisi dei dati, mantenendo la privacy della singola struttura, nonché dei pazienti. I risultati potranno essere visualizzati solo dal centro interessato, salvo previa esplicita autorizzazione, anche dal  centro coordinatore del sistema.

Dal presente studio ci si attende di ottenere i seguenti risultati:

1.              La versione ridotta del questionario Empathic-N in lingua italiana.     

2.              Una valutazione in merito alla fattibilità e la compliance dei genitori dell’uso di un sistema on-line per il monitoraggio costante della qualità della FCC in TIN, rilevata tramite l’Empathic-N

3. La descrizione dell’esperienza a soddisfazione dei genitori dei neonati dimessi o trasferiti dalle TIN partecipanti, rispetto alla FCC ricevuta

Indicatori della qualità scientifica:

-          N. TIN coinvolte

-          N operatori che hanno partecipato allo studio

-          N. dei neonati dimessi o trasferiti dalle TIN per i due periodi dello studio. N. dei neonati arruolabili e N. dei neonati arruolati.   N. genitori che hanno completato il questionario/N. genitori a cui è stato proposto il questionario. N. di genitori che non avevano accesso a personal computer o smartphone (o similari), nel periodo in cui veniva proposto il questionario on-line.

La numerosità adeguata del campione, secondo le indicazioni fornite dallo statistico, permetterà di generalizzare i risultati dello studio.

 Altri indicatori:

-          N. conferenze alle quali si presenta il lavoro

-          N. poster/comunicazioni accettati

-          N. report pubblicati su riviste indicizzate

-          N. conferenze organizzate per la presentazione del lavoro

Rilevanza:

lo studio assume nella realtà delle TIN una particolare rilevanza. Infatti la valutazione sistematica della qualità della FCC erogata in TIN e rilevata tramite la soddisfazione e l’esperienza dei genitori, rappresenta un elemento centrale del processo di miglioramento continuo della qualità. Tale necessità d’altro canto, richiede un processo di raccolta, imputazione e analisi dei dati, oneroso e non costantemente accessibile. 

Il fatto che tale rilevazione,  sia affidabile e valida, tramite uno strumento metodologicamente rigoroso come l’Empathic-N, disponibile in lingua italiana ed in formato ridotto, ma anche fruibile e di semplice accesso in relazione ai sistemi on-line esplorati con questo studio, potrebbe rappresentare un’innovazione realmente utile per le TIN.

1.        EURO-PERISTAT project in collaboration with SCPE, EUROCAT & EURONEOSTAT. European

Perinatal Health Report Data from 2004. Euro-Peristat; 2008 Disponibile all’indirizzo:

http://www.europeristat.com/images/doc/EPHR/european-perinatal-health-report.pdf; ultima consultazione 31/1/ 2013

2.        UFFICIO STAMPA SIN Società Italiana di Neonatologia. XX Congresso Nazionale SIN, settembre 2014. Disponibilie al sito http://www.neonatologia.it/upload/1785_CS_XX%20CONGRESSO%20SIN_2014%20-%20NETWORK%20NEONATALE.pdf, consultato il 28-2-2015.

3. Ronconi A, Corchia C, Bellù R, Gagliardi L, Mosca F, Zanini R, Donati S. Esiti dei neonati di basso peso nelle Terapie Intensive Neonatali partecipanti all’Italian Neonatal Network nel 2008. Roma: Istituto Superiore di Sanità; 2011. (Rapporti ISTISAN 11/44).

4. Committee on Quality of Health Care in America, Institute of Medicine. Crossing the quality chasm: a new health system for the 21st century. The National Academy Press,Washington, D.C., 2001.

5.        Davidson J, Powers K, Hedayat KM, Tieszen M, Kon  AA, Shepard  E et Al.  Clinical practice guidelines for support of the family in the patient-centered intensive care unit: American College of Critical Care Medicine Task Force 2004-2005 Crit  Care Med.  2007, 35(2): 605-622

6.        Grol R: Improving the quality of medical care: building bridges among professional pride, payerprofit, and patient satisfaction. JAMA 2001;286:2578-2585

7.     Ware, J. E., Snyder,M. K.,Wright,W. R., & Davies, A. R. (1983). Defining and measuring patient satisfaction with medical care. Evaluation and Program Planning, 6(3–4), 247–263.

8.     Nicholas G. Castle, Julie Brown, Kimberly A. Hepner andRon D. Hays. Review of the Literature on Survey Instruments Used to Collect Data on Hospital Patients' Perceptions of Care. Health Services Research Volume 40, Issue 6 p2, pages 1996–2017, December 2005.

9.     Gourdji, I, McVey L, Loiselle C.  Patients' Satisfaction and Importance Ratings of Quality in an Outpatient Oncology Center. Journal of Nursing Care Quality. January/February/March 2003 - Volume 18 - Issue 1 - pp 43-55

10. Anderson RT, Camacho FT and  Balkrishnan R. Willing to wait?: The influence of patient wait time on satisfaction with primary care. BMC Health Services Research 2007, 7:31. Disponibile al sito: http://www.biomedcentral.com/1472-6963/7/31 (consultato 28-2-2015)

11. Hanauer DA, Zheng K, Singer DC, Gebremariam A, Davis MM. Parental awareness and use of online physician rating sites.  Pediatrics. 2014 Oct;134(4):e966-75.

12. Smith L, Coleman V, Bradshaw M. Familiy centerd care. Palgrave 2002.

13.  Wielenga JM, Tume LN, Latour JM, van den Hoogen A.  European neonatal intensive care nursing research priorities: an e-Delphi study. Arch Dis Child Fetal Neonatal Ed. 2015 Jan;100(1):F66-71

14. Latour JM. Is family-centred care in critical care units that difficult? A view from Europe. Nurs Crit Care. 2005 Mar-Apr;10(2):51-3

15. Bruce B, Ritchie J. (1997). Nurses’ practices and perceptions of family-centered care. Journal of Pediatric Nursing; 12: 214–222

16. Petersen MF, Cohen J, Parsons V.  Family- centered care: do we practice what we preach? Journal of Obstetric, Gynecologic, and Neonatal Nursing; 33: 421–427

17. Greisen G, Mirante N, Haumont D, Pierrat V, Pallás-Alonso CR, Warren I et Al.  Parents, siblings and grandparents in the Neonatal Intensive Care Unit. A survey of policies in eight European countries.   Acta Paediatr. 2009 Nov;98(11):1744-50. 

18. Pallás-Alonso CR, Losacco V, Maraschini A, Greisen G, Pierrat V, Warren I  et Al. Parental involvement and kangaroo care in European neonatal intensive care units: a policy survey in eight countries. Pediatr Crit Care Med. 2012 Sep;13(5):568-77.

19.   Latour JM, Hazelzet JA, Duivenvoorden HJ, van Goudoever JB. Perceptions of parents, nurses, and physicians on neonatal intensive care practices. J Pediatr. 2010 Aug;157(2):215-220

20. Butt ML,   McGrath JM, Samra HA, and Gupta R. An Integrative Review of Parent   Satisfaction with Care Provided in the Neonatal Intensive Care Unit.  Journal of Obstetric, Gynecologic and Neonatal Nursing  2013, 42(1): 105-120

21. Latour JM, Duivenvoorden HJ, Hazelzet JA, van Goudoever JB. Development and validation of a neonatal intensive care parent satisfaction instrument. Pediatr Crit Care Med. 2012 Sep;13(5):554-9

22. Wild D, Grove A, Martin M, Eremenco S, McElroy S, Verjee-Lorenz A, Erikson P, ISPOR Task Force for Translation and Cultural Adaptation: Principles of Good Practice for the Translation and Cultural Adaptation Process for Patient-Reported Outcomes (PRO) Measures: Report of the ISPOR Task Force for Translation and Cultural Adaptation. Value Health 2005, 8:94-104

23. Dall’Oglio I,   Portanova A, Fiori M, Gawronski O,  Cocchieri A, Rocco G, Tiozzo E,  Latour JM. Translation and cultural adaption of the Dutch Empathic-N questionnaire for italian NICU settings to measure parents satisfaction. Pediatr Crit Care Med 2014 • Volume 15 • Number 4 (Suppl.): 143

24. Dall’Oglio I,  Portanova A,  Fiori M,  Gawronski O, Fida R, Cocchieri A, Rocco G,  Tiozzo E, Latour JM, Italian Empathic-N Study Group.  Implementing the family-centered care model, parents’ satisfaction and experiences in neonatology. Italian Journal of Pediatrics 2014, 40(Suppl 2):A47).

25. Latour JM, van Goudoever JB, Duivenvoorden HJ, Albers MJ, van Dam NA, Dullaart E, van Heerde M, de Neef M, Verlaat CW, van Vught EM, Hazelzet JA. Construction and psychometric testing of the EMPATHIC questionnaire measuring parent satisfaction in the pediatric intensive care unit. Intensive Care Med. 2011 Feb;37(2):310-8

26. Latour JM, Duivenvoorden HJ, Tibboel D, Hazelzet JA; EMPATHIC Study Group. The shortened EMpowerment of PArents in THe Intensive Care 30 questionnaire adequately measured parent satisfaction in pediatric intensive care units. J Clin Epidemiol. 2013 Sep;66(9):1045-50

27. Harrington JW, Bai R, Perkins AM. Screening children for autism in an urban clinic using an electronic M-CHAT. Clin Pediatr (Phila). 2013 Jan;52(1):35-41

28. Hun-Sung Kim, Wona Choi, Eun Kyoung Baek, Yun A Kim, So Jung Yang, In Young Choi, Kun-Ho Yoon, Jae-Hyoung Cho. Efficacy of the Smartphone-Based Glucose Management Application Stratified by User Satisfaction. Diabetes. Metab J 2014;38:204-210

29. Semple JL,  Sharpe S, Murnaghan ML, Theodoropoulos J, Metcalfe KA. Using a Mobile App for Monitoring Post-Operative Quality of Recovery of Patients at Home: A Feasibility Study. JMIR mHealth uHealth 2015;3(1):e18).

30.   Wallace L.S. A systematic review of smartphone applications for chronic pain available for download in the United States.2014  63-8, J Opioid Manag. 2014 Jan-Feb;10(1):63-8. doi: 10.5055/jom.2014.0193.

31. Reynoldson C. Assessing the Quality and Usability of Smartphone Apps for Pain   Self-Management.  2014; Pain Med  10.1111

32. Surveymonkey. Disponibile al sito: https://it.surveymonkey.com/mp/patient-satisfaction-survey/ consultato il 28-2-2015

33. DrScore. Disponibile al sito: all.http://www.drscore.com/ consultato il 28-2-2015