의료 질 개선 활동 보고지침(SQUIRE) 소개와 적용

Review and Application of the Standards for Quality Improvement Reporting Excellence Guidelines in Korea

Article information

Qual Improv Health Care. 2023;29(1):85-100

Publication date (electronic) : 2023 June 30

doi : https://doi.org/10.14371/QIH.2023.29.1.85

Seong-Hi Park ¹, Young-Kyung Do ², Yoo-Sam Chung^,³

¹Professor, School of Nursing, Soonchunhyang University, Asan, Republic of Korea

²Professor, Department of Health Policy and Management, Seoul National University College of Medicine, Seoul, Republic of Korea

³Professor, Department of Otolaryngology, Asan Medical Center, University of Ulsan College of Medicine, Seoul, Republic of Korea

박성희¹, 도영경², 정유삼^,³

¹순천향대학교 간호학과

²서울대학교 의과대학 의료관리학교실

³울산대학교 의과대학 서울아산병원 이비인후과

Correspondence: Yoo-Sam Chung Department of Otolaryngology, Asan Medical Center, 88, Olympic-ro 43-gil, Songpagu, Seoul, 05505, Republic of Korea Tel: +82-2-3010-3710 Fax: +82-2-489-2773 E-mail: yschung@amc.seoul.kr

Received 2023 April 10; Revised 2023 May 16; Accepted 2023 May 31.

Trans Abstract

Globally, quality improvement (QI) activities are conducted in most health care institutions; however, results of QI activities are shared and communicated rather informally and often only among frontline practitioners. Unless QI activities, a cumulative experiential learning process in each healthcare institution, are shared widely through academic publication, scientific understanding in the QI field will remain a challenge. It was against this backdrop that in 2008 the Standards for QUality Improvement Reporting Excellence (SQUIRE) 1.0 was developed as a guideline for converting cases of QI activities to academic publications. Modifications and further developments in subsequent years led to a revised SQUIRE 2.0 in 2015. This review provides an overview of the development process of the SQUIRE 2.0 and the 18 major items, along with relevant examples for more concrete understanding. The SQUIRE 2.0 highlights the three basic elements involved in systematic efforts to improve quality of care, patient safety, and value: why a certain QI activity was conducted, what was found, and what was learned from it. The SQUIRE 2.0 is a guideline for reporting diverse methods used in QI activities that can be complex and multidimensional. Given that a large number of QI activities are reported in Korea each year in academic conferences, held by the Korean Society for Quality in Health Care and other professional societies, it is our hope that, by introducing the SQUIRE 2.0, this review can serve as a catalyst for converting QI activities to research studies and thereby for disseminating results of QI activities to a wider audience.

Keywords: Quality improvement; Quality of healthcare; Medical writing; Guideline

Ⅰ. 서론

근거중심의학의 발전과 더불어 임상 실무를 개선하기 위해 최선의 근거를 사용하는 구현 과학(implementation science)이 많은 관심을 받고 있다[1]. 이러한 맥락에 따라 현재 의료서비스를 보다 안전하고 신뢰할 수 있게 만들기 위해 질 개선 활동을 통한 많은 창의적 노력이 이루어지고 있다[2]. 의료법 제58조에 의한 의료기관 인증과 2016년 환자안전법의 시행은 우리나라의 병원급 이상 의료기관에서 질 개선 활동을 수행하게 하는 법적 근거가 되었다. 질 개선 활동은 실태 분석을 바탕으로 문제를 제기하며, 핵심 이슈에 대한 중재(개선)방안을 구축하고 실제 상황에 개선활동을 적용하여 의료서비스의 미비점을 개선하고, 지속적인 향상을 수행하는 것이다[3,4]. 그러나 이러한 개선 활동의 결과는 현장 실무자들 사이에서만 비공식적으로 공유되며, 가끔 소수의 저널에만 게시된다[5]. 과학 지식의 발전이 논문의 출판 없이는 상상할 수 없는 것처럼 질 개선의 많은 부분을 차지하는 경험적 학습이 출판을 통해 공유되지 않는 한, 개선 활동은 널리 퍼지기 어렵다[5,6].

사실 질 개선 연구는 사례 보고, 시계열 연구 또는 엄격한 설계의 무작위 배정 임상시험 등 다양하게 설계될 수 있다[7]. 그러나 질 개선 활동은 일반적으로 plan-do-check(study)-action (PDC(S)A) cycles이나 린(Lean), 식스 시그마(Six Sigma) 및 고장유형 및 영향분석(Failure Mode and Effect Analysis, FMEA)와 같은 프로세스 개선 기술을 사용하므로 다른 연구 설계와 차이가 있다[8-10]. 질 개선 활동은 새로운 지식을 생성하기 위한 연구보다는 개선 활동으로 관련 서비스의 긍정적인 변화를 확보하는 것이므로 매우 실용적이며, 다른 연구와 다르게 독점적이지는 않지만 종종 지역적 성격을 띈다[7]. 따라서 연구의 응용과 과학적 특성의 균형을 어떻게 맞추느냐가 질 개선 연구를 보고할 때 가장 큰 과제이며, 이러한 이유 등으로 논문의 출판 및 보급이 쉽지 않다[11].

1996년 무작위 대조군 연구(randomized controlled trials)의 보고 지침인 consolidated standards of reporting trials (CONSORT)이 발표된 이후[12] 학술계는 건강 관련 논문을 작성할 때 연구 보고의 질적 수준을 확보하기 위한 방법으로 연구유형별 보고지침을 마련하여 이를 준수하도록 권고하고 있다[13]. 사실 보건의료 분야의 연구결과는 의료정책이나 공중보건사업의 추진 및 신의료기술 등재 등 관련 제도와 정책 변화에 영향을 줄 뿐 아니라[14] 임상에서는 실제 환자의 진료 과정에 관련 연구결과를 활용하게 되므로[15] 다른 분야보다 연구결과에 대한 신뢰성이 중요하다.

이에 2008년 설립된 Enhancing the Quality Transparency of Health Research (EQUATOR) network는 문헌 보고를 투명하고 정확하게 하기 위해 만들어졌으며, 연구자들이 쉽게 찾아볼 수 있도록 연구유형별로 다양한 보고지침들에 대한 정보를 공개하고 있다[16,17]. EQUATOR network는 질 개선 연구의 보고지침도 다수 제공하는데 이 중 가장 대표적인 것이 Standards for QUality Improvement Reporting Excellence (SQUIRE)이다[18,19]. SQUIRE는 질 개선 연구의 보고를 표준화하며, 질 개선 연구의 가치를 알리고 저널 편집자와 논문 심사위원에게 질 개선 연구에 대한 인식을 제고하기 위한 목적으로 American Institute for Health Care Advancement와 Dartmouth Institute for Health Policy and Clinical Practice를 중심으로 국제협력그룹이 구성되어 개발된 보고지침이다[6,19]. SQUIRE 보고지침은 보건의료를 개선하는 방법에 대한 새로운 지식을 보고하기 위한 표준적 기틀을 제공한다. 이는 의료서비스의 질, 안전 및 가치를 개선하기 위한 시스템 수준의 활동을 설명하는 보고서를 위해 제안되었다[18,19].

우리나라에서도 각 의료기관에서 수행된 질 개선 활동 사례가 한국의료질향상학회나 대한환자안전학회 등을 중심으로 발표되고 있다. 특히 한국의료질향상학회의 추계학술대회에서는 질 개선 활동사례가 매년 평균 1,100-1,300편 접수되고, 250여편 이상 발표되고 있다. 이에 한국의료질향상학회에서는 각 의료기관에서 수행한 질 개선 활동사례를 보다 널리 보급하고 다른 의료기관에서도 활용하도록 지원할 목적으로 “How We Do It”이란 이름으로 별도의 원고 유형을 추가하여 게재하도록 권장하고 있다[20]. 따라서 이 연구는 전 세계적으로 질 개선 연구의 표준 보고지침으로 사용되는 SQUIRE를 소개하여 이 지침에 따라 국내의 질 개선 활동사례를 표준적 방법으로 출판하고 널리 알릴 수 있는 기반을 마련하기 위해 시도되었다.

Ⅱ. 본론

1. SQUIRE의 개발 과정

SQUIRE 1.0 보고지침은 약 3년간의 개발과정을 거쳐 2008년 처음 소개되었다[18]. 이는 질 개선 활동사례가 학술적 출판으로 이어질 수 있도록 지원할 목적으로 설계되었다. 18명의 학자와 29명의 사용자로 구성된 자문그룹은 초점집단면담 및 델파이 방법을 통해 투명성, 포괄성 및 엄격성을 강화한 보고지침을 출판하였지만 일부 항목에 대해 유용성 측면에서 사용자들과 의견을 좁히지 못한 문제가 대두되었다[21,22]. 이후 의료서비스의 질과 안전 및 가치를 개선하는 프로젝트의 중요성이 대두되면서[23,24] SQUIRE 1.0 보고지침은 2012년 서둘러 개정을 준비하였다.

SQUIRE 2.0은 18명의 전문가(편집자, 저자, 연구원 및 질 개선 전문가)로 구성된 국제 자문단을 중심으로 2013년과 2014년 두 번의 컨센서스 회의를 통해 개정안을 마련하고 시범 평가를 시행하였다. 44명의 저자가 개정된 SQUIRE 2.0 초안을 사용하여 논문을 작성하고, 보고지침의 유용성과 이해 가능성에 대한 피드백을 제공하였다. 이외에도 11명의 학술지 편집자와 반구조화된 인터뷰를 진행하고, 전 세계 450명 이상의 전문가에게 임시 초안에 대한 의견을 구하여 2015년 SQUIRE 2.0이 완성되었다[19].

2. SQUIRE 2.0 소개

SUIRE 2.0은 의료의 질, 환자안전 및 가치를 체계적으로 개선하는데 사용되는 많은 접근방식에 적용되도록 설계되었다. 연구방법은 일 기관에서의 PDC(S)A cycles를 활용하는 주기적 변화부터 대규모 프로그램의 후향적 분석, 다기관 무작위 대조군 임상시험에 이르기까지 다양하다. 따라서 필요에 따라 저자가 CONSORT나 Strengthening the Reporting of Observational studies in Epidemiology (STROBE)와 같은 다른 보고지침과 SQUIRE를 함께 사용하도록 권장한다[25]. 저자는 특정 원고에 모든 항목을 포함하는 것이 항상 요구되거나 가능한 것은 아니라는 점을 알고, SQUIRE 항목들과의 관련성을 고려하면서 사용할 수 있다. SQUIRE 2.0은 다양한 연구설계에서 사용되는 IMRaD (Introduction, Methods, Results and Discussion) 구조(structure)를 유지한다[26]. SQUIRE 2.0은 18개 항목으로 구성되어있다(Supplementary 1). 질 개선 프로젝트에 적용된 다양한 접근방법에 따라 저자는 18개 항목을 모두 포함하거나 경우에 따라 일부 항목이 부적절하거나 불필요할 경우 배제할 수 있다. 또한 모든 항목을 반드시 정의된 순서대로 보고할 필요도 없다[27]. 이 가이드라인은 강제 사항이 아니며 보고서를 작성하고자 할 때 참조하거나 스스로 점검할 수 있는 기틀을 제공한다. 보고서를 체계적으로 작성하고자 할 때 어떤 항목들을 어떻게 작성하는 것이 이상적인지에 대한 컨센서스에 해당한다. 그러므로 이 보고지침을 활용하는 것은 전적으로 연구자의 몫이며 각 세부 보고서에 따라 해당 내용은 달라질 수 있다.

3. SQUIRE 2.0 항목별 세부 설명

SQUIRE 2.0은 개별 항목에 대한 예시를 통해 보고지침을 자세하게 설명한다. 세부 설명은 SQUIRE 2.0을 사용하고자 하는 저자들의 이해를 돕기 위한 목적으로 미국, 스웨덴, 영국 및 캐나다의 질 개선 분야의 전문가들이 참여하여 다양한 질 개선 활동사례를 실례로 제시하였다.

1) 제목(title)

원고의 제목에서 의료 질 개선 프로젝트임을 알 수 있어야 한다. 이에 해당하는 영역은 의료의 질, 환자안전, 효과, 환자 중심, 적시성, 비용, 효율성, 형평성 또는 접근성이다. 예를 들면, 다음과 같이 제목을 선정할 수 있다. 제목은 가장 우선적으로 원고의 특징을 소개하므로 독자가 프로젝트에 대해 더 잘 알 수 있도록 간단하게 설명되어야 한다.

[예1] 제왕절개 수술 후 상처 감염률 감소: 노르웨이 산부인과 의원의 개선 프로젝트[28]

[예2] 영국의 4개 병원에서 환자안전을 개선하기 위한 대규모 조직적 개입: 혼합적 평가방법[29]

2) 초록(abstract)

초록은 프로젝트의 목적, 방법 및 범위를 나타내는 설명과 결과, 결론 및 권고사항을 포함하여 유익한 정보를 제공해야 한다. 초록의 목적은 두 가지이다. 먼저 초록은 검색 및 색인 생성을 위한 정확한 정보를 제공해야 한다. 따라서 저자는 해당 프로젝트가 의료 질 개선 분야임을 쉽게 알 수 있는 용어를 사용해야 한다. 이는 올바른 의학주제표목(Medical Subject Headings, MeSH)을 선정하는데도 도움이 된다.

[예1] 의료 질 관련 MeSH 용어(2015)

Health Care Quality, Access, and Evaluation; Quality Assurance; Quality Improvement; Outcome and Process Assessment (Healthcare); Quality Indicators, Health Care; Total Quality Management; Safety Management

[예2] 의료 질 개선과 관련된 주제어(keywords)

Quality, Safety, Evidence, Efficacy, Effectiveness, Theory, Interventions, Improvement, Outcomes, Processes, and Value

둘째, 초록은 일반적으로 배경, 목적, 방법, 중재, 결과, 결론과 같은 구조화된 형식으로 모든 주요 정보를 요약, 기술해야 한다. 독자가 자신이 연구와 관련되는지, 전체 원고를 읽고 싶은지 빠르게 결정할 수 있도록 판단하는데 충분한 정보를 포함해야 한다. Ovid 및 CINAHL과 같은 전자 데이터베이스(electronic database)는 초록을 토대로 기사를 색인화하므로 문헌 검색에서 빠르고 정확한 검색을 가능하게 하는 키워드와 문장을 포함하는 것이 중요하다. 바람직한 초록의 예시는 Supplementary 2을 참조하면 된다.

Supplementary 2에 제시된 초록 작성의 실례[30]에서는 설정 및 참가자에 대한 간략한 설명을 포함하여 일부 배경 정보가 제공되며 목표/목적을 명확하게 설명하였다. 방법에는 중재에 사용된 전략을 설명하고, 결과에서는 변화의 영향을 설명하는 데이터를 포함하였다. 결론에서는 프로젝트에 대한 간결한 요약, 성공으로 이어진 요인과 얻은 교훈을 제시한다.

3) 개선 문제 설명(problem description)

개선하고자 하는 문제, 즉 문제의 본질과 중요성을 설명한다. 여기서 문제는 환자나 직원 및 시스템 전체에 악영향을 미치거나 의료서비스 제공 시스템의 의도적 중단, 실패, 결함, 혼란 또는 기타 기능 장애를 말한다. 이 항목에서는 현재 임상 상황과 알고 있는 과학적 근거나 모범적 실무 표준 간의 차이를 강조해야 한다.

[예1] WHO가 1991년에 전세계적으로 모유 수유 권장을 위해 아기에게 친근한 병원 만들기 운동(Baby-Friendly Hospital Initiatives)을 성공적으로 구현했지만 미국 병원의 6.2%만이 이 목표를 달성하였다[31].

[예2] 여러 고품질 증거는 골반저 근육 운동(pelvic floor muscles training)이 분만의 위험을 증가시키지 않으면서 산후 요실금을 효과적으로 예방하고 개선할 수 있음을 보여주지만 실제 실천율은 높지 않다[32].

4) 사용 가능한 지식(available knowledge)

질 개선 연구에서 다루는 특정 질문과 사용할 문헌적 근거 간의 관계를 구체적으로 설명해야 한다. 관련 근거와 개선 문제에 대해 알려진 현재 문헌들을 제시하면, 개선 프로젝트에 대한 배경과 지원을 제공하고 지속 가능한 성공 가능성을 높인다.

[예1] 중심정맥관 장치는 박테리아가 환자의 혈류로 유입될 위험이 있고 전신 감염을 촉진하며 패혈증 발병에 기여한다. 발열 환자에 대한 신속한 확인과 항생제 투여가 중요하다. 초기 항생제 투여 시간의 지연은 열성 호중구감소증 환자의 불량한 결과와 관련이 있다. 초기 항생제 투여 시간(time to antibiotic, TTA)은 소아암센터에서 진료의 질을 측정하는 지표로 사용된다. 설문조사 결과, 대부분 센터에서 도착한 후 60분 이내 항생제를 투여하였다[33].

[예2] University of North Carolina Hospitals의 응급실에서는 19세 미만 소아환자 14,000명을 포함하여 매년 약 65,000명의 환자를 치료한다. 중심정맥관과 열이 있는 외래환자의 급성 관리가 종종 응급실에서 이루어진다. 그러나 10개월간의 진료 환자를 조사한 결과, 도착 후 60분 이내 항생제를 투여받은 환자는 63%에 불과한 것으로 나타났다[34].

5) 이론적 근거(rationale)

근거는 저자가 해당 중재가 개선 효과가 있을 것이라고 기대하는 이유를 나타낸다. 질 개선 활동에서 저자는 근거를 제시하는 것이 중요하다. 근거가 없다면 경험적 연구에서 배울 점을 찾기 어렵거나 질 개선 연구를 통해 지식을 축적하고 발전시킬 수 있는 기회가 제한될 수 있다. 이 항목은 중재의 구성을 설명하고 중재가 작동하는 매커니즘을 기술하거나 질 개선 활동의 장벽을 확인하고 해결책을 설명하는데 도움이 될 수 있다. 저자는 한 가지 이상의 방식으로 근거를 표현할 수 있다. 적합한 이론적 근거는 중재의 효과 뿐 아니라 그 효과를 평가할 수 있다. 명시적 근거는 매커니즘 또는 변이에 대한 특정 가설을 만들고, 이 가설을 검증하여 새로운 지식을 얻을 수 있다. 따라서 이론적 근거는 중재를 최적화하고 매커니즘과 변이에 대한 증거를 축적하며, 중재에 대한 이론적 이해를 발전시키는 기반을 마련한다.

[예] 우리 팀은 사회·기술적 장벽을 이해하기 위해 다양한 질적 방법을 사용하였다. 자료 수집의 각 단계에서 우리는 FITT (Fit between individuals, Task, and Technology) 모델에 따라 데이터를 분류하였다. FITT 모델에 표현된 사회기술이론이 질 개선 활동에 대한 촉진제와 장벽을 확인하고 명확히 설명할 수 있는 방법을 보여준다[35].

6) 구체적인 목표(specific aims)

질 개선 프로젝트가 수행된 이유와 보고서의 목표를 설명한다. 개선 활동의 목표를 명확히 하고 완전하고 정확하게 기술하는 것은 필수적이다. 이 항목은 문제의 본질과 중요성, 서론에서 확인된 품질, 환자안전 및 가치의 격차와 일치해야 하며 중재의 근거를 반영해야 한다.

[예] 이 연구는 국가안전지표 11에서 명시한 수술 후 호흡부전을 예방하기 위한 관리가 원격 학습 방식으로 이루어지는 Institute for Healthcare Improvement의 혁신 시리즈 프로세스인 공동 질 개선 프로젝트에서 개선여부를 확인하기 위해 수행되었다[36].

7) 주요 상황(context)

이는 독자가 연구결과를 자신의 상황에 적용할 수 있는지, 연구자가 중재결과를 해석할 때 상황 요인의 역할을 판단하는데 도움이 된다. 따라서 질 개선 프로젝트 초기에 중요하다고 생각한 상황적 요소를 기술해야 한다. 상황 정보를 포함해야 하는 이유는 두 가지이다. 첫째, 자신의 환경에도 해당 중재가 작동할 수 있는지 알아볼 수 있고, 둘째, 해당 상황에서 연구자가 성공적인 중재 역할을 할 수 있을지 판단할 수 있게 한다. 성공 가능성을 최적화하기 위해 구체적이고 관련 있는 상황적 요소는 중재를 설계할 때 고려되어야 하며, 이러한 요소를 측정하고 이들이 중재의 성공과 어떻게 상호작용했는지 탐색되어야 한다. 일반적으로 위치, 환자 수, 규모, 인력 배치, 진료 유형, 교육 상태, 시스템 제휴 및 관련 프로세스에 대한 정보가 포함된다.

[예] 대도시 소아의료센터인 Cincinnati Children’s Hospital Medical Center의 골수이식팀(Bone Marrow Transplant, BMT)은 연간 100-110건의 이식을 수행한다. BMT병동에는 24개 병상이 있으며 환자의 60-70%는 심장모니터를 사용하고 있다. 의료인은 14명의 BMT 전문의, 15명의 전임의, 7명의 전문간호사와 6명의 입원전문의가 근무한다. 또한, BMT 병동에는 130명의 일반간호사와 30명의 진료보조원이 있다[37].

8) 중재(interventions)

기초 연구에서 실험하는데 필요한 시약, 장비, 화학약품 및 재료의 양, 사양 및 사용에 대한 정확한 세부 정보를 제공하는 것과 마찬가지로 질 개선 중재에 대한 설명도 충분한 세부 정보를 기술하여야 다른 사람들이 이를 재현할 수 있다. 세부정보에는 중재 방법, 빈도, 수량, 재료 또는 도구의 사용 등을 자세히 설명해야 한다. 질 개선 연구의 중재는 종종 획일적이지 않으므로 각 중재를 개별적으로 설명해야 한다. 또한 질 개선에 관여하는 인원은 중재 결과에 영향을 미치므로 교육 및 훈련 수준, 임상 경력, 팀 리더십 외에도 다학제적 협력 여부 및 연구자 지원 등에 대한 중재팀의 구성을 구체적으로 기술해야 한다. 중재법에 대한 추가 지침은 TIDieR 체크리스트를 참조할 수 있다[38].

[예] 의사, 간호사 및 보건전문가를 포함한 연구 병동의 모든 의료종사자는 실시간 위치추적 시스템(real-time location system, RTLS)의 연구에 참여하였다. RTLS와 연구를 소개하는 포스터도 연구 병동에 게시되었다. 감사관(auditors)은 병원의 규범에 따라 흰색 실험복을 입었으며, 감사관으로 식별되지는 않았지만 일부 의료종사자들은 인식할 수 있었다. 감사관은 연구 가설을 알지 못했고 Ontario Just Clean Your Hands 프로그램에 따라 손위생 감시가 시행되었다[39].

9) 중재 효과에 대한 분석(study of interventions)

중재의 효과를 평가하고 중재와 중재 결과 간의 관계를 확인하는데 사용되는 방법을 설명한다. 이는 수행된 중재에 대한 반성, 관련된 시스템 및 사람에 대한 영향, 중재의 내적 및 외적 타당도에 대한 평가이다. 저자가 중재 효과가 있다고 생각하는 이유를 명확히 알 때 성공 또는 실패의 대상, 시기, 이유 및 방법을 평가하는 경로가 더 쉬워지기 때문에 강력한 근거가 있으면 매우 용이하다. 중재 효과는 사용된 연구설계를 통해 달성될 수 있다. 예를 들어 계단식 쐐기 설계(stepped wedge design)나 비교 대조군(comparison control group)을 사용하여 중재의 효과를 분석할 수 있다. 중재의 효과는 이해관계자 만족도 조사, 포커스 그룹 인터뷰 및 일대일 면담을 통해서 평가할 수 있다. 저자는 이러한 평가가 내부 또는 외부팀에 의해 수행되었는 지와 저자와 평가자 간의 관계 및 평가 시기 등을 설명해야 한다.

[예] 환자와 가족에 대한 중재에 대한 인식과 소아에서 성인 치료로의 전환 과정에 미치는 영향을 측정하기 위해 질 개선 중재 시작 시점과 롤아웃(rollout) 프로세스 18개월 후 소아 낭포성 섬유증 클리닉에서 설문조사를 실시하였다. 설문조사에는 인구학적 자료와 전환 자료(안내 및 현장 메모의 유용성, 필기노트 및 안내서의 실제 사용, 클리닉 및 가정에서 사용된 특정 필기 메모의 구성요소)에 대한 폐쇄형 질문이 포함되었다. 우리는 또한 개방형 피드백도 이끌어 내었다. 전환 프로그램이 시작 전과 후에 환자가 소아청소년과에서 성인 클리닉으로 이송된 방식을 평가한 후 후향적으로 의무기록을 검토하였다. 또한, 체질량지수(body mass index)와 성인 센터로 이송된 1년 후 입원의 차이를 평가하였다[40].

10) 측정지표(measures)

측정지표는 의료서비스를 평가하기 위해 일반적인 지표를 사용하거나 프로젝트의 특성에 따라 특별히 설계할 수 있다. 평가자는 개선에 대한 노력과 결과를 측정할 때 상황도 고려해야 한다[41]. 정량적 측정 외에도 정성적 방법인 면담이나 관찰로 얻은 자료를 결합하는 혼합방법 설계(triangulation)를 사용할 수 있다. 이는 실제 현상에 대한 풍부한 정보(그림)를 제공하고 도출된 추론에 대한 신뢰를 갖게 한다. 사용되는 측정 및 데이터의 유형은 프로젝트의 특성, 데이터 가용성, 타당도 및 자원의 한계에 따라 달라진다. 이상적인 측정은 완전하고 정확한 데이터의 사용 등으로 신뢰도를 높이지만 현실적으로 완벽하기는 어렵다. 독자는 데이터의 완전성과 정확성을 평가하는데 사용된 방법을 통해 도움을 받을 수 있으며, 데이터와 이를 통해 도출된 추론을 비판할 수 있다.

[예] 환자안전 문화 개선 및 변혁적 효과는 병원 직원의 태도에 대한 설문조사 전후에 직원의 사기, 태도 및 문화 측면을 평가하기 위해 검증된 설문지인 NHS National Staff Survey를 사용하여 수행하였다. 치료 결과 개선은 부작용과 사망률을 확인하기 위해 case notes를 검토하고 검증된 환자만족도 설문지인 NHS Patient Survey를 사용하여 환자 경험의 개선 사항을 평가하였다[29].

11) 분석방법(analysis)

질 개선 연구에 설명된 분석방법은 이론적 근거, 프로젝트 목표 및 데이터의 조건과 일치해야 한다. 정성적 접근 방식은 원인 결과도(fishbone diagrams), 환자 및 가족과의 구조화된 인터뷰, Gemba walks 등이 포함되고, 정량적 접근방식은 시계열 분석, 그룹간 분석이나 로지스틱 회귀분석 등이 대표적이다. 정성 및 정량적 데이터를 함께 분석할 경우 시각적인 순서도를 표시하는 가치 흐름 매핑(value stream mapping)이나 물리적 움직임에 대한 거리를 보여주는 스파게티 지도(Spagetti map) 등이 사용되면 효과적이다.

[예] 우리는 U-Chart에 표시된 가족-활성화 MET(Medical Emergency Team)의 기본 프로세스 측정과 통계적 방법을 사용하였다. 이 차트는 특수 원인 변동과 일반 원인 변동을 구별하기 위해 확립된 규칙을 사용하였다. 다음으로 활성화 4시간 이내에 ICU로의 전동과 관련된 가족-활성화 대 의료인-활성화 MET의 비율을 계산하였다. 카이 제곱 검정법(χ²-Tests)을 사용하여 이 비율을 비교하였다[42].

12) 윤리적 고려(ethical considerations)

SQUIRE 2.0은 연구의 윤리적 영향을 보고할 때 지침을 제공한다. 독자들에게 잠재적인 윤리 문제가 질 개선 활동을 설계하고 수행하고 보급하는 모든 과정에서 고려되었음을 기술해야 한다. 독립적으로 검토되었는 지와 잠재적인 이해 충돌을 포함하여 저자가 보고할 수 있는 주요 윤리 문제를 강조한다. 윤리적 고려에 대한 기대치는 국가나 기관마다 다르지만[57] 인간 대상 연구를 수행할 때 별도의 검토과정이 있다. 잠재적인 이해 상충을 피하는 것은 다른 연구에서와 마찬가지로 질 개선 연구에서도 중요하다. 저자는 "conflict of interests"라는 제목 하에 잠재적인 이해 충돌에 대한 명확하고 자세한 정보를 독자에게 제공해야 한다.

[예] Acknowledgement: 저자는 연구대상 병원의 간호사 및 의료진의 협조에 감사드린다.

Conflict of interests: VitalPAC은 The Learning Clinic Ltd(TLC)와 Portsmouth Hospitals NHS Trust(PHT)가 공동으로 개발하였다. PHT는 지적 재산권 사용에 대한 비용을 지불하기 위해 TLC와 로열티 계약을 맺었다. Prytherch 교수와 Schmidt, Featherstone 및 Meredit 박사는 PHT에 근무하고 있다. Smith 교수는 2011년 3월까지 PHT의 직원이었다. Schmidt 박사와 Smith 교수 및 Prytherch 교수의 아내는 TLC의 주주이며, Smith 교수와 Prytherch 교수, Schmidt 박사는 TLC의 무보수 연구고문이다.

Ethical approval: 이 연구에 대한 지역 연구 윤리 위원회 승인은 Isle of Wight, Portsmouth and South East Hampshire 연구윤리위원회로부터 받았다(study ref. 08/02/1394) [43].

13) 연구결과(results)

질 개선 활동은 주어진 상황에서 어떤 중재가 원하는 결과를 가져올 것인지에 대한 이론적 근거 또는 가설을 기반으로 한다. 그러나 시간에 따라 중재와 상황 사이에 상호작용이 생겨 이러한 가설이 재평가되어 중재가 실제 상황에 더 적합하게 지속적으로 조정되고 최적화된다. 이러한 과정은 연구방법에 기술되어야 하지만 시간의 경과에 따른 중재 결과의 변형은 결과에 기술되어야 한다. 따라서 결과에서는 이러한 진화와 관련된 결과를 모두 설명해야 한다. 개선 사례를 기술할 때 독자에게 초기 중재 및 진화 방법에 대한 특정 정보를 주어야 한다. 이는 텍스트 외에도 표와 그림의 형태로 제공할 수 있다. 또한 의도한 대로 중재가 실제로 발생한 시간의 비율과 같이 충실도를 평가하기 위해 중재 구현에서 달성한 성공 정도를 보고하는 것이 중요하다.

[예1] 계획단계에서 기준을 충족하는 479명의 환자가 포함되었다. TAA 전달을 추적했고 도착 60분 이내 항생제를 투여 받은 환자의 비율이 8개월 후 63%에서 99%로 증가하여 목표인 90%를 초과하였다. 관리도(control chart)는 2011년 6월 이니셔티브 목표가 처음 달성된 후 3단계까지 1시간 이내 항생제 투여가 안정적으로 이루어졌으며, 24개월 동안 지속됨을 보여주었다[34].

질 개선 연구를 보고할 때 어려운 점 중 하나는 중재의 성공 또는 실패에 대한 상황(맥락)의 영향이다. 가장 일반적으로 보고되는 상황적 요소는 조직/진료 유형, 볼륨, 지불자 혼합, 전자 건강 기록 사용 및 지리적 위치를 포함한 구조적 변수이다. 질 개선 성공과 관련된 다른 상황적(맥락적) 요소에는[44,45] 최고 경영진의 리더십, 조직 구조, 데이터 인프라/정보 기술, 활동에 대한 의사 참여, 변화에 대한 동기 및 팀 리더십이 포함된다[46].

[예2] 질 개선 활동 측면에서 76개 진료 중 2/3(67%)가 당뇨병에 집중되었고 나머지는 천식에 집중되었다. 진료의 42%는 가정의학과, 26%는 소아과, 13%는 내과에서 이루어졌다. 건강보험이 적용되는 환자와 보험이 없는 환자의 비율을 각각 20%와 4%였다. 실무의 절반은 지방이었고, 반은 전자의무기록을 사용하였다. 당뇨병 또는 천식 측정에 대해 첫 해 50%에서 78%로 실무 관행이 개선되는 경향을 보였다[47].

가능하면 질 개선 연구의 결과에서 누락된 데이터를 설명해야 한다. 그렇게 하면 독자가 분석의 잠재적 편향을 이해할 수 있고 연구 결과에 중요한 맥락을 추가할 수 있다. 저자는 기술적인 문제나 데이터 입력 오류, 시간이 지남에 따라 초기 참여자의 감소 또는 후속 조치에 실패한 환자와 같이 데이터가 누락된 이유를 명확하게 설명하는 것이 중요하다. 데이터를 복구하기 위해 팀에서 수행한 노력을 설명하고 누락된 데이터에 대한 사용 가능한 세부 정보를 제공해야 한다.

[예3] 시행 후 69% (122/178명)의 환자/가족에게 연락하였다. 전화 또는 이메일 등의 후속 연락을 받지 못한 56명(31%)의 환자 중 34명은 의무기록의 검토를 위해 병원에서 또다른 만남을 가졌다. 9명의 환자는 심장내과에서, 7명은 신경과에서 평가되었다. 이러한 결과 심장 또는 신경학적 상태로 최종 진단된 환자는 없었다[48].

14) 요약(summary)

토론의 첫 단락에 질 개선 연구의 요약이 기술된다. 이 단락은 주요 발견사항을 기술하고, 이를 토대로 이후 토론에서 자세한 탐색으로 연결하기 위해 요구된다. 요약에서는 해당 연구의 강점과 특징을 명확하고 간결하게 설명한다. 따라서 독자에게 토론 내용을 적절하게 소개하고 연구결과와 그 의미에 대한 설명을 제공할 수 있다.

[예] 지난 6년의 경험에서 가족에 의한 MET 활성화는 드물었다. 통화량이 가장 많았던 해에 가족들은 월 평균 2.3회 통화하였다. 비교하면, 병원은 동일기간 동안 월 평균 8.7회의 의료인-활성화가 발생되었다. 가족-활성화는 의료인-활성화 MET보다 ICU 전동이 더 적었지만 전화 통화 중 24%가 ICU 전동을 요구하였다. 가족-활성화 및 의료인-활성화 MET 호출 모두에서 상태 악화는 MET 호출의 가장 일반적인 원인이었다. 가족들은 아동 안전에 대한 두려움, 의료진의 대응 부족, 팀과 가족 간의 상호 작용이 무시되었다는 두려움을 더 일관되게 호소하였다[44].

15) 해석(interpretation)

질 개선 중재와 결과 간의 연관성에 대해 좀 더 자세히 설명하고 결과를 다른 문헌들과 비교하고, 일치 또는 불일치에 대한 이유를 분석한다. 또한 질 개선 프로젝트가 실무자 및 시스템에 미치는 영향과 연구결과와 예상 결과 간의 불일치 이유를 설명해야 한다. 마지막으로 연구의 비용 효율성과 재현 용이성도 설명되어야 한다.

[예1] 질 개선 중재 후 4회 이상 외래를 방문하는 환자의 비율이 크게 향상되었고 2012년에는 1년에 4회 이상 진료를 받는 환자 비율이 90%로, 계획된 목표를 달성하였다. 일정 프로세스에 대한 체계적인 접근 방식, 예약시간을 놓친 환자의 일정 조정 및 방문 여부 모니터링을 통해 연 4회 이상 진료를 받는, 국가적 권고를 충족하는 환자 수가 크게 증가하였다[61].

[예2] 이 연구를 통해 간단한 알고리즘을 따르는 것이 해당 프로그램의 일관성을 유지하는 데 도움이 된다는 것을 발견하였다. (중략) 간단한 이 프로그램은 다른 CF 클리닉에도 적용이 가능하다[62].

16) 제한점(limitation)

이는 연구의 일반화 가능성, 내적 타당도, 잠재적 약점을 제시하고 통제하기 위한 관점에서 연구의 제한점을 설명한다. 질 개선의 영향은 상황에 따라 다르지만 고려해야 할 잠재적 요인이 많기 때문에 연구자는 성공과 향후 적용 및 확인에 영향을 미칠 수 있다고 생각되는 한계적 상황을 기술하여야 한다.

[예] 이 연구에는 몇 가지 한계가 있다. 가족-활성화 MET에 대한 이 연구는 우리나라의 역사적 통제와 성과를 비교했으나, 우리는 관습적 경향이나 측정할 수 없는 혼동 요인을 조정할 수 없었다. 우리 개선 팀에는 MET 위원회의 리더와 환자 안전이 포함되었으나 가족 MET 통화에 영향을 미칠 수 있는 지속적인 개선 작업이나 시스템 변경을 인식하지 못하였다. 또한 가족 활성화 MET의 올바른 수준이 무엇인지는 불확실하고 상황에 따라 매우 다를 수 있다. 이는 다른 병원이나 센터에서 일반화 하기 어려울 수 있다[42].

17) 결론(conclusion)

질 개선 연구의 결론은 실무 및 정책 측면에서 해당 분야에 대한 확산 가능성 및 의의를 포함하여 질 개선 활동의 유용성을 다루어야 한다. 이는 토론에서 다루거나 말미에 별도의 섹션으로 기술할 수 있다. 임상 실무 및 후속 연구에 대한 연구의 중요성을 분석하고 질 개선을 위한 제언을 제공한다.

[예] 우리는 평균 소아과 간호사 인력 비율이 일반적인 의료 및 수술 조건을 가진 어린이의 병원 재입원과 강한 관련이 있음을 발견하였다. 우리가 아는 한, 이 연구는 소아과에서 직원 비율과 병원 재입원 사이의 연관성을 명시적으로 조사하고 발견한 최초의 연구이다. 우리의 발견은 보험자의 재입원 감소에 대한 국가적 권고를 고려할 때 병원 관리자에게 시사하는 바가 크다. 재입원을 줄이기 위한 간호의 역할은 전통적으로 입원 환경에서 간호사가 주도하는 퇴원 계획 프로그램과 복합 또는 만성 질환이 있는 환자를 위해 간호사 주도의 가정 간호에 중점을 두었다. 이러한 간호사 중심의 중재가 재입원을 상당히 감소시키는 것으로 나타났지만, 이 연구는 간호사에게 할당된 환자 수에 초점을 맞춤으로써 재입원 감소를 달성할 수도 있음을 시사한다. 소아과에서 간호사의 업무량을 4명 이하의 환자로 제한하면 재입원을 감소시킬 수 있다[49].

18) 연구비 출처(funding)

질 개선 연구를 위한 연구비 출처는 다른 학술 문헌과 유사하게 원고 끝에 명확하게 명시되어야 한다. 프로젝트에 재정적으로 기여한 모든 조직, 기관들이 표기되어야 한다. 연구비 출처에 의해 연구가 편향될 가능성이 있다. 외부 당사자가 개선 결과에 영향을 주었는지를 독자가 평가할 수 있게 연구비 출처를 충분히 밝히고 설명하여야 한다.

[예] 이 연구는 캐나다 보건 연구소, 온타리오 보건 및 장기요양부, 그린 실드 캐나다 재단, 토론토 대학교 의과 대학 및 학술 기금 계획 혁신 기금에서 자금을 지원 받았다. 연구비 제공자 또는 후원자는 연구 설계, 연구 수행, 자료의 수집, 관리, 분석 또는 해석이나 연구의 준비, 검토 또는 승인 과정에서 어떤 역할도 하지 않았다[50].

Ⅲ. 결론

SQUIRE 2.0은 국제적으로 다양한 전문가의 참여와 시범 평가를 통해 질 개선 활동의 중요성을 고려, SQUIRE 1.0에 대한 빠른 개선을 시도한 결과로 발표되었다. 보건의료에서 질 개선을 목표로 하는 프로젝트는 종종 복잡하고 다차원적이며 실제 효과는 상황에 따라 다양하게 나타난다. SQUIRE 2.0은 다양한 접근 방식으로 얻은 결과를 이 분야의 지식 발전에 기여할 수 있는 공통적인 방법론을 제공한다. 이 원고에서 SQUIRE 2.0을 예시와 함께 자세히 소개한 것은 각 의료기관에서 의료서비스의 질, 환자안전 및 가치를 개선하기 위한 활동을 연구 논문으로 발표(전환)하는데 도움을 주기 위함이다. 지난 20년 동안 의료 질 개선의 급속한 성장을 감안할 때, 이 분야의 발전을 위해 각 질 개선 활동 사례의 성공과 실패에 대해 공유하는 것이 필수적이다. SQUIRE 2.0에서 다루는 주요 개념을 이해함으로써 향후 저자들이 질 개선 활동을 널리 알리기 위한 작업에 도전할 수 있기를 기대한다. 보고지침의 각 항목에 대해 주요 핵심내용만을 추려 기술하였지만 더 자세한 내용을 탐구하기 위해서는 SQUIRE network의 웹 사이트(www.squire-statement.org)에 접근하면 더 많은 정보를 얻을 수 있다. 뿐만 아니라 함께 제공되는 용어집도 질 개선 논문을 작성할 때 도움이 될 수 있다. 개선에 대해 글을 쓰는 것은 어려운 일이지만 과학 간행물을 통해 성공, 실패 및 개발을 공유하는 것은 의료서비스를 개선하는 데 필요한 기본 작업이다.

Supplementary

Supplementary 1

개정된 SQUIRE 2.0 보고지침

qih-29-1-85-Supplementary-1.pdf

Supplementary 2

초록 작성의 실례

qih-29-1-85-Supplementary-2.pdf

Notes

Funding

None

Conflict of Interest

None

References

1. Peters DH, Adam T, Alonge O, Agyepong IA, Tran N. Implementation research: what it is and how to do it. BMJ 2013;347(3):f6753.

2. Djulbegovic B. A framework to bridge the gaps between evidence-based medicine, health outcomes, and improvement and implementation science. Journal of Oncology Practice 2014;10(3):200–2.

3. Likosky DS. Developing and executing quality improvement projects (concept, methods, and evaluation). Journal of Extra-Corporeal Technology 2014;46(1):38–44.

4. Batalden PB, Davidoff F. What is “quality improvement” and how can it transform healthcare? Quality & Safety in Health Care 2007;16(1):2–3.

5. Davidoff F, Batalden P. Toward stronger evidence on quality improvement. Draft publication guidelines: the beginning of a consensus project. Quality & Safety in Health Care 2005;14(5):319–25.

6. Goodman SN. Toward evidence-based statistics 1. The P value fallacy. Annals of Internal Medicine 1999;130(12):995–1004.

7. Portela MC, Pronovost PJ, Woodcock T, Carter P, Dixon-Woods M. How to study improvement interventions: a brief overview of possible study types. BMJ Quality & Safety 2015;24(5):325–36.

8. Berwick DM. The science of improvement. JAMA 2008;299:1182–4.

9. Taylor MJ, McNicholas C, Nicolay C, Darzi A, Bell D, Reed JE. Systematic review of the application of the plan-do-study-act method to improve quality in healthcare. BMJ Quality & Safety 2014;23(4):290–8.

10. Perla RJ, Provost LP, Parry GJ. Seven propositions of the science of improvement: exploring foundations. Quality Management in Health Care 2013;22(3):170–86.

11. Alexander JA, Hearld LR. The science of quality improvement implementation: developing capacity to make a difference. Medical Care 2011;49(Suppl):S6–S20.

12. Begg C, Cho M, Eastwood S, Horton R, Moher D, Olkin I, et al. Improving the quality of reporting of randomized controlled trials. The CONSORT statement. JAMA 1996;276(8):637–9.

13. Davidoff F. News from the International Committee of Medical Journal Editors. Annals of Internal Medicine 2000;133(3):229–31.

14. Jung H-I, Kim H-E. Consolidated Standards of Reporting Trials: the reporting guideline for randomized controlled trials. Journal of Dental Hygiene Science 2014;14(3):269–75.

15. Shin C, Han C-S, Pae C-U, Patkar A. Tools for quality evaluation of clinical research reports. Clinical Pharmacology and Neuroscience 2011;22(2):67–72.

16. Simera I, Moher D, Hirst A, Hoey J, Schulz KF, Altman DG. Transparent and accurate reporting increases reliability, utility, and impact of your research: reporting guidelines and the EQUATOR Network. BMC Medicine 2010;8:24.

17. Equator Network. Enhancing the quality and transparency of health research. [Internet]. London, UK: The UK EQUATOR Centre; 2023 [cited 2023 Feb 10]. Available from: http://www.equator-network.org.

18. Davies L, Batalden P, Davidoff F, Stevens D, Ogrinc G. The SQUIRE Guidelines: an evaluation from the field, 5 years post release. BMJ Quality & Safety 2015;24(12):769–75.

19. Ogrinc G, Davies L, Goodman D, Batalden P, Davidoff F, Stevens D. SQUIRE 2.0 (Standards for QUality Improvement Reporting Excellence): revised publication guidelines from a detailed consensus process. BMJ Quality & Safety 2016;25(12):986–92.

20. Korean Society for Quality in Health Care. Submission guidelines for authors: how we do it. [Internet]. Seoul, Korea: Korean Society for Quality in Health Care; 2022 [cited 2023 Feb 10]. Available from: http://www.kosqua.net/index.php?hCode=-JOURNAL_04_02.

21. Grol RP, Bosch MC, Hulscher ME, Eccles MP, Wensing M. Planning and studying improvement in patient care: the use of theoretical perspectives. Milbank Quarterly 2007;85(1):93–138.

22. Rubenstein LV, Hempel S, Farmer MM, Asch SM, Yano EM, Dougherty D, et al. Finding order in heterogeneity: types of quality-improvement intervention publications. Quality & Safety in Health Care 2008;17(6):403–8.

23. Batalden P, Leach D, Swing S, Dreyfus H, Dreyfus S. General competencies and accreditation in graduate medical education. Health Affairs (Project Hope) 2002;21(5):103–11.

24. Cronenwett L, Sherwood G, Barnsteiner J, Disch J, Johnson J, Mitchell P, et al. Quality and Safety Education for Nurses. Nursing Outlook 2007;55(3):122–31.

25. Davidoff F, Batalden P, Stevens D, Ogrinc G, Mooney S, ; SQUIRE Development Group. Publication guidelines for quality improvement in health care: evolution of the SQUIRE project. Quality & Safety in Health Care 2008;17(Suppl 1):i3–i9.

26. Day RA. The origins of the scientific paper: the IMRAD format. American Medical Writers Association Journal 1989;4:16–8.

27. Ogrinc G, Davies L, Goodman D, Batalden P, Davidoff F, Stevens D. SQUIRE 2.0: standard per l’eccellenza nel reporting degli studi di miglioramento della qualità Revisione delle linee guida dopo un rigoroso processo di consenso. Evidence 2015;7(9)e1000119.

28. Dyrkorn OA, Kristoffersen M, Walberg M. Reducing post-caesarean surgical wound infection rate: an improvement project in a Norwegian maternity clinic. BMJ Quality & Safety 2012;21(3):206–10.

29. Benning A, Ghaleb M, Suokas A, Dixon-Woods M, Dawson J, Barber N, et al. Large scale organisational intervention to improve patient safety in four UK hospitals: mixed method evaluation. BMJ (Clinical research ed.) 2011;342:d195.

30. Reavey DA, Haney BM, Atchison L, Anderson B, Sandritter T, Pallotto EK. Improving pain assessment in the NICU: a quality improvement project. Advances in Neonatal Care 2014;14(3):144–53.

31. Feldman-Winter L, Ustianov J, Anastasio J, Butts-Dion S, Heinrich P, Merewood A, et al. Best fed beginnings: a Nationwide Quality Improvement Initiative to Increase Breastfeeding. Pediatrics 2017;140(1)e20163121.

32. Xing W, Zhang Y, Gu C, Lizarondo L. Pelvic floor muscle training for the prevention of urinary incontinence in antenatal and postnatal women: a best practice implementation project. JBI Database of Systematic Reviews and Implementation Reports 2017;15(2):567–83.

33. Geerlinks AV, Digout C, Bernstein M, Chan A, MacPhee S, Pambrun C, et al. Improving time to antibiotics for pediatric oncology patients with fever and suspected neutropenia by applying lean principles. Pediatric Emergency Care 2020;36(11):509–14.

34. Jobson M, Sandrof M, Valeriote T, Liberty AL, Walsh-Kelly C, Jackson C. Decreasing time to antibiotics in febrile patients with central lines in the emergency department. Pediatrics 2014;135(1):e187–e95.

35. Lesselroth BJ, Yang J, McConnachie J, Brenk T, Winterbottom L. Addressing the sociotechnical drivers of quality improvement: a case study of post-operative DVT prophylaxis computerised decision support. BMJ Quality & Safety 2011;20(5):381–9.

36. Zubkoff L, Neily J, Mills PD, Borzecki A, Shin M, Lynn MM, et al. Using a virtual breakthrough series collaborative to reduce postoperative respiratory failure in 16 Veterans Health Administration hospitals. Joint Commission Journal on Quality and Patient Safety 2014;40(1):11–20.

37. Dandoy CE, Davies SM, Flesch L, Hayward M, Koons C, Coleman K, et al. A team-based approach to reducing cardiac monitor alarms. Pediatrics 2014;134(6):e1686–e94.

38. Hoffmann TC, Glasziou PP, Boutron I, Milne R, Perera R, Moher D, et al. Better reporting of interventions: template for intervention description and replication (TIDieR) checklist and guide. BMJ 2014;348:g1687.

39. Srigley JA, Furness CD, Baker GR, Gardam M. Quantification of the Hawthorne effect in hand hygiene compliance monitoring using an electronic monitoring system: a retrospective cohort study. BMJ Quality & Safety 2014;23(12):974–80.

40. Okumura MJ, Ong T, Dawson D, Nielson D, Lewis N, Richards M, et al. Improving transition from paediatric to adult cystic fibrosis care: programme implementation and evaluation. BMJ Quality & Safety 2014;23(Suppl 1):i64–i72.

41. Harvey G, Jas P, Walshe K, Skelcher C. Analysing organisational context: case studies on the contribution of absorptive capacity theory to understanding inter-organisational variation in performance improvement. BMJ Quality & Safety 2014;24(1):48–55.

42. Brady PW, Zix J, Brilli R, Wheeler DS, Griffith K, Giaccone MJ, et al. Developing and evaluating the success of a family activated medical emergency team: a quality improvement report. BMJ Quality & Safety 2014;24(3):203–11.

43. Hands C, Reid E, Meredith P, Smith GB, Prytherch DR, Schmidt PE, et al. Patterns in the recording of vital signs and early warning scores: compliance with a clinical escalation protocol. BMJ Quality & Safety 2013;22(9):719–26.

44. Davidoff F, Dixon-Woods M, Leviton L, Michie S. Demystifying theory and its use in improvement. BMJ Quality & Safety 2015;24(3):228–38.

45. Michie S, van Stralen MM, West R. The behaviour change wheel: a new method for characterising and designing behaviour change interventions. Implement Science 2011;6:42.

46. Dainty KN, Scales DC, Sinuff T, Zwarenstein M. Competition in collaborative clothing: a qualitative case study of influences on collaborative quality improvement in the ICU. BMJ Quality & Safety 2013;22(4):317–23.

47. Donahue KE, Halladay JR, Wise A, Reiter K, Lee SY, Ward K, et al. Facilitators of Transforming Primary Care: A Look Under the Hood at Practice Leadership. Annals of Family Medicine 2013;11(Suppl 1):S27–S33.

48. Guse SE, Neuman MI, O'Brien M, Alexander ME, Berry M, Monuteaux MC, et al. Implementing a Guideline to Improve Management of Syncope in the Emergency Department. Pediatrics 2014;134(5):e1413–e21.

49. Berlinski A, Chambers MJ, Willis L, Homa K, Com G. Redesigning care to meet national recommendation of four or more yearly clinic visits in patients with cystic fibrosis. BMJ Quality & Safety 2014;23(Suppl 1):i42–i9.

50. Dhalla IA, O'Brien T, Morra D, Thorpe KE, Wong BM, Mehta R, et al. Effect of a Postdischarge Virtual Ward on Readmission or Death for High-Risk Patients. JAMA 2014;312(13):1305–12.

Article information Continued

This is an open access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0), which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited.