공연분야 공공 문화예술기관 성과평가지표의 상대적 중요도 분석: AHP 분석기법을 중심으로^*

공공 문화예술기관의 설치목적은 문화예술진흥법 제5조에 “문화예술 활동을 진흥시키고 국민의 문화향수기회를 확대하기 위하여 설치하고 운영하는 데에 있다”고 명시되어 있다(문화예술진흥법, 법률 제14429호, 시행 2017. 6. 21). 이는 공공 문화예술기관의 설립이 국민들에게 공공 서비스를 제공하려는 취지와 연계되어 있다는 것을 의미한다(배용수, 2000: 6). 우리나라에 설립되어 있는 공연분야 공공 문화예술기관은 법적 주체에 따라 국립 문화예술기관, 공립 문화예술기관으로 분류된다. 국립 문화예술기관은 다시 문화체육관광부(이하 문체부) 소속 기관과 산하 기관으로 분리될 수 있다. 소속 기관은 국립국악원, 국립중앙극장, 국립중앙박물관과 같이 운영비가 전부 국고로부터 충당되는 조직을 의미한다.³⁾ 산하 기관들은 예술의전당, 정동극장, 국립발레단, 국립오페라단 등과 같이 특별법인이나 재단법인의 형태를 띠고 있지만 국립 문화예술기관으로서 정부예산의 지원을 받는 기관들을 뜻한다.⁴⁾ 그리고 문화예술진흥법에 근거하여 각 지방자치단체에는 최소 1개 이상의 문화예술기관이 있는데 이는 서울과 수도권에 집중되어 있는 문화예술시설의 접근성을 낮추기 위한 목적을 가지고 있다(이철순, 2010: 272; 허은영, 2010: 3).⁵⁾

공연분야 공공 문화예술기관들은 많게는 전체 예산을, 적게는 사업비의 일부를 중앙정부로부터 보조받아 운영되고 있다. 국민들의 ‘문화예술의 향유’를 목적으로 설립된 기관들에 적극적으로 재원을 제공하는 것은 국가의 법적인 의무이자 국민들에게는 권리이기도 하다(왕치현 외, 2010: 323).⁶⁾ 국가가 문화예술에 개입하는 논리는 주로 시장실패이론에서 비롯되어왔다. 특히 문화예술은 가치재(價値材)의 특성을 지니고 있는데, 이는 문화예술이 여러 측면에서 가치를 가지고 있음에도 민간에서 바람직한 수준으로 일어나지 않기 때문에 정부에서 경험하고 소비하도록 도움을 주어야 한다는 것이다(김정수, 2010: 80; Frey, 1999: 71; Radbourn, 2002: 50). 이러한 이유로 정부가 예산을 투입하여 운영하는 공연분야 공공 문화예술기관의 수가 지속적으로 증가하고 있는 상황이기 때문에 정부는 기관에게 예산의 효율적 집행과 운영을 요구하게 되는 것이다.⁷⁾

공공 문화예술기관들은 법적 형태에 따라 각각 다른 기관에서 성과평가를 받고 있다. 책임운영기관으로 지정된 국립중앙극장, 국립현대미술관과 국립아시아문화전당은 행정안전부에서 실시하는 책임운영기관 종합평가를 받고 있다. 문체부 소속 기관인 국립국악원은 문체부의 자체평가를 매년 받고 있으며, 산하 기관으로 분류되는 예술의전당, 국립발레단 등은 공공기관운영에 관한 법률(법률 제14461호)에 근거하여 공공기관 경영평가를 매년 받는다. 지역 문예회관은 문체부에서 실시하는 『문화기반시설총람』을 통해 연간운영비, 공연횟수, 총 관객수(유료/무료), 대관수입 등 기본적인 성과를 산출하도록 되어 있다.

공연분야와 관련된 국립중앙극장의 경우처럼 책임운영기관 경영평가 항목은 공연의 예술적 완성도를 비롯해 국민의 문화향유 기회 확대와 고객만족도의 향상과 같은 공공성 항목, 그리고 지속가능한 경영기반을 추구하는 효율성 항목들로 구성되어 있다(행정자치부, 2017: 597). 공공기관 경영평가의 평가 범주는 경영관리와 주요 사업으로 나눌 수 있는데 경영관리는 경영전략 및 사회공헌, 업무효율, 재무예산 관리 및 성과, 보수 및 복리후생 관리로 이루어져 있으며 주요사업은 기관의 주요 사업별 계획·활동·성과를 포함한다(이권수, 2018: 15). 경영전략에 해당하는 평가 내용이 공공성과 효율성에 초점이 맞추어져 있다고 한다면 주요사업은 기관의 미션에 해당하는 예술적 사업에 대한 평가를 다루고 있다고 볼 수 있다. ｢문화기반시설총람｣으로 확인할 수 있는 전국 문화예술회관의 성과는 주로 공공성과 효율성에 관한 것들로서 대관을 위주로 운영되는 문화예술회관의 예술성을 평가하는 항목들이 포함되어 있지 않다(문화체육관광부, 2017: 28-30). 그러나 문화예술회관의 설립목적 자체가 예술적 가치를 지향하는 비영리기관임을 상기해볼 때, 우리나라 공연분야 공공 문화예술기관들은 법적 형태나 평가의 방식이 각기 다름에도 예술성과 공공성, 그리고 효율성에 기반한 평가지표를 공유하고 있다고 볼 수 있다.

그동안 공연분야 공공 문화예술기관의 평가는 주로 운영이나 경영에 대한 내용을 다루었다.⁸⁾ 성과평가제도나 평가행위 자체를 논하는 연구논문은 많지 않았다(이은미·정영기, 2006, 80; 전춘옥·정영기·이은미, 2006, 47). 이는 문화예술 영역에서 성과를 무엇으로 볼 것인지가 예술현장 종사자들이나 행정가들 사이에서 명확하게 이야기되지 않았다는 데에서 기인한다고 볼 수 있다. 2000년 국립중앙극장이 책임운영기관으로 전환된 이후부터 공공 문화예술기관의 성과평가가 중요한 연구주제로 떠오르게 되었다. 2000년대 중후반부터 문화예술기관의 성과평가체계나 평가방법 그리고 평가내용을 주제로 한 논문들이 검색되기 시작하는 것도 국립중앙극장의 책임운영기관화와 맥을 같이 하고 있다고 볼 수 있다.

김태훈(2006)은 공공 문화예술기관 중 책임운영기관인 국립중앙극장의 사업성과 평가체계에 대한 연구에서 체계적인 평가를 위해서 메타평가방식이 중요함을 강조했다. 메타평가는 국립중앙극장의 사업성과평가를 전반적으로 확인함으로써 평가의 왜곡을 방지할 수 있는 제도적 장치로서 역할을 할 수 있기 때문이라는 것이다. 이인권(2006) 역시 문화예술기관을 제대로 평가하기 위해서는 공공성·예술성·경영효율성의 관점에서 바라보아야 하며, 이를 위해서 새로운 평가모형의 개발이 시급하다고 문제점을 제기했다. 전병태(2008)는 우리나라의 문화예술기관 평가는 효율적인 운영이나 업무향상을 위한 평가라고 지적하며 성과중심의 평가를 진행해야 한다고 언급했다. 전병태가 주장한 성과중심의 평가는 핵심운영가치인 공공성, 예술성 그리고 운영효율성을 의미하는데, 세 가지 핵심가치에서 다시 열 가지 세부 평가지표를 제안했다.⁹⁾ 또한 전병태는 해외 아트센터의 평가사례와 우리나라의 사례를 비교 분석하면서 우리나라는 기관운영의 핵심인 미션의 중요성이 많이 떨어지고 이사회의 역할이 미미하다는 문제를 지니고 있음을 밝혔다. 그러면서 우리나라 공공 문화예술기관들이 성과를 내기 위해서는 우선 미션을 명확하게 설정하고 그에 따른 평가지표를 구성하는 것이 필요하다는 의견을 제시했다. 권미정(2008)은 문화예술의 특수성이 성과측정에 도입되어야 한다고 말하며 규격화된 평가지표는 문화예술의 특수성이나 창작성을 제약할 수 있음을 경고했다. 정희섭(2010)은 국립중앙극장의 평가지표를 중심으로 평가체계에 대한 연구를 진행했는데, 문화예술기관의 특수성이 평가에 반영되어 있지 못하고, 평가영역의 중복문제가 발생한다는 문제점을 지적했다. 이를 해결하기 위해 기관의 임무와 특성이 반영된 새로운 평가지표의 개발을 시도했음을 밝혔다. 박통희(2016)는 서울시립교향악단을 사례로 문화예술기관이나 조직이 추구해야 하는 본질적 가치가 예술성이라는 점에 의심의 여지가 없다고 강조하면서(Tobias, 2004; Turbide & Laurin, 2009) 공공 문화예술기관은 예술성과 더불어 공공성이 가장 중요한 가치라고 언급한 바 있다. 효율성은 공적 재원에 의하여 운영되기 때문에 당위적으로 추구되어야 하는 가치라고 설명했다.

해외의 연구사례들에서도 공공 문화예술기관의 성과평가나 지표개발에 대한 연구들을 찾아볼 수 있다. Wyszomirski(1998)의 연구에서는 비영리기관의 영향력을 측정함으로써 성과에 반영할 수 있는 지표개발에 대한 논의를 하면서 문화예술기관을 비영리기관으로 포함시켰다. Turbide & Laurin(2009)은 설문조사를 실시하여 비영리기관의 성과평가지표의 개발을 시도했다. 이들은 기관의 성과를 잘 보여줄 수 있는 성과요인이 무엇인지 분석했다. 이들은 기존의 성과평가지표들이 기관의 미션이나 사회적 영향력을 포용하고 있지 못하기 때문에 기관의 성과를 제대로 보여주지 못하고 있다고 비판하며 비경제적 가치를 볼 수 있는 정성지표의 개발이 선행되고 난 후에 평가가 이루어져야 한다고 논의한 바 있다.

공공 문화예술기관은 공공의 재산이기 때문에 공익적인 가치를 좇을 의무가 있으며, 문화예술기관이라는 특성 상 예술성이 중요한 가치로 인식된다.¹⁰⁾ 또한 Toepler (2001: 510)나 박통희(2016: 9)의 연구에 따르면, 공공 문화예술기관에 대한 공적지원에서 예술성이 중시되지 않는다면 그 자체로 공공성이나 효율성을 논의하는 것이 의미가 없거나 논리적으로 설득하기 어렵다고 강조했다.

위에서 언급한 공공 문화예술기관 성과평가와 관련된 선행연구를 정리해 보면 문화예술기관의 성과는 세 가지 영역, 즉 기관의 미션과 목표 그리고 효율적인 예산의 사용으로 나눌 수 있다. 기관의 미션과 목표는 다시 예술적 가치와 공공성으로, 예산의 효율적 집행은 운영효율성으로 치환하여 설명할 수 있다. 다음은 문화예술기관의 예술성·공공성·운영효율성에 대한 평가개념과 논의들을 살펴보도록 하겠다.

공연분야 공공 문화예술기관의 성과평가지표의 상대적 중요성을 측정하기 위해 AHP 기법을 활용했다. AHP(Analytic Hierarchy Process)는 계층적 의사결정 기법으로 불리며, 1971년 Thomas L. Saaty가 개발한 분석방법이다. AHP는 상황이 불확실하거나 평가기준이 다양할 필요가 있을 때 여러 사람의 주관적 입장을 취합하여 시스템적으로 문제를 해결할 수 있도록 만든 의사결정 방법이라고 할 수 있다(에이조·타카오, 2012: 6). 일반적인 조직 내부에서 의사결정을 할 때에도 사용되지만, 특히 전문가들의 경험과 지식을 합리적으로 수렴하여 집단의 의사결정이 필요할 때 AHP는 적절한 방법으로 사용될 수 있다(조근태 외, 2003: 124). 즉, AHP는 복잡한 상황에서 문제를 체계적으로 분석하고 가장 적합한 결과를 산출하는 과정을 의미한다. 조근태 외(2005: 3-4)에 의하면, AHP는 의사결정에 필요한 요인들을 도출하고 확인한 후 요소 간의 관계와 중요도를 구분하여 계층구조를 설정한다. 그 후 계층구조들 간의 일대일 비교를 통해 중요도와 우선순위의 가중치를 도출하고 의사결정자들에 대한 논리적 일관성을 검증한다. 마지막으로 민감도 분석을 거친 후 의사결정의 합리적 도출을 이끌어내게 된다.

공연분야 공공 문화예술기관의 성과평가지표 개발을 위해 선행연구와 현행 평가제도에서 도출된 지표를 취합·정리하여 예술성·공공성·운영효율성의 지표를 선정했다. 현행 평가제도에 활용된 지표들은 우리나라뿐 아니라 해외 공연분야 문화예술기관의 성과평가지표 등이 포함되어 있다. 예술성·공공성·운영효율성의 세 가지 부문은 선행연구와 사례연구를 통해 도출된 평가요인이라는 점에서 가장 중요한 준거지표가 될 수 있다. 즉, 공공 문화예술기관들이 본질적으로 추구해야 하는 가치는 예술성이며(Tobias, 2004; Turbide & Laurin, 2009; 박통희, 2016: 2), 더불어 공공지원금으로 운영되기 때문에 공공성 역시 예술성만큼 중요하다는 인식이 팽배하다(박통희, 2016: 2). 공공 문화예술기관의 예술성·공공성·운영효율성은 미묘하고 복잡하게 얽혀 있으며, 이 세 가지 영역이 서로에게 영향을 미치고 있다는 점(박통희, 2015: 594)에서 유의하여 세부평가항목을 설정했다.

설문조사는 문화예술분야 전문가들을 대상으로 AHP 기법에 의거하여 쌍대비교(Pairwise Comparison)의 방식으로 진행되었다. AHP 방법은 전문가들의 의사결정을 기반으로 중요도를 분석할 수 있다는 점(안진성, 2011: 92)에서 본 연구에서 다루고 있는 공연분야 공공 문화예술기관의 성과평가지표의 상대적 중요도를 도출하는데 적합하다고 판단했기 때문이다.

일차적으로 AHP 조사를 통해 설문대상자에게 예술성·공공성·운영효율성 중 어떤 분야가 공연분야 공공 문화예술기관의 성과를 평가할 때 가장 우선시되어야 하는지에 대해 질문했다. 이 질문은 공연분야 공공 문화예술기관이 추구해야 하는 가치를 어디에 두어야 할지를 확인하는 문항으로, 측정분야의 항목별 가치의 중요도를 판단하는 기준으로 사용되었다.

예술성·공공성·운영효율성의 세 가지 부문에 해당하는 각각의 성과지표 체계를 나열하면 [그림 1]과 같다. 세부 평가지표는 AHP 분석을 위한 선행연구를 종합하여 추출한 것들로서 우리나라 공공부문 문화예술기관의 성과평가 문항과 해외 문화예술기관의 평가지표로 도출한 것이다. 쌍대비교를 하기에 예술성·공공성·운영효율성 각각에 해당하는 개별 문항이 많아, AHP 조사 이전에 문화예술분야에서 활동하고 있는 전문가를 대상으로 한 델파이 조사를 통해 1차적으로 중요 지표들을 추출했다.¹⁷⁾ 더불어 예술성·공공성·운영효율성 세부지표 간 중복성과 유사성 등을 고려하여 종합적으로 분석하여 기존 성과평가지표 등을 반영하고 조정하여 [그림 1]의 3개의 분야와 14개의 세부측정지표를 설정했다.

그림 1. 공연분야 공공 문화예술기관의 성과지표의 상대적 중요도 분석을 위한 AHP 계층구조

Download Original Figure

예술성에 관련된 지표는 공연분야 공공 문화예술기관에서 선보이는 공연의 예술적 질 평가를 위한 내용으로 구성되어 있다. 공연분야 공공 문화예술기관의 무대에서 공연되는 작품에 대한 전문가 평가나 관객 평가는 물론이고, 연주자의 예술적 기량과 작품의 완성도 그리고 해당 분야에 어떠한 영향을 미치는지를 고루 확인할 수 있게 나열했다.¹⁸⁾

공공성에 해당하는 지표들은 소외계층을 대상으로 하는 공연, 교육 서비스에 대한 질문이나 공연분야 공공 문화예술기관을 활용하는 대관단체들이 기관의 접근성을 어떻게 평가하는지도 포함한다. 또한 공연분야 공공 문화예술기관은 지역에 기반하여 활동하는 경우가 대부분이므로 지역사회에 어떠한 공헌을 하고 있는지, 그리고 시민들이 공연분야 공공 문화예술기관에 대한 만족도는 어떠한지를 평가항목으로 구성했다. 대관자 만족도의 경우는 예술가들이 직접적으로 느끼는 공연분야 공공 문화예술기관의 접근성에 관한 내용으로 국민들을 위한 문화향유를 제공하는 것을 넘어서 해당 분야에서 활동하는 예술가들과 상생하는 공간으로 존재하는지에 대한 물음이라고 볼 수 있겠다.¹⁹⁾

운영효율성은 공연분야 공공 문화예술기관의 공적 자금을 얼마나 효율적으로 활용하고 있는가를 평가하기 위한 지표로 구성되어 있다. 재정자립도의 향상을 위해 주문되는 유료관객 점유율이 대표적인 지표다. 또한 연간 공연장 가동률과 총 공연 횟수도 평가의 대상이다. 운영효율성에 관련된 측정지표들은 주로 우리나라의 공공 문화예술기관에서 찾아볼 수 있었다. 해외의 경우 민간에서 운영되고 있는 문화예술기관에 운영성과를 요구하는 경우는 많지만, 공공에서 설립된 기관의 경우에는 설립목적에 따른 목표를 설정한 후 그것을 달성했는가를 평가하는 경우가 많았기 때문이다. 따라서 운영효율성에 관련된 지표들은 공공 문화예술기관에 성과평가를 시행하고 있는 우리나라의 특성에 맞추어 국립중앙극장, 예술의전당 등과 같이 책임운영기관 종합평가나 공공기관경영평가 상에 구성된 것들을 세부측정지표로 선정했다.

공연분야 공공 문화예술기관 평가지표의 상대적 중요성 검증을 위해 AHP 기법으로 설문조사를 실시했다. AHP 조사 기간은 2017년 5월 30일부터 6월 27일까지였다. 설문 응답자 중 일관성 비율이 현저하게 낮은 응답은 제외하고 응답의 일관성 비율이 0.2 이하인 것들만 추려 상대적 가중치를 산출했다.²⁰⁾ 설문조사 대상자는 문화예술 관련 학회 회원과 문화예술 관련 단체의 행정전문가와 예술가 그리고 프리랜서로 활동하고 있는 현장 예술가 등 문화예술 전 영역의 인력으로 설정하고 설문조사를 진행했다. 전체 159부 중에서 52부(회수율 32%)를 수거하여 일관성 비율이 0.2 미만인 40부를 대상으로 분석을 실시했다.²¹⁾ AHP 조사의 경우 전문가를 대상으로 설문조사를 진행하기 때문에 문항에 대한 이해도가 높아 일반적으로 30부 이상의 표본의 경우 신뢰도가 높은 것으로 여겨진다(유창균·변경화·조성진, 2014: 46; 홍성민, 2018: 226). 응답한 전문가 집단의 인구사회학적 특성을 정리하면 <표 2>와 같다.

전문가 집단의 성별은 남성과 여성이 각각 20명씩으로 50 대 50으로 구성되었으며, 평균연령은 만 37세인 것으로 나타났다. 전문가들의 학력은 대졸 미만부터 대졸까지가 6명, 석사과정부터 석사 졸업까지가 15명, 박사과정 이상이 19명으로 석사 이상의 고학력자가 85%를 차지했다. 전문가들의 소속기관을 살펴보면 학계·행정·예술분야 중에서 행정 담당자의 응답비율이 약 47.5%로 가장 높은 비율을 차지했다. 특히 공연분야 공공 문화예술기관의 성과평가와 관련된 조사임을 감안할 때, 유사한 업무를 맡고 있는 국·공립 문화예술기관에 종사하는 행정 담당자가 가장 적극적으로 조사에 임했다고 볼 수 있다. 학계종사자는 8명으로 전체 응답자의 20%를 차지했고, 예술가는 13명으로 32.5%의 비율을 나타냈다. 전문가들의 해당 분야 종사년수를 살펴보면, 전체 응답자의 25%가 20년 이상의 경력을 가진 것으로 분석되었다.

문화예술분야 전문가들을 대상으로 공연분야 공공 문화예술기관의 평가지표의 상대적 가중치를 측정하기 위해 지표 간의 우선순위 쌍대비교를 실시했다. 응답지를 회수하여 엑셀에 코딩하여 일관성 비율을 확인한 후, 행렬의 값을 기하평균(Geometric Mean)으로 구했다. 기하평균을 사용하는 이유는 산술평균이나 조화평균에 비해 극단적인 값의 영향을 덜 받기 때문이다(강병서, 2001: 84-87). 국립중앙극장의 예술성·공공성·운영효율성과 관련된 새로운 평가지표에 대한 기하평균은 <표 3>과 같다.

[그림 1]의 성과지표체계 계층구조의 수준 1에 해당하는 예술성·공공성·운영효율성에 관한 AHP 조사의 CI는 0.0011로 0.1보다 현저하게 낮아 신뢰도가 매우 높은 수준으로 분석되었다. AHP 조사를 통해 산출한 전문가들의 의견은 공연분야 공공 문화예술기관을 평가할 때의 우선순위를 공공성(0.4381) → 예술성(0.3962) → 운영효율성(0.1657)으로 두어야 한다고 생각하는 것으로 나타났다. 이 결과는 공연분야 공공 문화예술기관의 가장 중요한 특성을 공공을 위해 문화예술을 향유할 수 있도록 도와주는 데 두었다는 것을 보여준다. 또한 <표 3>의 결과는 공연분야 공공 문화예술기관의 성과평가 시 공공성이 중요한 지표로 설정되어야 한다는 그간의 지적을 반영하는 결과라고 할 수 있다.²²⁾ 공공성은 “이윤이 나지 않더라도 먼 미래를 생각하여 현재의 희생을 감내하는 것”을 의미하는데(백완기, 2007: 4-8; 김세훈 외, 2008: 155; 김정수, 2016: 85), AHP 설문 대상자들이 이러한 공공성의 의미를 문화예술기관에 대입하여 생각하고 있음을 알 수 있다. 공연분야 공공 문화예술기관에서 제공하는 예술적 서비스도 중요한 가치로 생각하고 있음을 보여준다. 아무리 좋은 목적을 가졌어도 시민들을 위한 문화예술 공연이나 교육을 제공하는 동시에 그 서비스의 질도 만족스러워야 한다는 것으로 해석할 수 있을 것이다. 운영효율성은 공공성이나 예술성의 가치에 비해 절반 정도의 중요성이 있다고 평가되었다. 이 결과는 본질적으로 공연분야 공공 문화예술기관에 운영효율성의 잣대로 평가하는 행위가 공공성의 가치와 모순되는 지점으로 인식될 수 있음을 보여주는 결과라 할 수 있겠다.