The Journal of Cultural Policy
Korea Culture & Tourism Institute
Article

공연분야 공공 문화예술기관 성과평가지표의 상대적 중요도 분석: AHP 분석기법을 중심으로*

이정희1,*
Junghei Lee1,*
1한국문화관광연구원 위촉책임연구원
1Senior Researcher, Korea Culture & Tourism Institute
*Corresponding author : Senior Researcher, Korea Culture & Tourism Institute leejunghei@kcti.re.kr

© Copyright 2019 Korea Culture & Tourism Institute. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Jan 22, 2019; Revised: Mar 07, 2019; Accepted: Mar 26, 2019

Published Online: May 31, 2019

국문초록

본 연구는 공연분야 공공 문화예술기관의 성과평가지표에 대한 상대적 중요성과 우선순위를 분석하는 데 그 목적이 있다. 국내외 공연분야 공공 문화예술기관에서 활용하고 있는 성과평가지표를 예술성·공공성·운영효율성의 세 가지 부문으로 분류하여 각각의 지표가 어떠한 우선순위를 가지고 있는지를 분석하기 위해 AHP 기법을 활용했다. 문화예술계에서 활동하는 현장예술가, 행정전문가, 그리고 학계종사자를 대상으로 설문조사를 실시하여 지표 간 우선순위를 도출하고자 했다. 분석 결과, 문화예술계 전문가들은 공연분야 공공 문화예술기관 성과평가지표 영역의 우선순위를 공공성(43.8%), 예술성(39.6%), 운영효율성(16.6%)이라고 생각하는 것으로 나타났다. 이에 따른 세부 평가지표의 가중치 결과는 교육 및 강의가 가장 중요한 지표였고, 시설에 대한 고객만족도, 소외계층 대상 공연이 그 뒤를 이었다. AHP 기법을 통해 도출된 결과들은 향후 공연분야 공공 문화예술기관의 성과평가지표를 구성할 때 우선적으로 고려해야 할 지표들이 무엇인지를 보여주는 시사점이 있다고 할 수 있겠다.

Abstract

This study aimed to analyze the relative importance and priority of public arts organization performance evaluation indexes. We evaluated the indexes applied by public arts organizations at home and abroad based on three criteria; artistic value, publicness, and effectiveness. After applying these criteria, we analyzed each index using the AHP (Analytic Hierarchy Process) method to differentiate their priorities. The survey targets of the AHP method included experts in the arts, administrators, and academics. The AHP analysis showed that 43.8% prioritized publicness, 39.6% prioritized artistic value, and 16.6% prioritized effectiveness. The three most important subordinate indexes selected by experts to evaluate arts organizations were education for all, customer facility satisfaction, and cultural performances for disadvantaged groups. The priority results generated by the AHP method revealed which indexes we should regard as performance evaluation indicators for arts organizations hereafter.

Keywords: 공연분야 공공 문화예술기관; 성과평가지표; 상대적 중요도; 가중치; AHP 기법]
Keywords: public arts organization; performance evaluation index; relative importance; priority; AHP method

Ⅰ. 서론

1998년 IMF(International Monetary Fund) 구제금융 직후 출범한 김대중 정부는 공공부문의 행정개혁을 시도하기 위해 신공공관리론(New Public Management, 이후 NPM)의 패러다임을 도입했다. NPM은 민간 부문에서 중요시하는 가치인 경쟁, 자유, 효율성 같은 시장주의적 요소들을 공공 부문에 적용시켜 행정개혁을 추구하는 일련의 활동을 의미한다(Treanor, 2005).1) 김대중 정부가 NPM을 정부운영의 기본 패러다임으로 두면서 공공 부문의 기관들은 성과 중심의 관리방법을 도입하게 되었다. NPM에서 강조하는 시장주의적인 요소들은 사후운영평가를 통해 점검되기 때문에 기관에 대한 성과평가가 이루어진 것이다.

정부가 다루는 대부분의 문제는 해결하기 어려운(wicked problem) 경우가 많다(Rittel & Webber, 1973: 160). 현대국가가 당면한 문제들이 빈곤, 차별, 분배 같은 민감한 이슈인 경우이기 때문이다(Bohte & Meier, 2000: 173). 따라서 공공 부문의 성과가 가시적으로 나타나지 않기도 하고, 때로는 성과 자체를 무엇으로 판단하고 평가할 것인가에 대한 고민도 발생한다(이정희, 2018: 2).

김대중 정부에서 진행한 공공 부문의 성과평가에 관한 논의는 공공 문화예술기관에도 적용되기 시작했다. 국민들의 문화복지 차원에서 기하급수적으로 증가한 국·공립 문화예술기관에 대한 재정지출이 늘어나는 상황이었기 때문에 문화예술기관의 효율적인 운영이 요구되는 것은 자명한 일이었다(오양렬, 2015: 80-93). 일반적인 공공 부문의 성과를 평가하기도 어렵지만 문화예술의 성과측정은 더욱 어려운 작업이다. 무엇을 문화예술의 성과로 볼 것이냐에 대한 논의는 지속적으로 진행되어 왔지만 명확하게 정리된 바는 없었기 때문이다(한승준, 2011; Gillhespy, 1999; Tobias, 2004; Turbide & Laurin, 2009).

공공 문화예술기관을 성과평가의 대상으로 삼을 것인가에 대한 합의와 어떤 것을 성과로 볼 것이냐에 대한 논의가 선행되어야 함에도 불구하고 이미 공공 문화예술기관에 막대한 예산이 지원되고 있기 때문에 이들을 평가하는 행위 자체가 중요하게 되었다. 국민들의 문화향유를 증가시키기 위한 재정적 지원이 이루어지고 있기 때문에 기관 운영성과에 대한 요구가 있을 수밖에 없었다(이혜숙, 2014: 9). 사회적 요구로부터 시작된 평가였지만 공공 문화예술기관의 특성이 반영된 평가체계가 구성되어 있지 않은 상황이다. 다양한 형태로 분류되어 있는 공공 문화예술기관들은 지금도 기존 공공 부문의 평가체계가 그대로 적용된 지표로 평가를 받고 있다.2)

공공 문화예술기관은 국민들의 문화향유 확산이라는 목적달성과 더불어 효율적인 예산 운영이 요구, 강조되고 있다. 따라서 이러한 문제에 대한 대안으로 본 논문은 공연분야 공공 문화예술기관으로 범위를 한정하여 이들 기관에 대한 성과평가 개선방안을 모색해 보고자 한다. 공연분야 공공 문화예술기관의 성과평가에 대한 검토를 통해 어떤 부분에 대한 개선이 필요한지를 확인하고, 선행연구와 해외사례 등을 참고하여 평가지표를 구성했다. 다음으로 문화예술분야의 전문가들을 대상으로 계층적 의사결정 분석(Analytic Hierarchy Process, 이후 AHP)을 통해 성과지표의 구성과 우선순위를 설정하고자 한다. AHP로 도출된 결과를 토대로 공연분야 공공 문화예술기관의 성과평가지표에 대한 발전적 방안을 제시하고자 했다.

Ⅱ. 이론적 논의

1. 공연분야 공공 문화예술기관의 성과평가 현황

공공 문화예술기관의 설치목적은 문화예술진흥법 제5조에 “문화예술 활동을 진흥시키고 국민의 문화향수기회를 확대하기 위하여 설치하고 운영하는 데에 있다”고 명시되어 있다(문화예술진흥법, 법률 제14429호, 시행 2017. 6. 21). 이는 공공 문화예술기관의 설립이 국민들에게 공공 서비스를 제공하려는 취지와 연계되어 있다는 것을 의미한다(배용수, 2000: 6). 우리나라에 설립되어 있는 공연분야 공공 문화예술기관은 법적 주체에 따라 국립 문화예술기관, 공립 문화예술기관으로 분류된다. 국립 문화예술기관은 다시 문화체육관광부(이하 문체부) 소속 기관과 산하 기관으로 분리될 수 있다. 소속 기관은 국립국악원, 국립중앙극장, 국립중앙박물관과 같이 운영비가 전부 국고로부터 충당되는 조직을 의미한다.3) 산하 기관들은 예술의전당, 정동극장, 국립발레단, 국립오페라단 등과 같이 특별법인이나 재단법인의 형태를 띠고 있지만 국립 문화예술기관으로서 정부예산의 지원을 받는 기관들을 뜻한다.4) 그리고 문화예술진흥법에 근거하여 각 지방자치단체에는 최소 1개 이상의 문화예술기관이 있는데 이는 서울과 수도권에 집중되어 있는 문화예술시설의 접근성을 낮추기 위한 목적을 가지고 있다(이철순, 2010: 272; 허은영, 2010: 3).5)

공연분야 공공 문화예술기관들은 많게는 전체 예산을, 적게는 사업비의 일부를 중앙정부로부터 보조받아 운영되고 있다. 국민들의 ‘문화예술의 향유’를 목적으로 설립된 기관들에 적극적으로 재원을 제공하는 것은 국가의 법적인 의무이자 국민들에게는 권리이기도 하다(왕치현 외, 2010: 323).6) 국가가 문화예술에 개입하는 논리는 주로 시장실패이론에서 비롯되어왔다. 특히 문화예술은 가치재(價値材)의 특성을 지니고 있는데, 이는 문화예술이 여러 측면에서 가치를 가지고 있음에도 민간에서 바람직한 수준으로 일어나지 않기 때문에 정부에서 경험하고 소비하도록 도움을 주어야 한다는 것이다(김정수, 2010: 80; Frey, 1999: 71; Radbourn, 2002: 50). 이러한 이유로 정부가 예산을 투입하여 운영하는 공연분야 공공 문화예술기관의 수가 지속적으로 증가하고 있는 상황이기 때문에 정부는 기관에게 예산의 효율적 집행과 운영을 요구하게 되는 것이다.7)

공공 문화예술기관들은 법적 형태에 따라 각각 다른 기관에서 성과평가를 받고 있다. 책임운영기관으로 지정된 국립중앙극장, 국립현대미술관과 국립아시아문화전당은 행정안전부에서 실시하는 책임운영기관 종합평가를 받고 있다. 문체부 소속 기관인 국립국악원은 문체부의 자체평가를 매년 받고 있으며, 산하 기관으로 분류되는 예술의전당, 국립발레단 등은 공공기관운영에 관한 법률(법률 제14461호)에 근거하여 공공기관 경영평가를 매년 받는다. 지역 문예회관은 문체부에서 실시하는 『문화기반시설총람』을 통해 연간운영비, 공연횟수, 총 관객수(유료/무료), 대관수입 등 기본적인 성과를 산출하도록 되어 있다.

표 1. 공연분야 공공 문화예술기관 형태별 성과현황
구분 소속 기관 산하 기관 지역 문예회관
운영주체 직접운영 책임운영기관 특수법인 재단법인 지자체 직접 또는 공단위탁
운영재원 전액 국고 국고 국고 및 수입 국고 및 수입 지자체 및 수입
재정법 정부회계법 책임운영기관 특별법 특수법인 민법, 공익법인설립운영에 관한 법률 정부예산 회계법
초과 수입금 사용불가 직·간접비 사용가능 (사후통보) 기관자율 사용불가
평가형태 문체부 자체평가 행정안전부 종합평가 기타 공공기관 경영평가 지자체 자체평가, 문화부 실태조사
평가 주관기관 문체부 행정안전부 문체부 문체부
해당기관 국립국악원 국립중앙극장 예술의 전당, 정동극장 등 국립발레단, 국립오페라단 등 지자체 문예회관
Download Excel Table

공연분야와 관련된 국립중앙극장의 경우처럼 책임운영기관 경영평가 항목은 공연의 예술적 완성도를 비롯해 국민의 문화향유 기회 확대와 고객만족도의 향상과 같은 공공성 항목, 그리고 지속가능한 경영기반을 추구하는 효율성 항목들로 구성되어 있다(행정자치부, 2017: 597). 공공기관 경영평가의 평가 범주는 경영관리와 주요 사업으로 나눌 수 있는데 경영관리는 경영전략 및 사회공헌, 업무효율, 재무예산 관리 및 성과, 보수 및 복리후생 관리로 이루어져 있으며 주요사업은 기관의 주요 사업별 계획·활동·성과를 포함한다(이권수, 2018: 15). 경영전략에 해당하는 평가 내용이 공공성과 효율성에 초점이 맞추어져 있다고 한다면 주요사업은 기관의 미션에 해당하는 예술적 사업에 대한 평가를 다루고 있다고 볼 수 있다. 「문화기반시설총람」으로 확인할 수 있는 전국 문화예술회관의 성과는 주로 공공성과 효율성에 관한 것들로서 대관을 위주로 운영되는 문화예술회관의 예술성을 평가하는 항목들이 포함되어 있지 않다(문화체육관광부, 2017: 28-30). 그러나 문화예술회관의 설립목적 자체가 예술적 가치를 지향하는 비영리기관임을 상기해볼 때, 우리나라 공연분야 공공 문화예술기관들은 법적 형태나 평가의 방식이 각기 다름에도 예술성과 공공성, 그리고 효율성에 기반한 평가지표를 공유하고 있다고 볼 수 있다.

2. 공공 문화예술기관 성과평가에 대한 선행연구

그동안 공연분야 공공 문화예술기관의 평가는 주로 운영이나 경영에 대한 내용을 다루었다.8) 성과평가제도나 평가행위 자체를 논하는 연구논문은 많지 않았다(이은미·정영기, 2006, 80; 전춘옥·정영기·이은미, 2006, 47). 이는 문화예술 영역에서 성과를 무엇으로 볼 것인지가 예술현장 종사자들이나 행정가들 사이에서 명확하게 이야기되지 않았다는 데에서 기인한다고 볼 수 있다. 2000년 국립중앙극장이 책임운영기관으로 전환된 이후부터 공공 문화예술기관의 성과평가가 중요한 연구주제로 떠오르게 되었다. 2000년대 중후반부터 문화예술기관의 성과평가체계나 평가방법 그리고 평가내용을 주제로 한 논문들이 검색되기 시작하는 것도 국립중앙극장의 책임운영기관화와 맥을 같이 하고 있다고 볼 수 있다.

김태훈(2006)은 공공 문화예술기관 중 책임운영기관인 국립중앙극장의 사업성과 평가체계에 대한 연구에서 체계적인 평가를 위해서 메타평가방식이 중요함을 강조했다. 메타평가는 국립중앙극장의 사업성과평가를 전반적으로 확인함으로써 평가의 왜곡을 방지할 수 있는 제도적 장치로서 역할을 할 수 있기 때문이라는 것이다. 이인권(2006) 역시 문화예술기관을 제대로 평가하기 위해서는 공공성·예술성·경영효율성의 관점에서 바라보아야 하며, 이를 위해서 새로운 평가모형의 개발이 시급하다고 문제점을 제기했다. 전병태(2008)는 우리나라의 문화예술기관 평가는 효율적인 운영이나 업무향상을 위한 평가라고 지적하며 성과중심의 평가를 진행해야 한다고 언급했다. 전병태가 주장한 성과중심의 평가는 핵심운영가치인 공공성, 예술성 그리고 운영효율성을 의미하는데, 세 가지 핵심가치에서 다시 열 가지 세부 평가지표를 제안했다.9) 또한 전병태는 해외 아트센터의 평가사례와 우리나라의 사례를 비교 분석하면서 우리나라는 기관운영의 핵심인 미션의 중요성이 많이 떨어지고 이사회의 역할이 미미하다는 문제를 지니고 있음을 밝혔다. 그러면서 우리나라 공공 문화예술기관들이 성과를 내기 위해서는 우선 미션을 명확하게 설정하고 그에 따른 평가지표를 구성하는 것이 필요하다는 의견을 제시했다. 권미정(2008)은 문화예술의 특수성이 성과측정에 도입되어야 한다고 말하며 규격화된 평가지표는 문화예술의 특수성이나 창작성을 제약할 수 있음을 경고했다. 정희섭(2010)은 국립중앙극장의 평가지표를 중심으로 평가체계에 대한 연구를 진행했는데, 문화예술기관의 특수성이 평가에 반영되어 있지 못하고, 평가영역의 중복문제가 발생한다는 문제점을 지적했다. 이를 해결하기 위해 기관의 임무와 특성이 반영된 새로운 평가지표의 개발을 시도했음을 밝혔다. 박통희(2016)는 서울시립교향악단을 사례로 문화예술기관이나 조직이 추구해야 하는 본질적 가치가 예술성이라는 점에 의심의 여지가 없다고 강조하면서(Tobias, 2004; Turbide & Laurin, 2009) 공공 문화예술기관은 예술성과 더불어 공공성이 가장 중요한 가치라고 언급한 바 있다. 효율성은 공적 재원에 의하여 운영되기 때문에 당위적으로 추구되어야 하는 가치라고 설명했다.

해외의 연구사례들에서도 공공 문화예술기관의 성과평가나 지표개발에 대한 연구들을 찾아볼 수 있다. Wyszomirski(1998)의 연구에서는 비영리기관의 영향력을 측정함으로써 성과에 반영할 수 있는 지표개발에 대한 논의를 하면서 문화예술기관을 비영리기관으로 포함시켰다. Turbide & Laurin(2009)은 설문조사를 실시하여 비영리기관의 성과평가지표의 개발을 시도했다. 이들은 기관의 성과를 잘 보여줄 수 있는 성과요인이 무엇인지 분석했다. 이들은 기존의 성과평가지표들이 기관의 미션이나 사회적 영향력을 포용하고 있지 못하기 때문에 기관의 성과를 제대로 보여주지 못하고 있다고 비판하며 비경제적 가치를 볼 수 있는 정성지표의 개발이 선행되고 난 후에 평가가 이루어져야 한다고 논의한 바 있다.

공공 문화예술기관은 공공의 재산이기 때문에 공익적인 가치를 좇을 의무가 있으며, 문화예술기관이라는 특성 상 예술성이 중요한 가치로 인식된다.10) 또한 Toepler (2001: 510)나 박통희(2016: 9)의 연구에 따르면, 공공 문화예술기관에 대한 공적지원에서 예술성이 중시되지 않는다면 그 자체로 공공성이나 효율성을 논의하는 것이 의미가 없거나 논리적으로 설득하기 어렵다고 강조했다.

위에서 언급한 공공 문화예술기관 성과평가와 관련된 선행연구를 정리해 보면 문화예술기관의 성과는 세 가지 영역, 즉 기관의 미션과 목표 그리고 효율적인 예산의 사용으로 나눌 수 있다. 기관의 미션과 목표는 다시 예술적 가치와 공공성으로, 예산의 효율적 집행은 운영효율성으로 치환하여 설명할 수 있다. 다음은 문화예술기관의 예술성·공공성·운영효율성에 대한 평가개념과 논의들을 살펴보도록 하겠다.

1) 예술성

예술성은 문화예술기관에 있어 필수적인 고려사항이다(Brooks & Ondrich, 2007: 130; Grace et al., 2007: 31). 공공 문화예술기관이 관객들의 심미적 욕구를 충족하도록 도움을 주어야 하기 때문이다. 예술성에 대한 의미는 다양하게 나타나지만 주로 한 작품을 두고 전문가나 관객들이 내리는 미적인 판단을 의미한다(김효, 2006: 154; Cohen, 1990: 176). 예술성으로 표현되는 작품의 가치는 내재되어 있는 미학적 가치와 떨어뜨려 생각할 수 없을 정도로 중요한 개념이다(Lopes, 2011: 518-519). 또한 예술성은 예술이 예술이게끔 만들어주는 본질적 요소로서(김효, 2006: 157; Huddleston, 2012: 705; Lopes, 2011: 519), 문화예술에서는 예술가가 생산·창작하는 다양한 작품을 의미한다고 할 수 있다(Cohen, 1990: 179). 예술성은 완성도 있는 작품을 제공하는 것과 그 작품을 선택하고 조화롭게 구성하는 것까지 포함하는 개념이다(박통희·곽성희, 2014: 1467; Boerner, 2004: 426).11) 또한 예술이 가지고 있는 본래적 가치의 사회적 확산이라는 측면에서도 예술성은 매우 중요한 개념으로 논의되고 있다(조숙현·윤태진, 2015: 108-109).12)Preece(2005: 21-23)는 예술기관의 본래적 활동을 정의하며 예술성과 관련하여 프로그램, 연주자, 프로모션, 제작의 네 가지를 나열했다. 이 네 가지가 조화롭게 구성되어야 문화예술기관이 궁극적으로 제공하고자 하는 예술성이 표현될 수 있다는 것이다.

위에서 논의된 예술성의 다양한 개념은 문화예술기관의 예술성을 다음의 구체적인 내용으로 정의할 수 있다. 첫째, 예술성은 제공하는 작품의 질적인 완성도가 높아야 한다는 것, 둘째, 작품의 완성도는 그것을 표현하는 연주자의 예술적 역량으로 판단된다는 것, 셋째, 예술작품을 구성하기 위한 과정에서도 완성도가 요구된다는 것, 넷째, 예술작품이 사회적으로 확산되고 있는가가 그것이다(Throsby, 1990: 67-70).

2) 공공성

공공 문화예술기관에서 의미하는 공공(公共)은 공공서비스를 제공하는 정부기관이라는 의미를 가지고 있다. 다시 말해 문화예술서비스를 제공하는 기관은 공적 지원의 대상이 될 수 있다는 것을 뜻한다. 공공성은 아직 명확하게 하나의 개념으로 정의되지는 않았지만, 대체로 다음 여섯 가지 의미를 모두 지니고 있다고 학자들은 동의하고 있다. ① 공동체성, ② 책무성, ③ 보편적 서비스성, ④ 규범성, ⑤ 공공재성, ⑥ 공익성이 그것이다(곽성희·박통희, 2016: 99; 김세훈 외, 2008; 박통희, 2016: 6-7; 박통희·곽성희, 2014: 1456-1459; 소영진, 2008: 22-27).13) 즉, 공공성에서 다루는 공공의 목적이라는 것은 공공가치의 창출이며, 정의와 공정성을 실현을 포함하는 개념이어야 한다(주은혜, 2018: 24).

공공 문화예술기관이 공공성의 개념에 해당하는 다양한 공익적 활동을 창출한다는 것은 예술이 가지고 있는 가치재의 성격에서 비롯된다(이철순, 2010: 276-277; 박통희, 2016: 7). 좋은 예술이 가진 가치는 향유하는 사람에게 즐거움을 주는 것을 넘어서 긍정적인 외부효과를 불러일으키는 데 있다.14) 그렇기 때문에 시민들의 문화향유를 지원하고 그들이 적극적으로 창작활동을 할 수 있도록 교육과 훈련의 목적이라는 공공적 행위가 수반되어야 한다. 박통희에 따르면, 교육·훈련 활동이 제대로 이루어지기 위해서는 심미적 체험이 요구되기 때문에 예술성은 당연히 전제되어야 하는 요소다. 또한 공공 부문 문화예술기관에서 제공하는 다양한 프로그램은 사회통합에도 기여한다. 이러한 근거로 공공성을 측정하기 위해 공익구현, 정치적 책임성, 문화향수기회 제공, 사회통합 기여와 같은 항목들이 요구된다(권오성 외, 2009; 박통희, 2016: 8; 한승준, 2011: 313).

따라서 문화예술분야에서의 공공성은 공적 책임을 기반으로 하는 동시에 예술의 창의성과 창작의 자유를 보장하는 방향으로 설정되어야 한다. 예술성과 공공성은 문화예술분야에서 가장 중요하게 고려되어야 할 가치라고 할 수 있으며, 더불어 예술가를 위한 지원제도의 도입과 함께 등장하게 된 행정의 딜레마라고 할 수 있다.

3) 운영효율성

운영효율성은 주어진 예산을 활용하여 성과를 극대화하는 능력을 의미한다(Basso & Funari, 2004: 197; Preece, 2005: 25).15) 문화예술기관들의 운영효율성을 지속적으로 확인하고 측정하는 것은 제한된 자원을 얼마나 효율적으로 사용하는지를 보기 위함이다(Parsons, 2003: 113-116). 특히 공공 부문에 속해 있는 문화예술기관의 경우 다양한 형태의 정부 지원금으로 유지되기 때문이다. 또한 기관의 운영효율성은 향후 재원의 추가적 지원이나 정부지원의 정당성을 담보하는 데 매우 중요한 역할을 하기도 하며(Thompson et al., 2002: 87-88), 이러한 이유로 많은 문화예술기관의 담당자들은 운영효율성을 증가시키기 위해 많은 시간을 할애한다(Preece, 2005: 21). 따라서 공공 부문 문화예술기관의 운영효율성을 측정하는 행위는 중요한 의미를 갖게 되었다(Acosta, 2016: 58; Basso & Funari, 2004: 195).

공공 문화예술기관에서의 운영효율성은 예산의 투입(input)을 통해 얻어지는 성과(output)를 의미하는 경우가 많다(김미리, 2014: 39; 윤경준, 2003: 9; 이혜숙, 2014: 18). 그렇기 때문에 2000년대 이전의 연구에서는 효율성을 주로 재정적인 차원에서 논의했다(박통희, 2016: 9). 그러나 이후 다양한 이론적 검토를 토대로 운영효율성이 효과성(Effectiveness), 능률성(Efficiency), 경제성(Economy)의 의미와 혼재되어 있는 복합적 개념이라는 인식이 나타나기 시작했다(OECD, 1997). 그러나 문화예술기관은 투입을 최소화할 수 있는 여지가 매우 적다는 문제점을 가지고 있다.16)이혜숙(2014: 19-23)은 투입에 대한 성과를 공연성과와 재정성과로 구분하여 운영효율성이라는 개념을 설명하며 공연성과 및 재정성과에서 의미하는 것은 공연을 통해서 달성할 수 있는 효율적인 운영의 결과라고 서술하고 있다.

일반적으로 공공 문화예술기관에서 다루는 운영효율성은 넓게는 마케팅비 최소화, 효율적 재원조성 전략을 의미하고(Ames, 1994; Jackson, 1994), 구체적으로는 관객당 판매수익, 공연당 제작비용, 공연횟수, 총예산, 재정자립도 등을 말한다(권미정, 2008: 99; Last & Wetzel, 2011: 193-194; Marco-Serrano, 2006: 168). 예술이 본질적으로 효율성을 달성하는 것이 쉽지 않기 때문에 공적 지원의 대상이라는 것을 전제로 한다는 점에서 효율성을 따지는 것이 모순적인 행위일 수 있다. 그러나 공공 지원금을 사용하는 데 있어 자원을 효율적으로 사용하도록 관리하는 운영효율성은 결코 간과해선 안 되는 중요한 가치라 할 수 있다.

공공 문화예술기관과 관련된 기존 논의들은 주로 평가지표의 문제점을 제시하고 개선안을 제안하는 형태들이었다. 구체적으로 어떠한 지표를 얼마만큼의 가중치를 부여해야 하는지에 대한 복합적인 연구는 시도된 바 없다. 본 연구에서는 선행연구에서 논의된 예술성·공공성·운영효율성과 관련해 도출된 공연분야 공공 문화예술기관의 성과평가지표를 활용하여 지표별 가중치를 측정할 수 있는 AHP 분석을 시도했다.

Ⅲ. 연구설계

1. 조사방법

공연분야 공공 문화예술기관의 성과평가지표의 상대적 중요성을 측정하기 위해 AHP 기법을 활용했다. AHP(Analytic Hierarchy Process)는 계층적 의사결정 기법으로 불리며, 1971년 Thomas L. Saaty가 개발한 분석방법이다. AHP는 상황이 불확실하거나 평가기준이 다양할 필요가 있을 때 여러 사람의 주관적 입장을 취합하여 시스템적으로 문제를 해결할 수 있도록 만든 의사결정 방법이라고 할 수 있다(에이조·타카오, 2012: 6). 일반적인 조직 내부에서 의사결정을 할 때에도 사용되지만, 특히 전문가들의 경험과 지식을 합리적으로 수렴하여 집단의 의사결정이 필요할 때 AHP는 적절한 방법으로 사용될 수 있다(조근태 외, 2003: 124). 즉, AHP는 복잡한 상황에서 문제를 체계적으로 분석하고 가장 적합한 결과를 산출하는 과정을 의미한다. 조근태 외(2005: 3-4)에 의하면, AHP는 의사결정에 필요한 요인들을 도출하고 확인한 후 요소 간의 관계와 중요도를 구분하여 계층구조를 설정한다. 그 후 계층구조들 간의 일대일 비교를 통해 중요도와 우선순위의 가중치를 도출하고 의사결정자들에 대한 논리적 일관성을 검증한다. 마지막으로 민감도 분석을 거친 후 의사결정의 합리적 도출을 이끌어내게 된다.

공연분야 공공 문화예술기관의 성과평가지표 개발을 위해 선행연구와 현행 평가제도에서 도출된 지표를 취합·정리하여 예술성·공공성·운영효율성의 지표를 선정했다. 현행 평가제도에 활용된 지표들은 우리나라뿐 아니라 해외 공연분야 문화예술기관의 성과평가지표 등이 포함되어 있다. 예술성·공공성·운영효율성의 세 가지 부문은 선행연구와 사례연구를 통해 도출된 평가요인이라는 점에서 가장 중요한 준거지표가 될 수 있다. 즉, 공공 문화예술기관들이 본질적으로 추구해야 하는 가치는 예술성이며(Tobias, 2004; Turbide & Laurin, 2009; 박통희, 2016: 2), 더불어 공공지원금으로 운영되기 때문에 공공성 역시 예술성만큼 중요하다는 인식이 팽배하다(박통희, 2016: 2). 공공 문화예술기관의 예술성·공공성·운영효율성은 미묘하고 복잡하게 얽혀 있으며, 이 세 가지 영역이 서로에게 영향을 미치고 있다는 점(박통희, 2015: 594)에서 유의하여 세부평가항목을 설정했다.

설문조사는 문화예술분야 전문가들을 대상으로 AHP 기법에 의거하여 쌍대비교(Pairwise Comparison)의 방식으로 진행되었다. AHP 방법은 전문가들의 의사결정을 기반으로 중요도를 분석할 수 있다는 점(안진성, 2011: 92)에서 본 연구에서 다루고 있는 공연분야 공공 문화예술기관의 성과평가지표의 상대적 중요도를 도출하는데 적합하다고 판단했기 때문이다.

2. AHP 측정지표와 측정항목

일차적으로 AHP 조사를 통해 설문대상자에게 예술성·공공성·운영효율성 중 어떤 분야가 공연분야 공공 문화예술기관의 성과를 평가할 때 가장 우선시되어야 하는지에 대해 질문했다. 이 질문은 공연분야 공공 문화예술기관이 추구해야 하는 가치를 어디에 두어야 할지를 확인하는 문항으로, 측정분야의 항목별 가치의 중요도를 판단하는 기준으로 사용되었다.

예술성·공공성·운영효율성의 세 가지 부문에 해당하는 각각의 성과지표 체계를 나열하면 [그림 1]과 같다. 세부 평가지표는 AHP 분석을 위한 선행연구를 종합하여 추출한 것들로서 우리나라 공공부문 문화예술기관의 성과평가 문항과 해외 문화예술기관의 평가지표로 도출한 것이다. 쌍대비교를 하기에 예술성·공공성·운영효율성 각각에 해당하는 개별 문항이 많아, AHP 조사 이전에 문화예술분야에서 활동하고 있는 전문가를 대상으로 한 델파이 조사를 통해 1차적으로 중요 지표들을 추출했다.17) 더불어 예술성·공공성·운영효율성 세부지표 간 중복성과 유사성 등을 고려하여 종합적으로 분석하여 기존 성과평가지표 등을 반영하고 조정하여 [그림 1]의 3개의 분야와 14개의 세부측정지표를 설정했다.

jcp-33-1-155-g1
그림 1. 공연분야 공공 문화예술기관의 성과지표의 상대적 중요도 분석을 위한 AHP 계층구조
Download Original Figure

예술성에 관련된 지표는 공연분야 공공 문화예술기관에서 선보이는 공연의 예술적 질 평가를 위한 내용으로 구성되어 있다. 공연분야 공공 문화예술기관의 무대에서 공연되는 작품에 대한 전문가 평가나 관객 평가는 물론이고, 연주자의 예술적 기량과 작품의 완성도 그리고 해당 분야에 어떠한 영향을 미치는지를 고루 확인할 수 있게 나열했다.18)

공공성에 해당하는 지표들은 소외계층을 대상으로 하는 공연, 교육 서비스에 대한 질문이나 공연분야 공공 문화예술기관을 활용하는 대관단체들이 기관의 접근성을 어떻게 평가하는지도 포함한다. 또한 공연분야 공공 문화예술기관은 지역에 기반하여 활동하는 경우가 대부분이므로 지역사회에 어떠한 공헌을 하고 있는지, 그리고 시민들이 공연분야 공공 문화예술기관에 대한 만족도는 어떠한지를 평가항목으로 구성했다. 대관자 만족도의 경우는 예술가들이 직접적으로 느끼는 공연분야 공공 문화예술기관의 접근성에 관한 내용으로 국민들을 위한 문화향유를 제공하는 것을 넘어서 해당 분야에서 활동하는 예술가들과 상생하는 공간으로 존재하는지에 대한 물음이라고 볼 수 있겠다.19)

운영효율성은 공연분야 공공 문화예술기관의 공적 자금을 얼마나 효율적으로 활용하고 있는가를 평가하기 위한 지표로 구성되어 있다. 재정자립도의 향상을 위해 주문되는 유료관객 점유율이 대표적인 지표다. 또한 연간 공연장 가동률과 총 공연 횟수도 평가의 대상이다. 운영효율성에 관련된 측정지표들은 주로 우리나라의 공공 문화예술기관에서 찾아볼 수 있었다. 해외의 경우 민간에서 운영되고 있는 문화예술기관에 운영성과를 요구하는 경우는 많지만, 공공에서 설립된 기관의 경우에는 설립목적에 따른 목표를 설정한 후 그것을 달성했는가를 평가하는 경우가 많았기 때문이다. 따라서 운영효율성에 관련된 지표들은 공공 문화예술기관에 성과평가를 시행하고 있는 우리나라의 특성에 맞추어 국립중앙극장, 예술의전당 등과 같이 책임운영기관 종합평가나 공공기관경영평가 상에 구성된 것들을 세부측정지표로 선정했다.

Ⅳ. AHP 실증분석

1. 개요

공연분야 공공 문화예술기관 평가지표의 상대적 중요성 검증을 위해 AHP 기법으로 설문조사를 실시했다. AHP 조사 기간은 2017년 5월 30일부터 6월 27일까지였다. 설문 응답자 중 일관성 비율이 현저하게 낮은 응답은 제외하고 응답의 일관성 비율이 0.2 이하인 것들만 추려 상대적 가중치를 산출했다.20) 설문조사 대상자는 문화예술 관련 학회 회원과 문화예술 관련 단체의 행정전문가와 예술가 그리고 프리랜서로 활동하고 있는 현장 예술가 등 문화예술 전 영역의 인력으로 설정하고 설문조사를 진행했다. 전체 159부 중에서 52부(회수율 32%)를 수거하여 일관성 비율이 0.2 미만인 40부를 대상으로 분석을 실시했다.21) AHP 조사의 경우 전문가를 대상으로 설문조사를 진행하기 때문에 문항에 대한 이해도가 높아 일반적으로 30부 이상의 표본의 경우 신뢰도가 높은 것으로 여겨진다(유창균·변경화·조성진, 2014: 46; 홍성민, 2018: 226). 응답한 전문가 집단의 인구사회학적 특성을 정리하면 <표 2>와 같다.

표 2. 전문가 패널 인구통계학적 특성
구분 인원(%)
성별 남자 20명(50)
여자 20명(50)
40명
연령 평균 37세
37세
학력 대졸 미만 1명(2.5%)
대졸 5명(12.5%)
석사과정(수료 포함) 6명(15%)
석사 졸업 9명(22.5%)
박사과정(수료 포함) 10명(25%)
박사 졸업 9명(22.5%)
40명
소속 예술계 교수 및 강사 5명(12.5%)
비예술계 교수 및 강사 3명(7.5%)
국·공립 문화예술기관 행정 담당자 14명(35%)
민간공연단체 행정 담당자 5명(12.5%)
국·공립 문화예술기관 소속 예술가 3명(7.5%)
프리랜서 예술가 10명(25%)
40명
종사년수 5년 미만 4명(10%)
6~10년 10명(25%)
11~15년 11명(27.5%)
16~20년 5명(12.5%)
21~25년 6명(15%)
25년 이상 4명(10%)
40명
Download Excel Table

전문가 집단의 성별은 남성과 여성이 각각 20명씩으로 50 대 50으로 구성되었으며, 평균연령은 만 37세인 것으로 나타났다. 전문가들의 학력은 대졸 미만부터 대졸까지가 6명, 석사과정부터 석사 졸업까지가 15명, 박사과정 이상이 19명으로 석사 이상의 고학력자가 85%를 차지했다. 전문가들의 소속기관을 살펴보면 학계·행정·예술분야 중에서 행정 담당자의 응답비율이 약 47.5%로 가장 높은 비율을 차지했다. 특히 공연분야 공공 문화예술기관의 성과평가와 관련된 조사임을 감안할 때, 유사한 업무를 맡고 있는 국·공립 문화예술기관에 종사하는 행정 담당자가 가장 적극적으로 조사에 임했다고 볼 수 있다. 학계종사자는 8명으로 전체 응답자의 20%를 차지했고, 예술가는 13명으로 32.5%의 비율을 나타냈다. 전문가들의 해당 분야 종사년수를 살펴보면, 전체 응답자의 25%가 20년 이상의 경력을 가진 것으로 분석되었다.

2. 분석결과

문화예술분야 전문가들을 대상으로 공연분야 공공 문화예술기관의 평가지표의 상대적 가중치를 측정하기 위해 지표 간의 우선순위 쌍대비교를 실시했다. 응답지를 회수하여 엑셀에 코딩하여 일관성 비율을 확인한 후, 행렬의 값을 기하평균(Geometric Mean)으로 구했다. 기하평균을 사용하는 이유는 산술평균이나 조화평균에 비해 극단적인 값의 영향을 덜 받기 때문이다(강병서, 2001: 84-87). 국립중앙극장의 예술성·공공성·운영효율성과 관련된 새로운 평가지표에 대한 기하평균은 <표 3>과 같다.

표 3. 공연분야 공공 문화예술기관 평가영역 간 상대적 우선순위
분류 기준항목 기하평균 우선순위 CI
평가영역 예술성 0.3962 2순위 0.0011
공공성 0.4381 1순위
운영효율성 0.1657 3순위
Download Excel Table

[그림 1]의 성과지표체계 계층구조의 수준 1에 해당하는 예술성·공공성·운영효율성에 관한 AHP 조사의 CI는 0.0011로 0.1보다 현저하게 낮아 신뢰도가 매우 높은 수준으로 분석되었다. AHP 조사를 통해 산출한 전문가들의 의견은 공연분야 공공 문화예술기관을 평가할 때의 우선순위를 공공성(0.4381) → 예술성(0.3962) → 운영효율성(0.1657)으로 두어야 한다고 생각하는 것으로 나타났다. 이 결과는 공연분야 공공 문화예술기관의 가장 중요한 특성을 공공을 위해 문화예술을 향유할 수 있도록 도와주는 데 두었다는 것을 보여준다. 또한 <표 3>의 결과는 공연분야 공공 문화예술기관의 성과평가 시 공공성이 중요한 지표로 설정되어야 한다는 그간의 지적을 반영하는 결과라고 할 수 있다.22) 공공성은 “이윤이 나지 않더라도 먼 미래를 생각하여 현재의 희생을 감내하는 것”을 의미하는데(백완기, 2007: 4-8; 김세훈 외, 2008: 155; 김정수, 2016: 85), AHP 설문 대상자들이 이러한 공공성의 의미를 문화예술기관에 대입하여 생각하고 있음을 알 수 있다. 공연분야 공공 문화예술기관에서 제공하는 예술적 서비스도 중요한 가치로 생각하고 있음을 보여준다. 아무리 좋은 목적을 가졌어도 시민들을 위한 문화예술 공연이나 교육을 제공하는 동시에 그 서비스의 질도 만족스러워야 한다는 것으로 해석할 수 있을 것이다. 운영효율성은 공공성이나 예술성의 가치에 비해 절반 정도의 중요성이 있다고 평가되었다. 이 결과는 본질적으로 공연분야 공공 문화예술기관에 운영효율성의 잣대로 평가하는 행위가 공공성의 가치와 모순되는 지점으로 인식될 수 있음을 보여주는 결과라 할 수 있겠다.

1) 측정항목의 우선순위 분석결과
(1) <예술성> 항목의 우선순위

예술성 항목의 우선순위를 분석한 결과 CI는 0.0124로 역시 높은 신뢰성을 가진 것으로 나타났다. 공연분야 공공 문화예술기관의 예술성과 관련된 지표의 우선순위는 <표 4>에서 볼 수 있듯이, 관객만족도(0.2323) → 창작 레퍼토리(0.2311) → 해당 분야에 대한 영향력(0.2174) → 연주자의 예술적 역량(0.2119) → 전문가의 평가(0.1073) 순으로 조사되었다. 이는 공연분야 공공 문화예술기관을 이용하는 관객들이 기관에서 제공하는 문화예술 공연의 질에 얼마나 만족하느냐가 다른 지표에 비해 상대적으로 중요하다고 평가했음을 의미한다. 관객 만족도와 나머지 측정항목 간 중요도의 차이가 크지 않았으나, 전문가 평가는 다른 항목에 비해 2분의 1 정도에 우선순위를 두고 있음을 확인할 수 있다.

표 4. 예술성 항목의 우선순위
분류 기준항목 기하평균 우선순위 CI
예술성 전문가의 평가 0.1073 5순위 0.0124
연주자의 예술적 역량 0.2119 4순위
해당 분야에 대한 영향력 0.2174 3순위
창작 레퍼토리의 예술성 0.2311 2순위
관객 만족도 0.2323 1순위
Download Excel Table

즉, 공연분야 공공 문화예술기관에서 무대에 올리는 작품에 대한 평가 시 관객의 수요를 고려하여 기획을 했는가가 중요한 평가대상이 되며, 관객반응에 따른 기획의 연속성을 갖출 필요가 있다는 것을 의미한다고 볼 수 있다. 또한 공연분야 공공 문화예술기관에서 보유하고 있는 소속 단체들의 창작 레퍼토리가 예술성을 갖추고 있는지를 묻는 지표가 높은 가중치를 부여받음으로써, 단체들로 하여금 창작에 대한 동기부여가 지속될 수 있도록 하는 결과를 보여주고 있다. 이러한 설문의 결과는 선행연구에서 살펴본 예술성에 관한 논의와 매우 유사하다는 것을 확인할 수 있다.

(2) <공공성> 항목의 우선순위

공연분야 공공 문화예술기관으로서 갖추어야 할 공공성에 관련된 지표의 우선순위를 분석한 결과 CI는 0.0028로 나타나 신뢰성이 매우 높은 결과로 볼 수 있다. <표 5>를 살펴보면, 교육 및 강의(0.2223) → 시설에 대한 관객만족도(0.2161) → 문화 소외계층 대상 공연(0.2110) → 지역사회 공헌도(0.1882) → 대관자의 만족도(0.1623) 순으로 중요도가 나타났다. 이 결과는 선행연구에서 다루었던 해외 문화예술기관의 공공성 요인에 관한 내용과 유사한 측면이 있다. 또한 교육과 강연이라는 경험이 향유자에게 장기적이고 지속적인 영향을 미쳐 궁극적으로 문화향유가 생활화될 수 있는 기회를 제공한다는 측면에서 공공성의 차원에서 매우 중요한 요인임을 증명했다고 할 수 있다. 외국의 사례와는 달리 아직 우리나라는 지역사회 공헌도가 낮은 우선순위를 기록했는데, 이는 공연분야 공공 문화예술기관이 지역사회와 견고한 네트워크를 구축하지 못하고 있다는 현장 예술가들의 의견이 반영된 결과라고 할 수 있겠다.23)

표 5. 공공성 항목의 우선순위
분류 기준항목 기하평균 우선순위 CI
공공성 문화 소외계층 대상 공연 0.2110 3순위 0.0028
교육 및 강의 0.2223 1순위
대관자의 만족도 0.1623 5순위
지역사회 공헌도 0.1882 4순위
시설에 대한 관객만족도 0.2161 2순위
Download Excel Table
(3) <운영효율성> 항목의 우선순위

운영효율성의 우선순위에 대한 AHP 분석의 CI는 0.0058로 나타났다. 공연분야 공공 문화예술기관에게 요구되는 운영효율성 지표들의 우선순위는 <표 6>에서 보듯이 공연장 가동률(0.2979) → 유료관객 점유율(0.2667) → 재정자립도(0.2410) → 총 공연횟수(0.1944)인 것으로 나타났다. 이 측정결과는 문화예술기관이 효율적으로 운영되는 것을 확인하기 위해 공연장이 연간 얼마나 가동되고 있는지를 살펴보는 것이 우선적이어야 한다는 것을 의미한다.

표 6. 운영효율성 항목의 우선순위
분류 기준항목 기하평균 우선순위 CI
운영효율성 유료관객 점유율 0.2667 2순위 0.0058
공연장 가동률 0.2979 1순위
총 공연횟수 0.1944 4순위
재정자립도 0.2410 3순위
Download Excel Table

문화예술기관의 운영효율성을 측정하는 목표는 재정자립도를 높이고 지속가능한 경영이 가능하도록 하기 위함이다.24) 그러나 문화예술분야 종사자들의 의견에 따르면 재정자립도의 비율을 증가시키는 것보다 공연장을 가동하고 유료관객 점유율을 높이는 것이 공연분야 공공 문화예술기관의 운영효율성을 측정하는 데 더 적합한 지표라는 것을 알 수 있다.25)

2) 종합가중치 및 순위

AHP 조사결과, 예술성, 공공성, 운영효율성의 분야별 우선순위는 공공성 → 예술성 → 운영효율성의 순서로 나타났으며, 이에 대한 AHP의 CI는 0.0011로 신뢰도가 매우 높다고 할 수 있다. 이후 공연분야 공공 문화예술기관의 성과를 평가하기 위한 부문 및 지표 간 상대적 우선순위는 <표 7>에서처럼 교육 및 강의(0.0974) → 시설에 대한 관객만족도(0.0947) → 문화 소외계층 대상 공연(0.0924) → 관객 만족도(0.0920) → 창작 레퍼토리의 예술성(0.0916) → 해당 분야에 대한 영향력(0.0861) → 연주자의 예술적 역량(0.0840) → 지역사회 공헌도(0.0825 ) → 대관자의 만족도(0.0711) → 공연장 가동률(0.0494) → 유료관객 점유율(0.0442) → 전문가의 평가(0.0425) → 재정자립도(0.0399) → 총 공연횟수(0.0322) 순서로 나타났다. 공공성 부문의 가중치가 높았기 때문에 공공성과 관련된 평가지표들의 우선순위가 높게 나타났다. 예술성 지표들이 그 뒤를 이었으며, 운영효율성과 관련된 지표들은 후순위를 기록했다. 그러나 1순위와 9순위의 지표 간 차이는 0.0263으로 가중치 간의 차이가 크지 않음을 볼 수 있다. 그러나 운영효율성에 해당하는 10순위 이하의 지표들은 가중치가 0.0500을 넘지 못하는 것으로 나타났다. 예술성·공공성·운영효율성 평가지표별 AHP 조사에서도 모두 CI가 0.1 이하로 응답의 일관성이 높게 나타나 신뢰성을 가질 수 있는 조사 결과라고 할 수 있겠다.

표 7. 공연분야 공공 문화예술기관 성과평가에 대한 지표 간 상대적 중요도 및 우선순위
분류 기준항목 기하평균 우선순위 복합 가중치 전체항목 우선순위
예술성 (0.3962) 전문가의 평가 0.1073 5순위 0.0425 12순위
연주자의 예술적 역량 0.2119 4순위 0.0840 7순위
해당분야에 대한 영향력 0.2174 3순위 0.0861 6순위
창작 레퍼토리의 예술성 0.2311 2순위 0.0916 5순위
관객 만족도 0.2323 1순위 0.0920 4순위
공공성 (0.4381) 문화 소외계층 대상 공연 0.2110 3순위 0.0924 3순위
교육 및 강의 0.2223 1순위 0.0974 1순위
대관자의 만족도 0.1623 5순위 0.0711 9순위
지역사회 공헌도 0.1882 4순위 0.0825 8순위
시설에 대한 관객만족도 0.2161 2순위 0.0947 2순위
운영 효율성 (0.1657) 유료관객 점유율 0.2667 2순위 0.0442 11순위
공연장 가동률 0.2979 1순위 0.0494 10순위
총 공연횟수 0.1944 4순위 0.0322 14순위
재정자립도 0.2410 3순위 0.0399 13순위
Download Excel Table

공연분야 공공 문화예술기관의 설립목적은 국민들의 문화향유 확대를 위함이며, 이를 충실하게 수행하기 위해 <표 7>에서 제시하는 지표를 중심으로 업무를 구성한다면 오히려 기관의 미션과 비전에 걸맞은 운영이 가능하리라 예상한다.

Ⅴ. 결론 및 연구의 한계

본 연구는 공연분야 공공 문화예술기관의 성과평가에 활용되는 지표들의 상대적 중요도를 분석하는 데 목적이 있다. 2000년대 중반 이후 논의되기 시작한 공연분야 공공 문화예술기관의 성과평가의 지표들을 분류하고 취합하여 예술성·공공성·운영효율성의 세 가지 부문으로 구분했다. 이후 AHP 기법으로 각각에 해당하는 지표들 간의 우선순위 선정과 상대적 중요도를 분석했다. AHP 기법은 다양한 평가기준 중 전문가들의 주관적 의견을 취합하여 의사결정으로 활용할 수 있다는 점에서 공연분야 공공 문화예술기관의 성과평가지표에 적절하고 합리적인 결정도구로 기능할 수 있다.

그동안 공연분야 공공 문화예술기관에 대한 성과를 논한 연구들은 운영효율성과 같은 계량적·정량적 결과들이 문화예술기관이 가진 특수성을 제대로 반영하지 못하고 있음을 비판하고 있다. 그렇지만 예술성이나 공공성을 평가의 기준으로 삼아야 한다는 연구들도 구체적으로 어떠한 지표를 가지고 평가할 것인가에 대한 대안 제시가 부족했다는 한계를 지니고 있었다. 본 연구에서는 이러한 연구의 한계를 극복하기 위해 우리나라 공연분야 공공 문화예술기관에서 활용하고 있는 성과평가지표와 해외 문화예술기관에서 활용하고 있는 평가지표를 취합하여 예술성·공공성·운영효율성의 세 가지 부문에 대한 평가항목을 구체화하여 평가를 실시했다.

공연분야 공공 문화예술기관의 성과측정을 위한 예술성·공공성·운영효율성 내의 구체적인 성과지표 간 우선순위를 측정하기 이전에 세 가지 부문이 어떠한 우선순위를 가지고 평가되어야 하는지를 분석한 결과, 공공성(0.4381) → 예술성(0.3962) → 운영효율성(0.1657) 순으로 조사되었다. 즉, 공연분야 공공 문화예술기관에서 가장 중요한 키워드는 ‘공공(公共)’임을 확인할 수 있다. 공연분야의 전문가들은 국민들의 문화적 삶의 질 향상을 위해 문화예술을 정부에서 제공하는 공공서비스라고 생각하고 있음을 의미한다고 볼 수 있다. 공연분야 공공 문화예술기관은 공공서비스의 여러 분야 중 문화예술을 제공하는 것이며, 국민들이 향유하는 문화예술은 예술적 완성도가 높아야 한다는 기대와 요구사항을 드러내는 결과라 할 수 있겠다. 공공성과 예술성이 담보되는 것이 공연분야 공공 문화예술기관을 효율적으로 운영하는 것보다 더 중요한 설립목적이자 운영방향이어야 한다는 결과를 내포하고 있음을 보여준다.

세 가지 부문의 하위 평가지표 간 상대적 중요성의 최종 결과는 교육 및 강의(0.0974) → 시설에 대한 관객만족도(0.0947) → 문화 소외계층 대상 공연(0.0924) → 관객 만족도(0.0920) → 창작 레퍼토리의 예술성(0.0916) → 해당 분야에 대한 영향력(0.0861) → 연주자의 예술적 역량(0.0840) → 지역사회 공헌도(0.0825) → 대관자의 만족도(0.0711) → 공연장 가동률(0.0494) → 유료관객 점유율(0.0442) → 전문가의 평가(0.0425) → 재정자립도(0.0399) → 총 공연횟수(0.0322) 순으로 나타났다. 예술성·공공성·운영효율성의 상대적 중요도의 결과가 반영된 평가지표 간 우선순위도 부문별 우선순위와 크게 다르지 않다는 것을 확인할 수 있다.

이상의 분석결과는 향후 공연분야 공공 문화예술기관의 성과평가를 진행할 때 구성해야 하는 세부 지표를 선정하는 데 있어 우선적으로 고려해야 하는 사항들에 대한 정책적 시사점을 제공해준다는 데 의의가 있다.

첫째, 평가지표의 구성에 있어 현장의 수용성을 높일 수 있을 것이다. 공적 재원으로 운영되는 공연분야 공공 문화예술기관의 평가를 위해 어떠한 항목들이 포함되어야 하는지에 대한 전문가들의 의견을 수렴했고, 지표들 간 상대적 중요도와 우선순위를 설정함으로써 예술성·공공성·운영효율성의 지표들이 고루 구성될 수 있었다. 얼마나 효율적으로 운영되고 있는가를 평가했던 기존 성과평가는 공공 문화예술기관의 성과를 제대로 보여줄 수 없었기 때문에 현장에서 성과평가에 대한 반발이 있어왔다. 현장예술인·행정전문가·학계종사자들을 대상으로 실시한 AHP를 통해 수렴된 의견이기 때문에 향후 공연분야 공공 문화예술기관의 성과평가에 대한 수용성이 향상될 수 있으리라 기대할 수 있다. 더욱이 문재인 정부는 국정과제 중 하나로 성과 위주에서 사회적 가치 중심으로의 평가방식 전환을 발표한 바 있다. 사회적 가치를 평가에 포함하기 위해서는 기존 평가가 어떻게 구성되고 이루어졌으며, 어떻게 변화해야 할지를 판단할 준거가 요구되는데, 이러한 정책방향의 전환에 대응하는 데 활용될 수 있을 것이다.

둘째, 공공 문화예술기관에 요구되는 예술성·공공성·운영효율성을 내실화할 수 있는 정책 기반 마련의 기초연구로 활용될 수 있다. 공연분야의 공공 문화예술기관은 운영형태에 따라 추구해야 할 가치가 다를 수 있기 때문에 이를 반영한 유연한 성과평가제도로의 변화가 요구되며, 형태에 따른 건강한 평가제도를 구축할 필요가 있다. 특히 공연분야의 특성에 걸맞은 평가지표의 개발을 지속적으로 마련할 필요가 있을 것이다. 본 연구는 국내외 공연분야 공공 문화예술기관의 평가지표를 취합했기 때문에 각 기관의 상황에 맞도록 평가지표의 취사선택이 가능하여 기관의 특수성을 반영할 수 있게 되었다. 향후 기관의 특성을 유형별로 구분하여 이번 AHP 설문결과의 성과평가지표를 적용할 수 있을 것으로 기대한다.

그러나 본 연구의 한계도 분명 존재한다. 첫째, 이번 연구는 공연분야 공공 문화예술기관이 성과평가의 대상이라는 것을 전제하고 AHP 기법을 활용하여 지표들 간 상대적 중요성과 우선순위를 도출했다. 그러나 공연분야 공공 문화예술기관의 성과를 평가하는 것 자체에 대한 사회적 합의가 필요하다는 전문가들의 의견에서 자유로울 수 없다는 한계를 가지고 있다.

둘째, 공연분야 공공 문화예술기관들 간의 특성을 고려하지 못했다. 소속 기관, 산하 기관, 지방 문예회관 등은 설립목적에 따라 재원조성, 운영방식, 관객대상 등이 다르게 설정되어 있다. 이러한 기관의 특성에 따른 세밀한 평가방식과 지표에 대한 추가적인 연구가 필요할 것이다.

마지막으로 AHP 설문조사의 대상이 문화예술기관에 종사하는 예술계 내부로만 한정되어 있어 지표의 객관성을 담보하지 못하고 있다는 점에서 한계가 존재한다. 문화예술분야 이외의 공공기관 종사자들은 예술성·공공성·효율성과 관련된 평가지표의 우선순위를 다르게 적용할 수 있기 때문에 더욱 객관적이고 공정한 성과지표를 마련하기 위해서는 문화예술계 내외부의 의견을 종합적으로 검토해보는 시도가 요구된다고 하겠다.

Footnotes

*본 논문은 이정희의 박사학위 논문 중 일부를 대폭 수정․보완한 것이다.

1) NPM은 시장 우선의 논리를 강조하는 신자유주의의 이론적 배경에서 등장했다. 신자유주의는 국가가 시장에 개입하는 것을 비판하고 시장의 자유로운 활동을 지지한다. 신자유주의가 등장하게 된 배경에는 제1차 세계대전 이후 국가가 적극적으로 시장에 개입하는 이른바 복지국가가 1970, 1980년대 전 세계적으로 불어 닥친 경제공황의 위기가 도래한 것이 수정자본주의 경제정책의 실패임을 지적하며 대두되기 시작했다(이종수, 2009: 302).

2) 우리나라의 공연분야 공공 문화예술기관은 크게 네 가지 형태로 구분할 수 있다. 첫째, 행정안전부에의 책임운영기관, 둘째, 문화체육관광부 산하에 있는 소속기관, 셋째, 문화체육관광부 산하기관이지만 특별법의 적용을 받는 기관, 넷째, 지방자치단체에 설립되어 있는 지역 문예회관이 그것이다. 각각 다른 법적 형태로 띠고 있음에도 공통적으로 나타나는 문제점은 문화예술의 특수성이 반영되지 않은 획일화되어 있는 평가체계와 지표에 의해 평가되고 있다는 점이다.

3) 국립중앙극장, 국립현대미술관, 국립아시아문화전당은 문화체육관광부의 소속 기관이면서 책임운영기관으로 전환된 공공 문화예술기관이다. 이들은 「책임운영기관의 설치·운영에 관한 법률(법률 제14839호, 시행 2017. 7. 26)」에 의거하여 “정부가 수행하는 사무 중 공공성(公共性)을 유지하면서도 경쟁 원리에 따라 운영하는 것이 바람직하거나 전문성이 있어 성과관리를 강화할 필요가 있는 사무에 대하여 행정 및 재정상의 자율성을 부여하고 그 운영 성과에 대하여 책임을 지도록 하는 행정기관”으로 지정, 운영되고 있다.

4) 산하 기관들은 주로 민법 제32조 및 공익법인설립운영에 관한 법률 제4조나 문화예술진흥법에 근거하여 설립되었으며 국민들의 문화향유의 향상을 위한다는 유사한 목적을 가지고 있다.

5) 지역에 설립된 문화예술회관을 문예회관이라 부르고 있다. 지역 문예회관은 문화예술진흥법과 공연법(법률 제8345호)에 근거하여 설립되었다. 「전국문화기반시설총람」에서 조사한 바에 의하면, 우리나라에 설립된 문예회관은 2017년을 기준으로 총 236개다. 문예회관은 2010년 대비 130%(54개)가 증가했다. 이는 문체부에서 2011년까지 지역 문예회관을 전국 광역시도 및 시군구에 1개씩 건립한다는 목표를 수립하고 추진해왔기 때문이다(문화관광부, 2008).

6) 국민들이 문화예술을 향유하는 행위가 개인적 취향의 차원을 넘어 생활의 질적 향상과 관련되어 있다는 인식이 보편화되고 있다. 이러한 측면에서 2012년 문화기본법이 제정되었다고 볼 수 있다. 국민들이 손쉽게 문화예술에 접근할 수 있도록 국가의 적극적인 지원정책이 요구되고 있다.

7) 일반적으로 공공 부문에 평가를 요구하는 행위는 책임감 있는 예산 사용을 요청하는 것이며, 이를 통해 정부와 기관 사이의 신뢰를 만들어가는 과정이라 말하기도 한다(Wyszomirski. 1998; 이은미·정영기, 2006: 78 재인용).

8) 공공 문화예술기관에 대한 선행연구는 공연분야의 기관과 관련된 연구로 구성했기 때문에 중복을 줄이기 위해서 공연분야를 제외하고 서술했음을 밝힌다.

9) 전병태가 제시한 열 가지 세부평가지표는 다음과 같다. ① 기관의 사명과 역할 및 목적의 명료성, ② 지역사회공헌, ③ 사업프로그램 기획력, ④ 예술의 공공성, ⑤ 마케팅, ⑥ 대외홍보, ⑦ 운영관리(조직·인사·관리를 포함한 3가지 항목), ⑧ 구성원의 자질과 전문성, ⑨ 시설관리, ⑩ 기금 및 재정운영이 그것이다.

10) Sheppard(2014)는 ‘문화예술의 파급효과’를 언급한 바 있는데, 이는 문화예술 활동을 통해 얻을 수 있는 독특한 특성들이 사회적 가치를 창출하는 데 중요한 역할을 함을 의미한다. 또한 이러한 것이 궁극적으로 삶의 질을 향상시키는 데 기여한다고 주장했다.

11) 예술성을 수월성(excellence)과 접근성(access)의 개념으로 나누어 설명할 수도 있다. 수월성이라는 것은 작품의 질적 성취도가 높은 것을 의미하고 접근성은 관객들이 작품을 관람·향유·소비하는 것을 뜻한다. 즉, 수월성은 문화예술의 예술성과 관련되고 접근성은 공공성과 연계되는 개념이라 할 수 있다(심보선·강윤주·전수환, 2010: 64-65).

12) 예술성은 궁극적으로 사회적 관계 속에서 존재하는 것이라는 주장은 예술과 사회, 관객 그리고 커뮤니티 내에서 상호작용을 한다는 내용을 담고 있다. 그렇기 때문에 예술이 가지고 있는 가치가 사회로 확산되고 그 안에서 융화되는 것이 중요하다는 것을 강조한다.

13) 곽성희·박통희의 논문에서는 예술성 그 자체가 공공의 개념을 가지고 있다고 언급하며, 예술성은 공공성을 구현하고 증진하기 위한 하나의 방법이라고 강조한다(2016: 99).

14) 물론 모든 예술이 사람들에게 즐거움을 주는 것은 아니다. 한 예로 1987년 미국 NEA의 지원금으로 작품을 제작한 안드레 세라노(Andres Serrano)의 ‘Piss Christ’는 예술에 대한 공공지원의 정당성에 대해 의문을 제기하게 만들었다. 공적 지원으로 창작된 작품이 공익에 위배되는 결과를 가져올 수 있다는 것을 보여주는 대표적인 사례로, 이후 예술의 공공성에 대한 많은 시사점을 던져주었다.

15) 운영효율성은 정부가 결과를 중심으로 하는 관리기법을 추구한다는 것으로 이해할 수 있다. 이렇게 성과를 중심으로 관리하는 방식은 측정을 통한 성과평가를 통해 궁극적으로는 공공 부문 조직들의 성과가 향상될 수 있고, 이는 다시 기관의 책임성 증가로 이어질 수 있다는 연계성을 기반으로 하고 있음을 강영철(2009: 121-122)은 언급하고 있다.

16) 보몰의 비용질병에서 이야기하는 비용절감의 어려움이 여기에 해당할 수 있다. 또한 허은영(2010: 108)은 문화예술기관에서 투입을 최소화한다면 산출인 공연의 품질에 심각한 왜곡이 나타날 수 있음을 경고했다.

17) AHP 조사에 사용할 설문문항을 구성하기 위해 전문가 델파이 조사를 진행했다. 전문가 델파이는 AHP 조사를 시행하기 한 달 전에 문화예술분야에서 활동하고 있는 13명의 예술가, 행정가, 학계 전문가들로 구성했으며, 이들은 3차에 걸친 델파이 조사를 통해 예술성·공공성·운영효율성 각각의 문항에 대한 응답을 했다. 이렇게 도출된 우선순위에 따라 쌍대비교를 위한 AHP 설문문항을 다듬게 되었다. 전문가 델파이에서 논의되었던 예술성과 관련된 평가지표는 8개, 공공성은 8개, 운영효율성은 6개 문항이었다. 이 중에서 전문가들이 중요하다고 꼽은 응답률 50% 이상인 지표를 추려 AHP 설문문항을 구성한 것이다. 공공성의 문항 중 기관의 설립목적 수행은 포괄적이고 추상적인 지표이기 때문에 설문의 구체성을 위하여 제외했다.

18) 예술성과 관련된 지표들은 국립중앙극장, 서울시립교향악단(이하 서울시향), 뉴질랜드 심포니오케스트라에(이하 NZSO)서 활용하고 있는 평가지표들을 취합하여 구성했다. 기존에 시행되고 있는 국립중앙극장 평가지표 중에서는 해당 분야에 대한 영향력, 창작 레퍼토리, 서울시향에서는 예술가들의 예술적 역량, 그리고 NZSO에서는 전문가 평가, 해당 분야에 대한 영향력, 관객 평가가 있다. 중복되는 내용을 추린 후 최종적으로 선정된 지표들이 [그림 1]의 측정지표다.

19) 공공성에 대한 해외의 논의를 살펴보면 문화예술의 가치재적 특성을 반영하여 어린이와 청소년을 대상으로 하는 교육과 강의가 활성화되는 것을 추구하고 있음을 확인할 수 있다. 또한 공공 문화예술기관이 지역에 있기 때문에 발생할 수 있는 긍정적 영향력에 대한 평가가 포함되어 있다. 소외계층에 대한 배려는 우리나라 문화예술기관의 평가에서 찾아볼 수 있었다.

20) AHP 기법을 창안한 T. Satty는 AHP 분석이 가지고 있는 장점을 평가자가 얼마나 일관적으로 응답했는지를 확인할 수 있는 장치가 있다는 점을 들었다. 이를 일관성 비율이라고 한다. 일관성 비율이란 평가자가 응답한 답들 사이에 논리적으로 모순이 있는지를 측정한 값의 비율을 의미한다. 비일관성 비율이라고도 기술되는데, 그 의미는 동일하다. Satty는 일관성 비율이 0.1 미만이면 쌍대비교가 합리적인 일관성을 가지고 있다고 판단할 수 있고, 0.2 미만인 경우까지는 용납할 수 있는 수준이라 평가한다.

21) 문화예술 관련 학회 회원을 대상으로 이메일 설문조사를 실시했으나 전체 발송량의 50%가 반송되었다. 또한 확인은 했으나 응답하지 않은 회원이 많았기 때문에 회수율이 32%로 낮게 나타났다.

22) 공연분야 공공 문화예술기관의 대표 기관으로 볼 수 있는 국립극장의 평가결과를 살펴보면, 국립극장의 설립목적을 수행하기 위해 예술성과 공공성에 관련된 지표가 성과평가에 포함되어야 한다는 내용을 「책임운영기관 종합평가 보고서」에서 찾아볼 수 있다(행정안전부, 2008: 234-235). 또한 지역 문화예술기관의 성과평가 시에도 공공성이 중요한 평가요인임을 이은미(2007: 42)의 논문에서도 확인할 수 있다.

23) 2016년 NZSO의 Statement of Performance Expectations를 살펴보면 NZSO는 기관의 설립목적을 달성하기 위한 목표로 뉴질랜드 국민들에게 향유의 기회가 확산되고 지역과 연계를 확대하는 것을 지표화하고 있다. 이 지표들은 공공성의 영역에 해당하고 있다는 것을 보고서를 통해 제시한다.

24) 김미리(2014: 10)의 연구에 의하면 공연예술 분야에서의 효율성은 “내부적으로는 예술가들의 창작활동과 기획자의 기획력이 만나는 매개역할을 수행하여 창의성에 기반한 시장경쟁력을 강화하는 것”을 의미한다고 할 수 있다. 이러한 노력이 지속되어야 공연예술기관이 효율성을 충족할 수 있다고 언급한다.

25) 이정희(2018: 185)의 연구결과에 따르면 운영효율성 중 재정자립도는 공연 수입뿐 아니라 시설 임차료를 통해 얻는 수익을 모두 포함한 값이기 때문에 정확한 극장의 재정자립도를 확인할 수 없다는 단점을 가지고 있음을 확인할 수 있다. 또한 문화체육관광부와 (재)예술경영지원센터가 매년 발간하는 「공연예술실태조사」에 의하면, 재정자립도는 공연시설 및 단체의 총 지출액 대비 매출액의 비율로 산출하고 있음을 명시하며, 매출액은 자체 수입과 기타 수입의 합산액이라고 보고서에서 밝히고 있다.

참고문헌

1.

강영철(2009), 공공부문 성과지표의 규범적 지향에 관한 연구: 중앙행정기관을 중심으로, 「한국정책과학학회보」, 제13집 4호, 121-141.

2.

곽성희·박통희(2016), 서울시립교향악단의 재단법인화와 예술성, 「한국행정학보」, 제50집 2호, 97-130.

3.

권미정(2008), 「문화예술분야의 성과관리제도에 관한 연구: 지역문화재단의 사업평가」, 중앙대학교 대학원 석사학위 논문.

4.

권오성·황혜신·박석희·김철회(2009), 공공기관의 책임성 유형과 우선순위에 관한 실증분석, 「한국사회와 행정연구」, 제20집 1호, 51-74.

5.

김미리(2014), 공공문화예술기관의 경영성과요인에 관한 실증 연구. 한남대학교 대학원 박사학위 논문.

6.

김세훈·현진권·이준형·김정수·이기호·양현미(2008), 「공공성」, 아르코북스.

7.

김정수(2010), 「문화행정론」, 집문당.

8.

김정수(2016), 「정책학입문」, 문우사.

9.

김태훈(2006), 문화예술부문 책임운영기관 사업성과 메타평가지표개발 및 실증적 적용, 「한국정책분석평가학회 학술대회발표논문집」, 1-36.

10.

김효(2006), 대중예술에 있어서 흥행성과 예술성의 문제, 「한국연극학」, 제29호, 153- 183.

11.

문화체육관광부·(사)전국문예회관연합회(2008), 「문예회관 운영 가이드」, 문화체육관광부.

12.

문화체육관광부(2017), 「2017 전국 문화기반시설 총람」, 문화체육관광부.

13.

문화체육관광부·(재)예술경영지원센터(각년도), 「공연예술실태조사」, 문화체육관광부.

14.

박통희(2016), 공공예술조직의 서비스전달체계와 예술성·공공성·효율성: 1957년 창단 이후 2016년까지 서울시립교향악단의 변화를 사례로, 「한국조직학회보」, 제13권 2호, 1-38.

15.

박통희·곽성희(2014), 서울시립교향악단의 재단법인화와 예술적 전문성 그리고 공연품질, 「한국행정학회 학술발표논문집」, 12: 1455-1593.

16.

배용수(2000), 지방공기업 설립여건의 적정화 방안, 「한국지방재정논집」, 제5권 1호, 1-16.

17.

백완기(2007), 한국행정과 공공성, 「한국사회와 행정연구」, 제18권 2호, 1-22.

18.

소영진(2008), 공공성의 개념적 접근, 「새로운 시대의 공공성 연구」, 법문사.

19.

심보선·강윤주·전수환(2010), 문화사회학적 견지에서 바라본 문화예술경영의 시론적 고찰: 시민성, 지역성, 예술성 개념을 중심으로, 「문화와사회」, 제8권, 39-82.

20.

안진성(2011), 「델파이 기법(Delphi)과 계층적 의사결정방법(AHP)의 적용을 통한 전통정원의 보존상태 평가지표 개발」, 성균관대학교 대학원 박사학위 논문.

21.

오양열(2015), 「문화예술 정책. 문화정책의 역사적 변동과 전망」, 문우사.

22.

왕치현·김상원·송기란·송대명·김영석(2010), 현대예술 및 문화: 국공립극장의 운영주체에 따른 운영현황 연구, 「브레히트와 현대연극」, 제23권, 323-342.

23.

유창균·변경화·조성진(2014), AHP분석을 통한 마을형 친환경지표의 설정 및 가치의 평가구조: 농촌지역을 대상으로, 「대한건축학회연합논문집」, 제16권 2호, 41-48.

24.

윤경준(2003), 공공부문 효율성 측정을 위한 DEA의 활용: 평가와 제언, 「정부학연구」, 제9권 2호, 7-31.

25.

이은미(2007), 「공공 문화예술기관의 평가 시스템 구축」, 가톨릭대학교 대학원 박사학위 논문.

26.

이은미·정영기(2006), 문화예술기관의 평가시스템 도입과 실행, 「정부회계연구」, 제4권 2호, 77-110.

27.

이인권(2006), 「21세기 아트센터의 예술경영 리더십」, 어드북스.

28.

이정희(2018), 문화예술기관 성과평가에 관한 연구: 국립중앙극장 신규 평가지표개발을 중심으로, 「한국행정연구」, 제27권 제1호, 209-242.

29.

이종수(2009), 「행정학사전」, 대영문화사.

30.

이창민(2015), 문화예술기관 운영의 효율성 영향요인, 「한국정부학회 학술발표논문집」, 222-251.

31.

이철순(2010), 공공 문화예술서비스의 효율적 전달체계 연구: 문화기반시설로서 문예회관(arts center)을 중심으로, 「정부학연구」, 제16권 2호, 271-305.

32.

이혜숙(2014), 「공공 문화예술기관 운영 성과에 관한 연구」, 광운대학교 대학원 박사학위논문.

33.

전병태(2008), 「세계 주요 아트센터 평가사례 비교분석연구」, 한국문화관광연구원.

34.

전춘옥·정영기·이은미(2006), 공공 문화예술기관 운영 전문화를 위한 평가 시스템 연구, 「예술경영연구」, 제10권, 45-61.

35.

정희섭(2010), 「책임운영기관 평가체계에 관한 연구: 국립중앙극장 평가지표를 중심으로」, 중앙대학교 대학원 박사학위 논문.

36.

조근태·조용곤·강현수(2005), 「앞서가는 리더들의 계층분석적 의사결정」, 동현출판사.

37.

조숙현·윤태진(2015), 공공의 예술인가? 예술의 공공성인가?: 한국 커뮤니티 아트 속 예술성과 공공성의 갈등사례 연구, 「미디어와 공연예술연구」, 제10권, 1호, 105-133.

38.

주은혜(2018), 「공공조직의 공공가치 관리를 위한 평가모형개발에 관한 연구」, 부산대학교 대학원 박사학위 논문.

39.

키노시타 에이조·오오야 타카오(2012), 「전략적 의사결정기법 AHP」, 청람.

40.

한승준(2011), 예술공공기관 법인화의 성과에 관한 시론적 연구: 세종문화회관 법인화 사례를 중심으로, 「행정논총」, 제49권 4호, 305-330.

41.

허은영(2010), 「문화시설 운영 효율성 지표 개발 연구」, 한국문화관광연구원.

42.

행정안전부(2008), 「책임운영기관 종합평가」, 행정안전부.

43.

홍성민(2018), AHP분석을 통한 지역성 표현 요소에 대한 전문가 가치구조 연구, 「한국공간디자인학회논문집」, 제13권 1호, 219-228.

44.

Acosta, J. J. H.(2016), The role of arts organizations in cultural policy: The “Cultural Return” analysis, International Journal of Arts Management, Special Edition, 56-69.

45.

Ames, P. J.(1994), Measuring museum’s merits. Museum management, London: Routledge.

46.

Basso, A., and Funari, S.(2004), A quantitative approach to evaluate the relative efficiency of museums, Journal of Cultural Economics, 28, 195-216.

47.

Boerner, S.(2004), Artistic quality in and opera company: Toward the development of a concept, Nonprofit Management & Leadership, 14(4), 425-436.

48.

Bohte, J., and Meier, K. J.(2000), Goal displacement: Assessing the motivation for organizational cheating, Public Administration Review, 60(2), 173-192.

49.

Brooks, A. A., and Ondrich, J. I.(2007), Quality, service level, or empire: Which is the objective of the nonprofit arts firm?, Journal of Cultural Economy, 31(2), 12-142.

50.

Cohen, A. B.(1990), Copyright law and the myth of objectivity: The idea-expression dichotomy and the inevitability of artistic value judgements, Indiana Law Journal, 66(1), 175-232.

51.

Frey, B. S.(1999), State support and creativity in the arts: Some new considerations, Journal of Cultural Economics, 23(1/2), 71-85.

52.

Gillhespy, I.(1999), Measuring the performance of cultural organizations: A model, International Journal of Arts Management, 2(1), 38-52.

53.

Grace, C., Fletcher, K., Martin, S. J., and Bottrill, I.(2007), Making and managing markets: Contestability, competition and improvement in local government, London: Audit Commission.

54.

Huddleston, A.(2012), In defense of artistic value, The Philosophical Quarterly, 62(249), 705-714.

55.

Jackson, P. M.(1994), Performance indicators: Promises and pitfalls, museum management, London: Routledge.

56.

Last, A., and Wetzel, H.(2011), Baumol’s cost disease, efficiency, and productivity in the performing arts: An analysis of German public theaters, Journal of Cultural Economics, 35(3), 185-201.

57.

Lopes, D. M.(2011), The myth of (Non-aesthetic) artistic value, The Philosophical Quarterly, 61(244), 518-536.

58.

Marco-Serrano, F.(2006), Monitoring managerial efficiency in the performing arts: A regional theatres network perspective, Annals of Operations Research, 145(1), 167-181.

59.

Organization for Economic Cooperation and Development(OECD)(1997), Issues and developments in public management: Survey, Paris: OECD.

60.

Parsons, L. M.(2003), Is accounting information from nonprofit organizations useful to donors? A Review of Charitable Giving and Value-relevance, Journal of Accounting Literature, 22, 104-129.

61.

Preece, S.(2005), The performing arts value chain, International Journal of Arts Management, 8(1), 21-32.

62.

Radbourne, J.(2002), Social intervention or market intervention?: A problem for governments in promoting the value of the arts, International Journal of Arts Management, 5(1), 50-61.

63.

Rittel, H. W. J., and Webber, M. M.(1973), Dilemmas in a general theory of planning, Policy Sciences, 4, 155-169.

64.

Sheppard, S.(2014), Measuring the economic and social impacts of cultural organizations, Community Development Investment Review, 43-48.

65.

Thompson, E., Berger, M., Blomquist, G., and Allen, S.(2002), Valuing the arts: A contingent valuation approach, Journal of Cultural Economics, 26(2), 87-113.

66.

Throsby, D.(1990), Perception of quality in demand for the theatre, Cultural Economics, 14(1), 65-82.

67.

Tobias, S.(2004), Quality in the performing arts: Aggregating and rationalizing expert opinion, Journal of Cultural Economics, 28, 109-124.

68.

Toepler, S.(2001), Culture, commerce, and civil society: Rethinking support for the arts, Administration & Society, 33(5), 508-522.

69.

Treanor, P. Neoliberalism: Origins, Theory, Definition, http://web.inter.nl.net/users/Paul.Treanor/neoliberalism.html

70.

Turbide, J., and Laurin, C.(2009), Performance measurement in the arts sector: The case of the performing arts, International Journal of Arts Management, 11(2), 56-70.

71.

Wyszomirski, M. J.(1998), The arts and performance review, policy assessment, and program evaluation: Focusing on the ends of the policy cycle, Journal of Arts Management, 28(3), 191-199.

72.

국가법령정보센터 www.law.go.kr

73.

국립중앙극장 www.ntok.go.kr

74.

뉴질랜드 심포니오케스트라 www.nzso.co.nz

75.

서울시립교향악단 www.seoulphil.or.kr

76.

영국국립극장 www.nationaltheatre.org.uk

77.

아르코웹진 http://webzine.arko.or.kr