Ⅰ. 서론
2014년 시범평가를 시작으로 올해 본평가 6년차에 접어든 문화영향평가는 ｢문화기본법｣ 및 동법 시행령에 의거하여 정부정책이 “문화적 관점에서 국민의 삶의 질에 미치는 영향”(｢문화기본법｣제5조 제4항)을 진단하고 평가하는 것으로 규정하고 있다. 그리고 정책의 문화적 관점을 합리적으로 판단하기 위하여, 문화영향평가 지원기관으로 법정 지정된 한국문화관광연구원을 비롯해 문화영향평가를 자체적으로 시행하고 있는 서울특별시 등 지방자치단체들은 평가의 핵심 내용이라 할 수 있는 문화영향평가 지표 연구를 꾸준히 이어왔다. 해당 연구들은 문화영향평가 지표의 핵심개념, 정의, 평가기준을 도출하는 시론적 수준에서부터 실제적인 평가문항, 평가도구 및 측정방식을 실증적 수준에서 탐색한 연구에 이르기까지 다양하게 진행되었다. 이런 연구의 과정들을 거쳐 2016년을 기준으로 문화영향평가 지표는 3대 평가영역, 6개 평가지표, 12개 고려사항의 체계를 갖추게 되었고, 선행연구를 통해 각 지표별 핵심개념, 정의, 평가기준을 정립하여 평가위원 및 피평가대상 담당자들에게 제시되었다. 최근 2020년에는 세부지표라 할 수 있는 12개 고려사항에 대해 ｢문화기본법｣에서 강조하고 있는 문화에 관한 국민의 권리 이행과 국민의 문화적인 삶 제고에 보다 초점을 맞추어 용어와 그 지표 수를 조금씩 변경하기도 했다.
하지만 오랜 연구의 과정을 거쳐 만들어진 문화영향평가 지표는 관련 전문가들로 구성된 평가위원 집단에서 뿐만 아니라, 피평가자 집단인 평가대상 사업, 계획, 정책을 담당하는 공무원 등 평가이해관계자들로부터 그 한계점들을 계속 지적받고 있다. 예로, 지표의 개념, 정의, 사용된 용어, 평가 기준의 추상성으로 인해 해당 지표를 완벽히 이해하고 평가에 임하는 것이 어려운 경우들이 많으며, 문화의 정의가 매우 다양하고 광범위하다보니 실제 평가에 활용해야 할 정의와 범위가 명확히 세워지지 않아 평가결과의 신뢰성에까지 영향을 미치는 경우도 있다(한승준·이용모, 2016). 또한 문화의 영향을 양적 지표로 계량화하는 것이 쉽지 않기 때문에 다른 분야의 영향평가에 비해 평가결과의 객관성을 담보할 수 있는 정량적 지표 개발 및 측정 도구의 체계화가 어려운 문제도 있다(양혜원, 2017; 김종호, 2019). 나아가 문화영향평가의 대상이 법에 자세하게 규정되어 있지 않고 실제 평가대상 또한 다양하기 때문에 공통지표라 하는 6개의 평가지표 및 12개의 세부지표를 모든 평가대상에 일률적으로 적용하는 것이 사업의 특성을 고려하지 못한 평가결과를 도출할 수 있다는 한계를 드러낸다(이상열, 2019). 물론 평가 및 피평가 집단이 각기 서로 다르게 정의하고 이해하고 있는 문화의 개념과 특수성 때문에 문화영향평가 또한 어떤 정확한 잣대나 명확한 판단 기준을 갖고 평가하는 일이 매우 까다로울 수 있다. 그럼에도 불구하고 위의 문제점들로 인해 문화영향평가를 수행하는 자들마다 지표에 대한 이해와 해석, 그리고 분석의 주관적인 차이가 발생하고, 이는 결국 평가 결과의 신뢰성과 향후 정책에의 반영 활용성에까지 부정적인 영향을 미치게 될 수 있다.
문화영향평가 지표의 적절성, 유효성에 대한 다양한 관점의 문제점들이 제기되는 가운데, 문화영향평가와 관련된 연구들은 아직 법적 강제성이나 규제성, 혹은 강력한 평가참여의 유인책이 제대로 마련되어 있지 않은 상태에서 제도적 정착을 위한 시론적, 탐색적 논의들을 주로 하고 있었다(이종열 외, 2004; 한승준·이용모, 2016; 고정민·박지혜, 2017; 배관표·최정민, 2017; 한승준 외, 2017; 이경진·안지현, 2018; 김종호, 2019). 몇몇 소수의 연구들은 문화영향평가 지표의 활용과 개선에 관해 연구를 진행하였으나, 대부분 2016년에 활용된 지표를 기준으로 했기 때문에 연구의 시의성이 떨어지고, 문화재정책, 도시재생사업 등 특정 분야만 사례로 분석하였기 때문에 연구 결과 활용의 한계가 나타났다(채경진, 2017; 김인서·나주몽, 2018).
이에 본 연구는 평가수행에서 발생하는 문화영향평가 지표의 문제점, 특히 전문가 평가위원들로 구성된 평가자들의 지표에 대한 해석과 이해의 차이에 주목하고자 한다. 그리고 위 문제로 인해 나타나는 평가 결과의 편차 및 그 원인을 실증적으로 분석하고, 향후 지표에 대한 평가자의 이해 차이를 개선할 수 있는 방안을 탐색하는 데 연구의 목적을 둔다. 이를 위해 본 연구는 2019년 문화영향평가 약식평가 18건에 참여한 48명의 전문가 평가위원, 그리고 2020년 세부지표가 일부 변화, 확장한 약식평가 15건에 참여한 60명의 전문가 평가위원이 제출한 평가 결과 자료를 분석대상으로 편차분석을 실시하여 지표별로 전문가 평가위원들 간 점수편차의 수준을 파악하고자 한다. 추가로 2020년 약식평가 대표집필자로 활동한 9명의 전문가 평가위원들을 통한 의견조사 내용을 바탕으로 평가수행 시 발생하는 지표 해석의 불일치, 그로 인한 평가 결과의 편차 원인, 이를 해소하기 위해 실시했던 사전회의, 현장조사, 평가대상 정책 담당자들과의 질의응답의 유효성 여부를 분석해 보고자 한다. 그래서 본 연구를 통해 평가자 개인별 문화영향평가 지표의 이해 수준을 조정하고, 평가 결과가 올바르게 도출되는 데 도움을 줄 수 있는 방안을 고안해봄으로써 향후 문화영향평가의 지속가능한 수행이 이뤄지는 데 기여하고자 한다.
Ⅱ. 이론 및 선행연구 고찰
일반적인 행정학에서 영향평가는 흔히 ‘정책영향평가’라는 용어로 해석되어 논의되고 있다. 정책영향평가는 주로 환경, 고용, 규제, 성 등 사회정책과 관련한 분야에서 나타는 문제들을 완화시키는 데 목적을 둔 평가라 할 수 있다(이윤식, 2018). 예를 들어 특정한 정책이 수립, 시행됨에 따라 혜택을 받는 국민도 있겠으나, 반대로 불편과 손해를 입는 국민도 나타날 수 있기 때문에 정책으로 인해 발생되는 사회통합의 문제가 초래될 수 있다. 그래서 정책의 타당성을 높이고 바람직한 사회의 목표 구현을 위하여 정책영향평가의 중요성과 필요성을 강조하고 있다(정해식 외, 2014).
정책영향평가는 거시적인 정책평가의 한 부분으로 볼 때 효과성 평가(effectiveness evaluation)로도 이해될 수 있다(노화준, 2006; 정정길 외, 2015). 즉, 정책사업이 정책의 대상이나 지역에 미치게 될 환경적, 사회경제적 효과, 영향을 추정하여 정책대안을 수립하는 데 필요한 정보를 제공하는 평가로 정의할 수 있다(정해식 외, 2014). 그래서 효과성 평가로서 정책영향평가는 특정 정책이 얼마나 효과적인지 파악하여 해당 정책을 존속시킬지, 확대 추진할지, 혹은 축소, 변경, 중단하여 집행할 것인지를 결정하는 데 필요한 정보를 제공할 수 있다(이윤식, 2018).
이런 정책영향평가는 크게 평가시점에 따라서 두 차원으로 분류할 수 있다. 먼저 이윤식·우윤석·이원희(2007), 정정길 외(2015)는 사전적 예측으로서의 정책영향평가가 갖는 의미에 대해 논의하였다. 즉, 어떤 정책의 수립, 집행이 향후 미래에 가져오게 될 결과들을 예측하는 사전적 평가로서의 정책영향평가를 생각할 수 있다. 예를 들면 환경영향평가나 건강영향평가의 경우, 대규모 개발사업과 같은 정책으로 인해 지역환경과 주민들의 건강에 미치는 영향을 사전적으로 파악하는 경우가 있다. 둘째로, 박홍윤(2012), 정해식 외(2014)는 사후적 평가로서의 정책영향평가에 대해 강조하였다. 그래서 영향이라는 용어를 정책 및 사업이 대상집단에게 최종적으로 미친 효과로 정의하고, 해당 정책 및 사업 이후의 결과를 통해 정책 효과가 부정이나 긍정적으로, 혹은 의도한 것과 의도하지 않는 것으로 나타나게 되었는지를 체계적으로 평가하는 것을 정책영향평가로 보고 있다(박홍윤, 2012). 이 경우, 정책영향평가는 비용-편익분석과 같은 투입-결과의 효과를 분석하여 정책의 결과가 의도한대로 나타났는지를 평가하는 사후적 평가로서의 기능을 하게 된다.
위의 논점에서 볼 때, 본 연구가 주목하는 문화영향평가는 평가대상인 정책 및 계획이 수립됨을 통해 나타나는 문화적 영향, 파급효과 등을 예측한다는 점에서 사전적 평가로서의 정책영향평가로 분류될 수 있다. 이와 같이 정책의 영향을 사전적으로 예측하고 평가하는 데 있어 가장 중요한 방법은 정책이 다루고 있는 사회의 다양한 영역에서 그 영향을 정확하게 판단할 수 있는 지표의 개발·이용이다(이윤식, 2018). 물론 여러 종류의 지표들이 각 정책의 영향과 파급력을 제대로 파악하는 데 비현실적이거나 활용성이 떨어지는 경우들도 있기 때문에, 보다 정확한 사전 평가 수행을 위한 지표의 개발은 각 정책영향평가의 영역에서 꾸준히 진행되고 있다. 그래서 해당 정책 및 사업의 수립, 시행이 향후 지역과 국민들에게 미치게 될 효과를 올바르게 예측할 수 있는 지표 체계를 갖추어 사전적 정책영향평가의 신뢰성, 타당성을 제고하기 위한 방향을 모색하고자 노력하고 있다.
국내에서 정부 정책에 문화적 관점을 대입한 평가체계는 1970년대 경제개발 이후 국민 삶의 질에 대한 관심이 집중되기 시작하면서 사회지표 내에 문화지표를 도입한 때부터 시작되었다(김효정, 2013). 이후 다양한 연구들을 통해 정부 정책, 계획, 사업이 국민의 문화적 역량과 삶 향상, 문화적 가치 확산에 영향을 미치는 정도를 평가할 수 있는 항목과 지표들이 꾸준히 개발, 발전되어 왔다.
문화영향평가의 제도적 초석을 다지기 시작한 연구로서 2003년 문화사회연구소가 실시한 ｢문화영향평가제도 연구｣는 국민들의 삶의 종합적인 상태와 문화의 수준 및 발전을 진단하기 위하여 국가차원과 생활차원으로 구분하여 평가항목 및 지표를 정하였다. 2004년 한국문화예술진흥원이 실시한 ｢문화적 가치의 사회적 확산을 위한 제도 도입 방안 연구｣에서는 본질적인 문화에 대한 접근으로서 ‘문화적 가치’와 ‘문화적 권리’의 평가항목 하에 문화영향평가 제도를 위한 평가지표들을 개발하였다. 특히 위 지표는 ‘문화적 가치’의 5개 세부지표인 사회발전, 창조성, 문화자원, 다양성, 사용과 향유가 ‘문화적 권리’의 세부지표들과 연계되어 궁극적으로 문화적 권리의 훼손 여부, 문화적 가치의 침해 여부가 정량적, 객관적으로 평가될 수 있도록 문항을 설정하였다(정정숙 외, 2014). 2006년 문화관광부가 실시한 ｢문화영향평가 지표개발 및 법제화 방안 연구｣ 는 문화영향평가 지표개발을 위하여 학계, 연구기관, 공공기관, 정부기관, 시민단체, 언론 등 관련 전문가들의 의견을 조사하였다. 그 결과, 문화영향평가가 추구해야 할 최고의 정책목표를 ‘문화적 발전’으로 하고, 관련된 하위정책목표들을 창조, 계승, 형평, 관용, 신뢰로 설정하여 이를 측정할 수 있는 지표체계를 개발하였다(정정숙 외, 2014). 하지만 아직까지 문화영향평가의 구체적인 대상, 그리고 문화의 영향이란 것에 대한 명확한 정의, 문화의 속성상 다양한 영역 중에서 무엇을 평가할 것인지에 대한 평가항목 및 지표 설정이 불분명하였기 때문에 평가제도 자체의 법제화 및 시행의 어려움이 존재하였다(김효정, 2013).
2006년 이후 문화영향평가에 대한 뚜렷한 연구가 진행되지 않던 상황 속에서, 박근혜 정부 출범 이후 4대 국정기조 중 ‘문화융성’ 제시와 더불어 ｢문화기본법｣ 제정을 통해 국가와 지방자치단체의 책무 중 하나로 문화영향평가가 규정되었다(양혜원, 2017). 문화영향평가에 대한 재관심 속에서 2013년 한국문화관광연구원이 실시한 ｢문화영향평가 실행을 위한 기초연구｣는 전문가 조사를 통해 지표체계를 ‘주제(정책목표)-상위지표-평가지표’로 구성하였다. 이 때, 기존의 사업추진내용 및 현황파악에서만 통계나 만족도와 같은 정량적 자료를 참고할 뿐 기본적으로 문화영향평가는 가치 중심의 정성적 지표를 중심으로 사용하도록 하였다. 또 이때부터 문화영향평가의 주요 평가항목인 ‘문화기본권’과 ‘문화정체성’과 관련된 개념들이 강조되기 시작한 것도 특징으로 볼 수 있다. 그 후, 문화영향평가 시범평가 운영을 위해 2014년 문화체육관광부가 실시한 ｢문화영향평가 실행에 관한 연구｣는 전문가 설문을 통해 나온 자료를 바탕으로 AHP 분석을 실시하여 각 지표별 가중치를 도출하는 연구를 시도하였다. 그 결과, 핵심 평가항목인 문화기본권과 문화정체성을 더욱 강화하기 위해 정책 및 계획이 고려해야 할 사항들을 중심으로 4개의 중분류 평가항목, 10개의 소분류, 30개 세부항목이 포함된 세부지표들이 구성되었으며, 정성적 지표를 중심으로 하되 일부 정량적 지표를 동시에 사용하여 평가결과의 객관성을 유지하고자 노력하였다. 특히 세부지표는 측정에 필요한 최소한의 판단기준을 규정하여 지표가 의미하는 바를 정확하게 이해할 수 있는 근거를 제시하였다(양혜원, 2017). 예를 들어 ‘문화기본권-소극적 권리-문화인프라 충분성’을 측정하기 위해 세부지표 중 하나로 ‘문화 활동이 가능한 공간 계획’을 제시했고, 최소기준으로 개별 문화시설 1개 확보를 보도록 했다. 또, 개별 문화시설 2개 이상 혹은 복합시설의 경우, 문화 활동 가능한 최소 규모를 1인 전시공간인 3.5m2×10명으로 제시하여 ‘문화인프라의 충분성’을 누구나 객관적으로 평가하도록 했다.
이 후 2015년 시범평가에서는 문화기본권과 문화정체성을 중심으로 한 공통평가지표와 평가대상의 특성을 고려하여 개별평가기관에서 자체 개발한 별도의 지표를 추가하게 하여 개별평가기관에게 평가지표와 방법의 자율성을 부여하였다. 또한 평가지표의 개념적 정의와 조작적 정의를 구체화하고, 등간 척도를 활용하여 문화 영향의 정도를 정량적으로 평가하려는 노력도 병행됐다. 그러나 평가지표 및 방법에 대한 합의의 어려움, 평가지표를 바탕으로 영향을 판단하는 기준의 불명확성과 주관성 등의 문제가 여전히 한계로 드러나기도 했다(양혜원, 2017). 위 문제를 해결하고자 본격적인 문화영향평가가 실시되기 시작한 2016년부터 2019년까지 활용한 문화영향평가 지표는 ‘문화발전’을 추가하여 3개 평가항목, 6개 평가지표, 12개 세부지표(8개 필수지표, 대상과제의 특성에 따른 4개 선택지표 적용)로 구성됐고, 각 지표별 핵심개념 및 범주, 판단기준을 미리 평가수행기관에게 제시하여 평가자들로 하여금 지표의 이해를 높이도록 했다(양혜원, 2017). 또한 동일한 지표를 동일한 측정도구로 측정하는 표준평가도구를 개발하여 문화영향평가의 결과에 대한 신뢰성과 타당성을 제고시키려는 노력도 병행되었다.
2020년 문화영향평가 지표는 이전 6개 평가지표 및 세부지표의 틀을 크게 벗어나지 않는 선에서 핵심가치로 불리는 세부지표의 수 및 일부 용어와 그 정의가 조금 개편되었다.
먼저 문화기본권의 차원에서 ‘문화향유에 미치는 영향’은 지역민이 최소한의 문화를 향유할 수 있는 권리를 행사하고, 문화기반시설과 같은 문화환경에 물리적, 경제적으로 접근하거나 이용할 권리를 저해하지 않아야 함을 바탕으로 하여 ‘문화향유권’과 ‘문화환경권’을 세부지표로 설정하였다. ‘표현 및 참여에 미치는 영향’은 ‘문화민주주의(cultural democracy)’의 기조 하에 전문가와 아마추어의 경계 없이 누구나 참여하고 경험하는 문화예술과 동시에, 지역민들이 정부 정책과 관련한 문화적 정보를 공유함으로써 정책에 대한 의견을 표현하고, 의사결정과정에 참여할 수 있는 권리를 강조하기 위해 ‘문화참여권’과 ‘정보문화 향유권’을 세부지표로 설정하였다.
다음 문화정체성의 차원에서 ‘문화유산에 미치는 영향’은 문화유산의 범위를 유·무형 문화재, 문화경관, 그리고 현재 지정·등록되지 않았더라도 미래유산으로서의 가치가 있는 유산 및 경관까지 모두 포함하여 이것에 대한 보존·보호·향유·활용을 강조하는 차원에서 ‘문화유산 보호’와 ‘문화유산 향유권’을 세부지표로 설정하였다. ‘공동체에 미치는 영향’은 2019년도까지 사용했던 문화정체성의 ‘사회적 자본’과 ‘문화공동체’ 의 의미를 보다 세분화하여 지역공동체의 유대감, 소속감, 신뢰 등을 기반으로 형성된 고유문화, 지역 공동체 활동 촉진을 위한 문제 해결 및 협력과 합의의 과정을 강조하기 위해 ‘지역 공동체’, ‘갈등발생 가능성’, ‘사회적 합의’를 세부지표로 설정하였다.
마지막 문화발전의 차원에서 ‘문화다양성에 미치는 영향’은 지역 내 문화적 획일화, 소수집단의 차별, 부정적 인식, 편견과 같은 불평등, 문화의 상업화로 인한 문화 소비 격차의 발생, 이 세 가지를 최소화하고, 문화가 표현, 전승되는 다양한 방식을 인정함을 강조하기 위해 ‘문화다양성 권리’, ‘문화평등권’, ‘문화격차’를 세부지표로 설정하였다. ‘창의성에 미치는 영향’은 창의성에 기반한 지역 인재 개발과 그들의 도전, 창의적인 지적 재산을 통한 경제적 효과 발생, 혁신적이고 지속가능한 미래가치 창출을 중심으로 ‘창의성 발전’, ‘미래지향성’을 세부지표로 설정하였다.
이상 문화영향평가 지표 정립 및 개발의 변천사를 종합적으로 살펴볼 때, 2003년부터 2006년까지의 연구들은 문화적 가치, 문화적 영향을 평가하기 위한 지표들의 기초적인 개념들을 정립하는 근간을 다졌다고 볼 수 있다. 그리고 2013년부터 실시된 연구들은 선행연구에서 공통적으로 중요하게 보고 있는 ‘문화기본권’, ‘문화정체성’을 핵심적인 평가항목으로 삼았고, 2016년부터 ‘문화발전’을 추가하여 실제적인 문화영향평가 수행에 필요한 지표들을 정립하는 과정을 제시하였다. 그리고 2020년 일부 개편한 문화영향평가 지표는 문화영향평가 시행의 법적 기준이 되는 ｢문화기본법｣의 기본이념, 즉 문화에 관한 국민의 ‘권리’에 기인하여 정부계획과 정책에서 개인의 문화 표현과 활동, 문화의 다양성, 자율성, 창조성의 가치들이 조화롭게 실현되어야 함을 더욱 강조하고 있다. 관련 연구 및 평가수행 시기에 따라 정립, 개발된 문화영향평가 지표의 변천사를 <표 1>로 정리하였다.
김효정(2013), pp.11-14; 정정숙 외(2014), pp.53-61; 양혜원(2017), pp.32-42; 한국문화관광연구원(2020), pp.15-30의 내용을 바탕으로 저자가 재구성함
문화영향평가의 제도적 정착을 위한 선행연구들은 문화영향평가 시범평가가 끝나가는 2015년 이후부터 활발히 진행되었다. 그 중 몇몇 연구들은 문화영향평가 수행의 전반적인 현황 파악 및 시사점의 내용을 포함하면서 지표가 갖는 문제점들을 일부 논의하는 방식을 띄고 있었다. 예로, 한승준·정상철·양혜원·채경진(2017)은 2014~ 2015년에 걸쳐 2년간 진행된 시범평가와 2016년 본평가 과정을 통해 발전한 문화영향평가 공통지표 및 표준화된 평가도구들이 평가결과의 비교가능성과 신뢰성을 제고하기 위한 노력이었음을 밝혔다. 그럼에도 불구하고 문화영향평가 지표를 구성하고 있는 핵심개념에 대한 추상성이 높고, 평가자 개개인의 자의적인 해석이 평가에 투여될 가능성이 높음을 문제점으로 지적하고 있다. 이 때문에 평가수행기관, 혹은 평가자 개인의 전문성과 역량에 따라 문화영향평가 지표 해석이 다르고, 서로 다른 평가의견을 통일하여 평가결과 및 향후 정책에 적용하는 것 또한 어려운 경우들이 많다고 보고 있었다.
사실 문화적 영향력을 평가한다는 것에 있어 ‘문화’의 범위를 어디까지 두고 그에 맞는 평가지표를 채택하는 기준을 세우는 것은 매우 까다롭고 어려운 일이다. 전 세계의 문화영향평가수행과 관련한 연구들을 살펴본 Partal & Dunphy(2016)도 문화영향평가의 핵심과제 중 하나가 ‘문화’를 정의내리고, 이를 통해 문화영향평가를 이해하는 것이라 하면서, 문화를 어떤 하나의 개념으로 정의한다는 것이 매우 어려운 작업이라 하였다. 예를 들어 유네스코와 같은 국제기구에서는 문화유산, 전통과 관련된 개념들이 문화의 핵심어로 이해되는 움직임이 크다. 반면, 고속도로 연장사업과 같은 일 반 지역개발 사업의 문화영향평가를 제안한 캐나다의 맥켄지 벨리 심의위원회(Mackenzie Valley Review Board)의 경우, 개발사업에 의해 영향을 받을 원주민들의 ‘문화’를 전수되어온 지식, 존경받는 연장자들에서부터 지켜온 가치, 역사, 정신적인 무형의 관습, 언어, 유산, 지역명, 그 외 지역과 연결된 가치 등으로 다양하게 해석하고 있다(Partal & Dunphy(2016); 이상열·이경진·안지현, 2018). 고정민·박지혜(2017)는 2019년까지 사용된 문화영향평가 세부지표 가운데 ‘문화다양성’, ‘창조자본’, ‘창조기반’과 같은 용어에 대해 학자들마다 해석이 달라서 평가를 수행하는 개인, 혹은 기관들조차도 지표의 개념적, 조작적 정의를 내리는 데 어려움을 겪는다고 하였다. 이렇듯 문화를 바라보는 사람과 집단들의 시각이 어디에 집중되어 있느냐에 따라 문화에 대한 정의와 해석이 다른 점을 고려할 때, 문화영향평가도 정책대상이 갖는 문화적 영향력의 범위 설정을 명확히 하고, 그에 맞는 객관적인 지표 설정을 보다 깊이 고민해야 하는 것이다.
한편, 문화영향평가 지표 연구의 또 다른 축은 특정 분야의 문화영향평가 수행에 있어 향후 지표의 활용 개선 방안에 대한 논의이다. 먼저 채경진(2017)은 2016년 문화영향평가 본평가로 수행된 문화재 정책에 사용된 공통지표를 중심으로 지표들 간의 인과경로 설정 검증을 통해 지표 간 영향관계를 분석하였다. 그 결과, 문화유산, 접근성, 문화향유, 참여, 공동체, 창조성의 지표들 간 인과성이 다양한 방향으로 나타남을 확인하였다. 그래서 향후 문화영향평가의 다양한 대상들이 발생할 때, 대상유형별 평가지표의 접근방식이나 지표별 비중 등을 다양화할 수 있음을 시사하였다. 또, 김인서·나주몽(2018)은 2016년에 실시한 문화영향평가 중 5개 지역 도시재생사업 평가에 사용된 문화정체성 지표를 중심으로 사업별 특성에 따른 평가 결과의 편차점을 살펴보았다. 분석 결과, 5개의 도시재생사업이 유형별 각기 다른 특성을 갖고 있음에도 불구하고, 문화영향평가의 결과가 대부분 비슷하였으며, 문화정체성의 하위 세부지표를 해석하는 관점, 그리고 사업 특성에 따라 조사, 평가해야 하는 목적, 관점이 다르게 나타나기 때문에 5개 사업 유형별 설문조사의 평가방법도 모두 다르고, 세부지표의 판단 근거 또한 차이가 있음을 발견했다. 그래서 향후 문화영향평가의 제도적 신뢰성, 타당성을 제고하기 위해선 대상사업의 유형화 및 해당 유형의 특성을 고려한 평가지표와 이에 대한 적절한 해석, 지침 등이 함께 마련되어야 함을 주장하였다. 최근 연구로 허은진·김영주(2021)는 2020년 문화영향평가 세부지표 중 소지표로 분류할 수 있는 14개 핵심가치의 타당성에 대해 적절성, 합치성, 소통성의 차원에서 전문가 대상 델파이조사를 통해 분석하였다. 그 결과, 위 세 차원 가운데 문화영향평가 지표의 14개 핵심가치는 소통성, 즉 지표의 모호성 때문에 이해관계자들 사이에 해당 지표의 개념에 대한 소통이 제대로 발휘되지 못함을 확인하였다. 그래서 위 연구자들은 핵심가치에 대한 소통성을 제고하기 위해 지표의 용어를 재정비할 필요가 있고, 그 명칭이나 설명을 개선하여 평가 이해관계자들이 보다 직관적으로 이해하고 소통할 수 있는 문화영향평가 지표로 거듭나야 함을 주장하였다.
이상 문화영향평가 지표에 관한 선행연구들의 논의를 통해 알 수 있는 것은, 학자들은 공통적으로 문화영향평가 지표가 갖는 정의, 개념의 불명료함으로 인해 나타나는 지표의 해석 및 평가 범위 설정의 부정확함의 문제를 지적하고 있다. 또한 평가자마다 갖고 있는 개인의 전문 분야, 경력, 역량 등으로 인해 각 세부지표에 대한 해석이 다르게 나타날 수 있는 가능성을 문제제기하였다. 나아가 평가대상 사업 유형별로 지표의 판단근거, 또 지표별 인과관계에 의한 지표 간 영향력 발생에 따라서도 지표가 여러 갈래로 해석될 수 있음을 파악하였다. 결국 일련의 여러 논의들을 종합해서 볼 때, 문화영향평가 지표는 핵심 및 세부지표별 정의와 개념의 비적절성, 비정확성의 한계가 드러나고 있으며, 이는 곧 평가결과의 신뢰성, 유효성, 타당성의 문제로 직결된다. 그러므로 향후 문화영향평가 지표가 갖는 한계점을 실증적으로 밝히고, 이를 극복하여 평가자들로 하여금 효과적인 평가수행이 이루어질 수 있는 실천적 방안이 도출되어야 한다.
Ⅲ. 편차분석 및 의견조사를 통한 문화영향평가 지표 분석
선행연구 고찰을 통해 살펴본 문화영향평가 지표의 문제점들, 특히 지표에 대한 해석과 인식의 차이로 인해 나타날 수 있는 평가 결과의 편차 가능성을 실증적으로 분석하기 위해, 본 연구는 문화영향평가 약식평가에 한해 전문가 평가위원들이 지표별로 도출한 평가 점수 자료와 평가위원들의 의견조사 자료를 토대로 문화영향평가 지표가 갖는 문제점들을 분석해 보고자 한다.
본격적인 분석에 앞서 문화영향평가 약식평가에 대해 간략히 설명하고자 한다. 2018년부터 시작됐던 자체평가의 일환인 문화영향평가 약식평가는 정책 소관기관인 중앙 및 지방자치단체의 정책 담당자가 체크리스트 방식을 활용하여 해당 정책 계획이 갖는 문화적 영향력을 스스로 점검하고 평가하는 방식이다. 보통 문화영향평가 약식평가는 정책 담당자들이 작성, 제출한 평가서 및 현황자료들을 기반으로 3~4인의 전문가 평가위원들이 평가 내용을 검토하고, 정책적 제언 및 개선방안을 제시하는 절차로 진행된다. 그래서 약식평가는 정책 담당자가 직접 문화영향평가서를 작성하는 과정을 통해 국가 및 지방자치단체 등이 문화영향평가의 취지와 특성을 이해하고, 정책의 수립 과정에서 문화적 영향을 고려할 수 있는 기회를 증대시키기 위한 목적을 갖고 있다. 현재까지 진행된 문화영향평가 약식평가는 2018년 10건, 2019년 18건, 2020년 15건, 총 43건이 진행되었으며, 평가대상 유형은 국토교통부가 실시하는 도시재생 뉴딜사업, 문화체육관광부가 실시하는 문화도시 조성사업, 문화재청이 실시하는 근대역사문화공간 재생 활성화 사업이 대표적이다.
분석 대상은 다음과 같다. 먼저 전문가 평가위원들의 지표별 평가 점수는 2019년과 2020년 가장 최근 실시되었던 문화영향평가 약식평가를 대표 기준으로 선정하였다. 위 두 해를 선정한 주된 이유는 지표 설정에 있는데, 2019년 약식평가는 2016년도부터 사용했던 3개 평가영역 및 6개 평가지표, 12개 세부지표(고려사항) 체계를 사용하였으며, 2020년 약식평가는 동일한 평가영역과 평가지표와 더불어 세부지표를 일부 보완한 14개의 세부지표(핵심가치) 체계를 기반으로 평가를 진행하였다. 그래서 일부 지표들의 수정보완을 통해 지표에 대한 평가자들의 해석과 평가 결과 점수의 편차 변화가 실제로 이루어졌는지를 알아볼 수 있을 것으로 판단하였다. 구체적인 분석 대상은 2019년 문화영향평가 약식평가 18건에 한해 전문가 평가위원 48명, 2020년 문화영향평가 약식평가 15건에 한해 전문가 평가위원 60명이 도출한 지표별 평가 결과 점수 자료이다. 특별히 2020년 약식평가는 현장조사 이전의 초안평가, 현장조사 이후의 본평가 등 두 단계를 거쳐 평가가 이루어졌는데, 본 연구에서는 최종 점수라 할 수 있는 본평가 점수를 분석 대상으로 활용하도록 한다. 각 평가점수는 7점 척도로 해당 지표에 대한 문화적 영향을 평가위원이 주관적 판단에 의해 표시하게끔 되어 있다.
나아가 본 연구는 평가결과의 신뢰성, 객관성과 관련하여 문화영향평가 지표가 갖는 문제점들을 심층적으로 찾아보기 위해, 2020년 문화영향평가 약식평가에 참여하면서 개별 전문가 평가위원들의 의견을 종합하여 평가대상별 최종평가보고서를 작성했던 대표집필자 중 9명을 선정하여 문화영향평가 지표에 대한 전반적인 의견과 함께 평가지표별 평가위원들 간의 결과 편차 발생 원인, 본평가서 작성 이전에 진행했던 사전회의, 현장조사, 현장조사 후 질의응답 과정이 평가 결과에 주는 효과 등을 조사하였다. 9명의 조사 대상은 모두 문화영향평가에 2년 이상 전문가 평가위원으로 참여한 자들이며, 대학교수 3명, 지방자치단체 출연연구원 소속 연구자 1명, 공공예술기관 종사자 1명, 민간 연구기관 종사자 4명으로 구성되었다. 조사 방법은 조사 내용에 대해 총 7개의 서술식 문항을 담은 서면 자료를 대상자들에게 이메일로 전달하여 회신을 받았다. 조사 기간은 2021년 3월 17일부터 약 2주간 진행하였다.
분석 방법은 다음과 같다. 먼저 2019년, 2020년 문화영향평가 약식평가 총 33건의 지표별 평가 결과 점수를 토대로 표준편차분석을 통해 지표에 대한 전문가 평가위원들의 이해과 해석의 편차 수준을 비교, 검토하도록 했다. 각 자료들을 SPSS Statistics 27 프로그램을 통해 정리, 분석되었다. 그리고 대표집필자 9명의 의견조사 내용분석을 토대로 지표별 평가위원들의 평가 결과의 편차가 나타나는 원인을 뒷받침할 수 있는 의견들을 파악하여 문화영향평가 지표를 개선하고 유효하게 활용할 수 있는 방안들을 탐색하고자 한다.
2019년과 2020년 문화영향평가 약식평가서는 첫째로 문화영향평가 관련 법령들의 고려, 상위계획과의 부합성, 문화전문가의 참여, 관련 정부부처 및 지방자치단체 부서와의 연계 등을 점검하는 ‘사전 점검항목’, 둘째로 평가대상 계획에 대해 지표별 관련된 사항들의 고려 여부 수준 및 계획으로 인한 지표별 문화적 영향의 수준 등을 묻는 ‘지표별 검토 및 평가의견’, 그리고 마지막으로 ‘종합평가 및 의견’을 서술하는 형태로 구성되어 있다. 이 중 본 연구는 두 번째 평가부분인 ‘지표별 검토 및 평가’에 포함된 지표별 2개의 척도문항 점수 결과를 토대로 표준편차분석을 실시하였다.
먼저 2019년 문화영향평가 약식평가에 대해 48명의 전문가 평가위원들의 평가 결과 점수 분석 결과는 <표 2>와 같다. 표준편차분석을 살펴보면, 가장 높은 편차를 보이고 있는 지표는 ‘문화유산 및 문화경관에 미치는 영향’이었다. 다음으로 1.0 이상의 상대적인 높은 편차를 보이는 지표는 ‘공동체에 미치는 영향’, ‘문화다양성에 미치는 영향’, ‘창조성에 미치는 영향’, ‘문화향유에 미치는 영향’, ‘표현 및 참여에 미치는 영향’ 순서로 나타났다. 즉, 6개 지표 전반에서 평가자들간의 점수 편차가 일정 수준 나타나는 것으로 분석되었다. 분산의 수준을 보면 ‘문화향유에 미치는 영향’과 ‘표현 및 참여에 미치는 영향’ 지표 외 다른 지표들은 모두 평가자 개별 점수의 흩어진 정도가 상대적으로 크게 나타나고 있었다. 마지막으로 7점 척도 기준으로 평균 점수를 살펴보면, ‘문화다양성에 미치는 영향’과 관련한 두 개의 문항이 각각 3.96, 4.35로 가장 낮았다.
주: a) 문항 1~6.1 유형 예: (평가대상) 계획은 사업대상의 △△△(지표)을 고려하여 수립되었다고 판단하십니까? 문항 1~6.1 응답 예: 1점(그렇지 않다)~7점(그렇다)
b) 문항 1~6.2 유형 예: 본 (평가대상) 계획이 현행대로 추진될 경우, 사업대상지의 △△△(지표)에 미치는 영향은 어떻게 변화할 것으로 예상합니까? 문항 1~6.2 응답 예: 1점(부정적 영향)~7점(긍정적 영향)
c) 문항 7.1 유형 예: 본 (평가대상) 계획이 현행대로 추진될 경우, 사업대상지의 사회문화적 지속가능성은 어떻게 변화할 것으로 예상합니까? 문항 7.1 응답 예: 1점(부정적 영향)~7점(긍정적 영향)
d) 문항 4.2는 결측치가 1개 발견되어 총 평가위원 수 통계량이 47로 측정됨.
다음으로 2020년 문화영향평가 약식평가에 대해 60명의 전문가 평가위원들의 평가 결과 점수 분석 결과는 <표 3>과 같다. 표준편차분석을 살펴보면, 가장 높은 편차를 보이고 있는 지표는 ‘문화유산 및 문화경관에 미치는 영향’이었다. 다음으로 1.0 이상의 상대적인 높은 편차를 보이는 지표는 ‘문화다양성에 미치는 영향’, ‘창의성에 미치는 영향’, ‘문화향유에 미치는 영향’ 순서로 나타났다. 2019년 자료의 분석 결과와 비교해 보았을 때, ‘문화유산(및 문화경관)에 미치는 영향’, ‘문화다양성에 미치는 영향’은 공통적으로 가장 높은 표준편차값을 나타내고 있으며, 그 다음으로 ‘창의(조)성에 미치는 영향’, ‘문화향유에 미치는 영향’에 대한 고려와 관련한 문항에서도 높은 표준편차값이 나타났다. 분산의 수준을 보면 ‘문화유산에 미치는 영향’과 ‘문화다양성에 미치는 영향’ 또한 지표들 가운데 평가자 개별 점수의 흩어진 정도가 가장 크게 나타났다. 마지막으로 7점 척도 기준으로 평균 점수를 살펴보면, 2019년과 마찬가지로 ‘문화다양성에 미치는 영향’과 관련한 두 개의 문항이 각각 4.17, 4.58로 가장 낮았다.
주: a) 문항 1~6.1, 1~6.2 유형 및 응답 방식은 <표 2>와 동일함.
b) 문항 7.1 유형 예: 종합적으로 고려할 때, 본 (평가대상) 계획이 미치는 문화적 영향은 어떠할 것으로 예상합니까?
문항 7.1 응답 예: 1점(부정적 영향)~7점(긍정적 영향)
<표 2>와 <표 3>의 결과를 비교해볼 때, 2019년과 2020년 문화영향평가 약식평가에서 전문가 평가위원이 제시한 평가 결과의 편차가 상대적으로 큰 수준에 이르는 지표들은 비슷하게 도출됨을 파악할 수 있다. 특별히 문화유산, 문화다양성에 대한 평가위원들 간의 점수 차이가 다른 지표에 비해 상대적으로 크다는 것을 알 수 있었고, 그 외에도 문화향유, 창의성에 대한 점수의 표준편차도 일정 수준 이상 나타난 것으로 파악되었다. 다만, 2019년과 비교해볼 때, 2020년에는 전문가 평가위원들의 평가 점수 표준편차가 상대적으로 크게 나타난 지표들이 감소했음을 알 수 있다. 예를 들어 2019년에는 6개 지표 대부분에서 1.0 이상의 표준편차값이 도출되었으나, 2020년에는 ‘표현 및 참여에 미치는 영향’, ‘공동체에 미치는 영향’과 관련된 문항 모두 1.0 이하의 값이 나타났고, 그 외 몇몇 2019년에 표준편차가 컸던 문항에 있어 1.0 이하의 값이 도출되었다.
이와 같은 결과가 나타나게 된 원인 중 하나로, 2020년 문화영향평가 약식평가에서 처음 도입한 초안평가-본평가 제도를 생각해볼 수 있다. 2018~2019년도까지 실시했던 문화영향평가 약식평가는 정책 담당자들이 제출한 평가서 및 현황자료, 그리고 현장답사를 통해 얻은 정보들을 기반으로 전문가 평가위원들이 해당 정책 계획에 대한 문화적 영향을 검토하는 방식으로 진행되었다. 하지만 해당 자료 및 정보만으로 정확한 문화적 영향의 수준을 판단하고 평가하는 것에 한계가 있다는 지적이 평가위원들로부터 꾸준히 제기되었고 평가의 방향성, 이슈 등을 점검, 논의하기 위한 장의 필요성이 요구되어 왔다. 그래서 2020년 문화영향평가 약식평가는 이전과 달리 전문가 평가위원들의 검토 및 평가의견서 작성 방식과 현장조사 절차를 보다 세분화하였다.
먼저 전문가 평가위원들은 약식평가 현장조사 이전에 1차 초안 검토 결과를 평가지원기관인 한국문화관광연구원에 제출하도록 했으며, 현장조사를 토대로 1차 초안 검토 결과에 대한 재평가를 개별적으로 실시하여 최종 본평가 결과를 제출하는 방식으로 진행하였다. 또, 현장조사 과정에서 단순한 현장답사만 진행하는 것이 아닌 사전회의, 현장조사, 현장조사 이후 질의응답의 과정을 추가하여 평가위원들 간, 그리고 평가위원과 평가대상 사업 담당자들간에 의견을 공유, 조율할 수 있는 시간을 마련하였다. 그래서 평가위원들이 제한적인 자료와 정보로만 검토, 평가했던 1차 초안 검토 당시 가졌던 궁금증을 일부 해소하고, 지표별로 수정해야 하는 평가 내용들을 바로잡아 올바른 평가가 진행될 수 있는 여건을 마련하였다. 그래서 <표 4>는 위와 같은 과정들을 통해 문화영향평가 약식평가 초안 및 본평가 간의 점수 편차가 완화되었는지 분석한 결과를 보여주고 있다. 우선 ‘문화유산에 미치는 영향’의 경우, 초안에서 평가위원들 간 점수 편차가 1.247 정도 상대적으로 높게 나타났으나, 현장조사 이후 진행한 본평가에서 1.046으로 다소 낮아진 것을 볼 수 있다. 미세하긴 하나 ‘문화다양성에 미치는 영향’도 초안 1.287에서 본평가 1.198로 편차 수준이 낮아졌다. 하지만 그 외 초안-본평가 결과 점수는 대부분의 지표 영역에서 그리 큰 차이를 나타내고 있진 않았다. 그 이유는 다양하게 추론해볼 수 있는데, 예를 들어 평가위원 스스로 초안 검토가 충분하였고, 현장조사를 통해서 새로운 정보를 크게 얻지 못했기 때문에 초안 검토 결과를 수정할 이유가 크게 없을 수 있다. 또는 사전회의, 현장조사, 질의응답 이후 동일한 수준에서 대다수의 평가위원들이 초안 검토 결과를 수정하였을 수 있다. 그러므로 위의 일련의 과정들이 평가위원들 간 지표별 이해의 수준을 맞추고, 지표 이해의 편차를 좁혀 평가 결과를 보다 정확하게 도출하는 데 도움을 주었는지를 확인할 수 있는 절차가 더 필요하다.
앞선 편차비교분석을 통하여 문화영향평가 지표별 평가자들간의 평가 결과 차이, 점수 분산 등이 일부 발생함을 파악하였다면, 여기에서는 평가자의 평가 결과, 편차 발생 이유와 더불어 이를 해결하기 위한 방법들을 구체적으로 탐색해 보고자 한다. 이를 위해 본 연구는 2020년 문화영향평가 약식평가 대표집필자로 참여하였던 전문가 9명에게 관련 의견을 묻는 서면조사를 실시하였다.
첫째, 대표집필자로서 평가위원들의 지표별 평가 의견을 종합하는 과정에서 위원들 간 평가점수의 편차가 크다고 여겨지는 지표(핵심가치)가 무엇인지 질문하였다. 그 결과, 응답자들은 앞의 <표 2>, <표 3>에서 점수 편차가 크게 나타났던 ‘문화다양성에 미치는 영향’, ‘문화유산에 미치는 영향’ 뿐만 아니라, ‘공동체에 미치는 영향’, ‘창의성에 미치는 영향’ 도 평가위원들 간 점수 편차가 상대적으로 높은 지표들로 꼽혔다. 추가로 ‘표현 및 참여에 미치는 영향’ 중 ‘정보문화 향유권’과 같은 세부지표도 평가위원들간 점수 편차가 존재하였다는 의견들도 있었다. 종합적으로 볼 때 6개의 평가지표 전반적으로 평가위원들 간 점수 편차가 두루 나타나고 있음을 확인할 수 있었다.
교수1) 어느 한 지표에 차이가 난 것보다는 전반적으로 다 차이가 났다고 생각함.
교수2) ‘문화유산에 미치는 영향’, ‘정보문화 향유권’
교수3) 핵심가치 중 ‘정보문화 향유권’, ‘사회적 합의’, ‘문화격차’, ‘미래지향성’
지자체출연연 연구자1) ‘창의성에 미치는 영향’의 경우 구체적인 지표가 없어 정성적 내용에 대한 평가로 진행하다보니 평가자들마다 의견이 다르게 나타남.
공공예술기관종사자1) ‘문화다양성에 미치는 영향’, ‘공동체에 미치는 영향’, ‘문화향유에 미치는 영향’이 평가위원 간 점수 차이가 크게 나타남.
민간연구기관 종사자1) ‘창의성에 미치는 영향’
민간연구기관 종사자2) ‘공동체에 미치는 영향’ 중 ‘갈등발생 가능성’, ‘문화다양성에 미치는 영향’, ‘창의성에 미치는 영향’
민간연구기관 종사자3) ‘표현 및 참여에 미치는 영향’과 ‘공동체에 미치는 영향’이 부분적으로 중복된 의견들이 있었음. 또 ‘문화다양성에 미치는 영향’은 평가위원 간 이해의 차이에 따라 다양한 관점들이 논의되었음.
민간연구기관 종사자4) ‘공동체에 미치는 영향’, ‘문화다양성에 미치는 영향’
둘째, 평가위원들 간 평가 점수의 편차가 발생하는 원인에 대해 질문하였다. 응답자들은 기본적으로 평가위원 개인이 갖는 특성, 이를 테면 전공 및 전문분야, 평가대상지에 대한 이해도, 평가에 대한 기대 수준 등에 따라 각 지표를 이해하고 해석하는 데 차이가 발생하고 있음을 인지하고 있었다. 그래서 서로 다른 특성의 평가자에 따라 지표를 다르게 수용할 수 있는 여지가 발생할 수 있고, 이것이 결국 평가 점수의 편차와 더불어 결과의 신뢰성, 객관성을 저해할 수 있는 요인으로 작용하게 되었다. 또, 응답자들은 문화영향평가 지표의 정의와 범위, 기준이 구체적이지 못하여서 평가위원들이 지표를 해석하는 데도 차이가 발생할 가능성이 있다고 생각하였다. 위 현상으로 응답자들은 평가위원들이 저마다의 기준으로 문화영향평가의 지표 및 세부지표들을 정의하고 평가할 수밖에 없는 문제로 연결될 수밖에 없음을 시사하였다.
특별히 응답자들은 표준편차분석을 통해 가장 큰 점수 편차가 발생한 ‘문화유산에 미치는 영향’ 지표의 경우, 평가위원들 간 점수 편차가 나타나는 원인으로 문화유산에 대한 범위를 어디까지로 볼 것인지에 대한 개별 기준이 다르기 때문에 문화유산을 정의하는 차원도 각기 다르고, 결국 평가의 내용도 달라질 것을 예상하였다. 이와 같은 문제를 해결하기 위해서는 지표를 안내하는 지침이나 평가 가이드라인에서 해당 지표의 범위를 어디까지 볼 것을 명확하게 지정해 주거나 사례를 소개하면 될테지만, 현재 문화영향평가 지침에는 ‘지정된 유·무형 문화재 및 문화유산, 문화경관, 그리고 지정되지 않았지만 미래 유산으로서의 가치 있는 문화재 및 문화유산, 문화경관’으로 문화유산을 광범위하게 정의하고 있다.
교수1) 지표에 대한 이해도는 있지만 평가가 주관적이고 상대적이고, 평가자의 눈높이가 다른 것에 기인하는 것 같음.
교수2) 문화유산의 범위에 대한 이해와 해석이 평가자마다 다름
교수3) 차이가 나타난 핵심가치들에 대해 평가위원 간의 인식 차이가 존재하고, 표준적 정의의 모호함, 개념의 모호함이존재해 평가결과가 크게 상이하였음. 또 서면자료나 현장조사만으로 해당 영향에 대해 정확히 판단하기 어려운 경우도 있음.
지자체출연연 연구자1) 문화유산의 범위가 물리적 유형유산 외에도 무형유산, 사회적 유산 등 다양하기 때문에 그에 대한 평가위원 간 이해의 차이가 존재할 것 같음. ‘창의성에 미치는 영향’ 또한 지표가 구체적이지 못함.
공공예술기관종사자1) 평가위원의 지역에 대한 기본적 이해도(지역 내, 지역 외 위원 간에도 점수 편차가 있음), 평가위원의 전문 분야에 대한 기대감, 평가위원의 개인적 이해도 등이 영향을 미침.
민간연구기관 종사자1) 기본적으로 평가지표의 이해에 어려움이 있으며, 평가위원들의 전공 차이도 영향이 있다고 판단됨.
민간연구기관 종사자2) ‘공동체에 미치는 영향’은 현장의 상황을 판단할 수 있는 평가위원들의 전문분야의 특성에 따라 평가결과도 차이가 있는 것 같음. ‘문화다양성에 미치는 영향’도 문화다양성에 대한 개념에 대해 평가위원마다 시각의 차이가 존재하고 평가의견 또한 차이가 나타남.
민간연구기관 종사자3) ‘문화다양성에 미치는 영향’의 경우 평가위원들의 대상지에 대한 이해의 차이에 따라 성소수자와 관련된 문화적 활동, 혹은 성별 및 세대 갈등에 대한 이해 등 본인이 생각하는 어느 한 이슈에만 제한하여 문화다양성을 파악한 것으로 보임.
민간연구기관 종사자4) 현장조사 및 질의응답을 통해 확인할 수밖에 없는 지표들이 있음. ‘창의성에 미치는 영향’의 경우 창의성에 대한 평가위원 간 이해의 차이가 존재하는 것 같음.
“문화다양성에 미치는 영향 지표는 평가위원들의 대상지 정체성에 대한 이해의 차이에 따라 ‘소수자 특히 성소수자와 관련된 문화적 활동’에 집중된 인식부터 ‘성별 및 세대 갈등’에 집중된 이해까지 다양한 관점에서 논의되었습니다. ‘성소수자 관련 문화적 활동’에 집중하여 해당 지표를 고려할 경우는 지방도시에서는 아직 공개적으로 논의되기 어렵다는 의견이 있었는데, 이렇게 제한된 범위에서 지표를 고려할 경우, 평가 결과가 매우 제한적일 것입니다. 이에 대해 평가자들이 문화다양성에 대한 이해를 넓힐 수 있도록 평가지침이 더욱 강조되어야 할 것 같습니다.”(민간연구기관 종사자3)
“2020년 지표에는 지표 용어에 ‘권리’라는 개념이 남용되고 있는데, 그 법적 근거를 알기 어렵습니다. 예를 들어, 문화 다양성 권리, 문화 평등권, 문화 환경권 등의 개념이 성립할 수 있는 것인지 의문인데, 그런 것들을 ‘권리’라고 말할 수 있는 근거가 명확히 제시되어야 합니다.”(교수2)
“세부지표 중 ‘문화격차’에 대한 개념적 정의가 모호하며, 평가위원마다 중시하는 사회적 소외집단이 다른 경우 평가결과가 크게 상이할 수 있습니다. 또, ‘미래지향성’은 지표에 대한 표준적 정의가 불명확하여 평가위원마다 미래적 영향의 시간적 범위, 지역 사회의 변화 가능성 판단 기준 등에 대한 견해 차이가 발생하기 쉬울 것 같습니다.”(교수 3)
“문화유산의 범위가 물리적 유형유산 외에도 무형과 사회적 유산 등의 확대된 지표를 평가로 활용하는 경우가 있어 문화유산의 정의를 명확히 할 필요가 있을 것 같습니다. 또, 창의성을 사회적 문제의 창조적 해결에서 창조적 비즈니스화까지 다양하게 해석될 수 있기에 창의성과 관련된 세부지표의 구체화 과정이 필요할 것입니다.”(지자체출연연 연구자1)
셋째, 2020년부터 새롭게 실시한 문화영향평가 약식평가 내 사전회의, 현장조사, 질의응답이 평가 결과에 미치는 영향에 대해 질문하였다. 응답자들은 세 활동에 대한 중요도를 언급하면서도, 평가위원들 간 서로 다른 지표에 대한 이해, 의견, 인지와 평가의 방향성이 조율되는 과정으로서 사전회의에 대한 중요성을 강조하고 있었다. 그래서 사전회의를 통해 지표에 대해 평가위원들이 서로 다르게 갖고 있던 견해를 스스로 조율하여 초안으로 작성했던 평가 점수 및 검토 의견을 조정할 수 있는 가능성을 높일 수 있다고 보았다. 이를 더 강화하고자 몇몇 응답자들은 사전회의를 현장조사 이외 별도의 일정으로 잡아서 평가자들 간 더 깊이 있는 논의들이 이루어질 것을 요구하기도 했다. 이와 같은 사전회의의 기능과 함께, 평가위원들은 현장조사 및 질의응답을 통해 현황자료나 자체평가서로 확인되지 못했던 정보들을 확인, 점검하는 등 사업의 실제성을 파악하게 되면서 올바른 평가가 이루어질 수 있다고 생각하였다.
교수1) 전반적인 현장방문의 과정이 강화되어야 한다고 봄.
교수2) 현장조사 전 사전회의를 별도로 하여 모든 평가위원들이 의견을 공유하고, 평가 결과 등을 사전 점검할 수 있는 단계가 필요함. 그래야 초안에서 나온 의견 차이가 어느 정도 수렴되고 조정될 수 있을 것임.
교수3) 사전회의를 통해 사업에 대해 평가위원 간의 견해 차이가 있는 부분을 확인하고, 의견 조율이 가능했음. 또 현장조사 및 질의응답을 통해 파악하기 어렵거나 확인이 필요한 사항들을 알 수 있었음. 다만 사전회의는 현장조사 때가 아닌 별도의 일정으로 추진할 필요가 있다고 봄.
지자체출연연구원1) 사전회의는 평가자들 간의 다양한 의견을 조율하고, 현장조사와 질의응답은 계획서 상의 사업의 실제성을 확인할 수 있는 계기로 의미가 있음.
공공예술기관 종사자1) 사전회의에서 평가위원들 간 사전 평가서를 공유하고 평가지표에 대한 의견 및 방향 공유의 과정을 거침으로써 본평가에 기여하는 바가 크다고 생각함. 그럼에도 불구하고 현장조사와 현장조사 후 질의응답이 본평가 작업에는 가장 중요하다고 생각함.
민간연구기관 종사자1) 계획내용에 대한 이해 차원에서 볼 때 현장조사가 가장 도움이 됨.
민간연구기관 종사자2) 평가서 작성에서 볼 때 현장조사나 질의응답이 중요하나, 다른 평가위원들이 지표별로 어떻게 인지하고 있고 의문을 갖는 포인트 등을 서로 이해하고 해결되는 차원에서는 사전회의가 중요하다고 생각함.
민간연구기관 종사자3) 현장조사 및 질의응답을 통해 평가단의 정보 부족으로 인한 선입견이나 의문은 해소됨. 다만 현장조사 이전에 추가적으로 공유할 수 있는 최근 현황자료 등이 확보되고 평가단에 전달되는 과정이 중요할 것 같음.
민간연구기관 종사자4) 사전회의보다는 현장조사가 보강되고 이후 질의응답 시간이 확대되었으면 함.
“사전회의를 통해서 사업에 대한 안내 및 평가위원 간의 견해 차이가 있는 부분을 확인하고 의견을 조율할 수 있었습니다. (중략) 2020년에는 사전회의를 현장조사 직전에 한 시간 정도의 시간을 할애하여 진행하였으나 충분한 의견 교환을 하기엔 통상 시간이 촉박하였으므로 사전회의 시간을 늘리거나 별도로 일정을 추진하는 것이 필요할 것 같습니다.”(교수3)
“사전회의는 초안 평가서를 평가위원들끼리 공유하고 평가지표에 대한 의견 및 방향 공유의 과정을 거침으로써 본평가서 작성에 기여하는 바가 큽니다.”(공공예술기관 종사자1)
“사전회의는 다른 전문가 평가자들이 평가대상 사업에 대해 크게 6개 지표, 작게는 14개 가치별로 어떻게 인지(긍정, 부정)하고 있고 의문을 갖는 포인트 등을 평가위원 간에 이해하는 시간이라 생각합니다. 그래서 간혹 질문하려고 한 사항이 사전회의를 거쳐서 해결되는 경우도 존재하기도 했어요.”(민간연구기관 종사자2)
넷째, 지표별 평가 결과의 편차를 극복하기 위한 방안에 대해 응답자들은 다양한 의견을 제안하였다. 이를 테면, 현장조사에 평가대상 정책 담당자 이외에 다양한 거버넌스 주체들이 참여할 수 있도록 하고, 2020년부터 시행한 사전회의, 현장조사, 질의응답의 절차들을 적극 활용해야 하며, 평가를 위한 다양한 자료들을 충분히 확보할 수 있는 노력 등이 있었다. 하지만 무엇보다도 평가위원들 간에 지표별로 평가 점수의 편차를 좁혀 평가 결과의 신뢰를 높이기 위한 방안으로 응답자들은 지표의 정의, 범위 등을 구체화하기 위한 도구와 방법들, 예를 들어 평가위원들이 지표를 제대로 이해할 수 있도록 명확한 정의와 근거, 해당 사례 등을 포함하는 구체적인 지침이 마련되어야 할 필요성을 강조하였다. 더불어 응답자들은 지표에 대한 각 평가위원들의 판단을 조율하고 조정할 수 있는 장을 하나의 절차적 제도로 마련할 것을 주장하였다.
교수1) 평가 시 평가위원들이 보다 구체적으로 의견을 제시해 주었으면 함. 그러면 해당 평가위원이 의도하는 바를 조금이나마 파악할 수 있는 것이 용이하다고 봄.
교수2) 지표 각각의 개념과 범위에 대한 면밀한 재검토가 필요함. 그리고 지표의 용어, 개념들이 실제적으로 어떤 근거 하에 문화영향에 속한다고 주장할 수 있는 논리가 불분명함.｢문화기본법｣의 취지와 용어에 맞추어 지표의 재검토가 필요함.
교수3) 평가단에게 공유할 수 있는 현황자료 등이 충분히 확보될 수 있도록 해야 함.
지자체출연연 연구자1) 지표의 정의, 범위 등을 명확히 하고 구체화할 필요가 있음. 또 지표가 지역고유성과 연계하여 평가할 수 있는 방안도 함께 제시될 수 있었으면 함.
공공예술기관 종사자1) 현장조사 및 질의응답에 있어 사업 참여자(거버넌스 주체, 시민 커뮤니티 대표 등)을 동석하는 방안이 좋을 것 같음.
민간연구기관 종사자1) 평가위원들 간의 회의를 통해 평가판단근거에 대한 조율이 필요함. 다만 사전회의보다는 질의응답시간 이후로 평가위원간의 논의시간을 통해 각 지표별로 위원들 간 판단을 조율하고, 분야별 전문가의 의견을 경청하는 시간이 필요할 것임.
민간연구기관 종사자2) 현장조사와 질의응답이 평가오류를 줄일 수 있는 과정이라 생각함. 질의응답 때는 모든 것을 물어볼 수 없으니, 사전회의 때 핵심적으로 묻고자 하는 지표 위주로 중점적인 질의를 할 수 있는 방안이 필요함.
민간연구기관 종사자3) 예시를 추가하거나 평가대상지에 대한 정보를 충분히 제공한다면 평가위원들이 지표를 이해하는 데 도움이 될 것 같음.
“평가지표의 이해를 위한 평가문항들이 여러 형태로 있는데, 평가위원을 위한 주요 내용(질문형식)을 지침에서 체계적으로 구성해서 제시해 주셨으면 합니다.”(민간연구기관 종사자1)
“지표의 표준 정의가 모호하기보다는 예시를 추가한다거나 평가대상지에서 평가신청시에 이에 대한 사전정보를 제공할 수 있도록 제안한다면, 평가위원들이 지표를 이해하는 데 도움이 될 것 같습니다.”(민간연구기관 종사자3)
“모든 평가가 시작되기 전 평가위원들 간 회의를 통해 평가근거로 제시되는 자료들이 어느 정도 판단에 영향을 미치는지에 대해 논의하거나 평가판단 근거에 대한 조율의 시간이 필요하다고 보여집니다.”(민간연구기관 종사자4)
IV. 결론
정부는 1970년대부터 정책에 문화적 관점을 대입한 평가 체계를 도입하려 노력한 이후 지금까지 다양한 연구들을 통해 정부 정책, 계획, 사업 등이 국민의 문화적 역량과 삶 향상, 문화적 가치 확산에 미치는 영향을 평가할 수 있는 지표들을 꾸준히 개발, 발전시키고자 했다. 그 대표격인 문화영향평가 또한 지속가능한 평가 제도로써 기능을 다하고 문화적 영향을 올바르게 측정하기 위해 지표가 갖는 여러 문제점을 개선하고자 노력하였다.
그 과정의 일환으로서 본 연구는 지금까지의 연구와 실제 현장에서 평가지표와 관련된 다양한 이해관계자들의 목소리를 기반으로 문화영향평가 지표가 갖는 문제점을 해소할 방안을 찾는 데 목적을 두었다. 특히 주요 평가자인 전문가 평가위원들이 갖는 지표의 이해와 해석의 차이, 그리고 그로 인해 나타나는 평가 결과의 신뢰성과 객관성의 저해 요인이 무엇인지를 파악하고, 이를 해결할 수 있는 제도의 방향을 탐색하는 데 의의를 두었다. 그래서 본 연구는 2019년과 2020년 문화영향평가 약식평가 총 33건에서 도출된 전문가 평가위원들의 점수 자료를 기반으로 표준편차분석을 실시하여 지표별 평가위원들 간의 점수 편차가 어느 정도 나타나는지 분석하였다. 그 결과, 대표적으로 ‘문화다양성에 미치는 영향’, ‘문화유산에 미치는 영향’ 지표의 점수 편차가 다른 지표에 비해 상대적으로 크게 나타났다. 또, 2020년 문화영향평가 약식평가에서 각 평가위원들의 의견을 모아 보고서를 집필한 9명의 대표자들의 의견을 서면조사한 결과, 표준편차분석 결과와 마찬가지로 ‘문화다양성에 미치는 영향’, ‘문화유산에 미치는 영향’ 지표와 더불어 ‘공동체에 미치는 영향’, ‘창의성에 미치는 영향’, 그리고 일부 세부지표(핵심가치) 에 대해 평가위원들 간 점수 편차가 나타났음을 확인하였다. 위와 같이 지표별 평가위원들 간 점수의 편차가 나타나는 이유에 대해 대표자들은 지표의 정의, 범위, 기준이 갖는 모호성, 그리고 각 평가위원의 개인적 특성에 따라 지표를 이해하고 해석하는 사고와 역량의 차이를 대표적으로 지적하였다. 위 문제를 해결하기 위한 방안으로 9명의 대표자들 중 대다수는 2020년부터 실시한 약식평가 현장조사의 세부절차 중 사전 회의가 평가위원들 간 지표 이해의 차이로 나타날 수 있는 평가 결과의 오류를 조정할 수 있는 기회이고, 평가위원들 간 점수의 편차를 극복하는 데 도움이 될 수 있는 방안으로 인식하고 있었다. 마지막으로 대표자들은 지표의 정의, 범위를 더욱 면밀히 검토하고, 공식적인 지침 안에서 이를 구체화하여 평가위원들의 올바른 평가수행을 지원할 수 있는 방법들을 모색해야 함을 주장하였다.
그간 문화영향평가는 매년 다양한 시도를 통해 평가방식, 유형, 방법 등을 조금씩 바꾸면서 제도의 발전을 일궈내는 과정 속에 있었다. 하지만 이제 본평가 6년차에 접어드는 문화영향평가가 보다 안정적으로 자리잡기 위해서, 평가 체계의 핵심인 지표가 문화적 영향을 제대로 측정하고 예측하여 평가 결과의 신뢰성과 적절성을 높이는 데 기여할 수 있는 제도적 방안이 필요하다. 현재까지 활용하고 있는 문화영향평가 지표는 2016년부터 사용된 지표의 큰 틀을 여전히 유지하고 있다. 다만 이것의 해석과 이해가 평가수행자 개개인의 전문성과 역량, 관심사에 따라 다르게 적용될 때 나타날 수 있는 평가 결과의 문제점을 극복하는 것은 여전히 가장 큰 숙제이다. 특히 지표와 관련된 문제를 해결하고자 평가지원기관으로 지정된 한국문화관광연구원의 경우, 전문가 평가위원뿐만 아니라, 평가대상 정책 담당자 등 다양한 평가이해관계자들이 사전에 같은 수준과 범위에서 문화영향평가 지표를 이해할 수 있는 제도와 도구, 방법들을 연구하고 발전시켜야 할 것이다. 이를 위한 하나의 시도로써, 2020년부터 실시한 현장조사 세부절차 중 사전회의는 전문가 평가위원들 간의 지표와 평가 기준 등에 대한 차이를 발견하고, 함께 조정할 수 있는 기회를 제공한 좋은 예가 될 것이다. 앞으로 평가를 실시하기 전 바람직하고 실행가능한 평가의 가능성을 높이고, 유용한 평가설계를 선택하게끔 도와주는 평가성 사정(evaluability assessment, 박홍윤, 2012)의 단계가 문화영향평가에도 적극 도입되어야 할 것이다. 그래서 평가 수행 이전에 모든 평가자들과 평가대상 사업의 이해관계자들이 내가 평가해야 하는, 그리고 내가 평가받는 항목들이 담긴 지표들을 충분히 이해하고 합의할 수 있는 다양한 방법들이 개발되어야 할 것이다. 이를 통해 보다 신뢰받는 평가결과를 기반으로 하는 문화영향평가 체계를 기대할 수 있게 될 것이다.
다만 본 연구는 아직 평가자들의 점수 자료만을 토대로 표준편차분석만을 실시한 탐색적 연구 수준에 머물러 있기 때문에 일차원적인 분석 결과만을 제시할 수밖에 없는 한계에 머물러 있다. 또, 문화영향평가 약식평가 대상이 적어도 2개 이상의 유형으로 분류되었으나, 각 평가대상 유형의 특성이 지표별 평가 점수에 미치는 영향에 대해서도 면밀히 검토하지 못한 결과를 제시할 수밖에 없었다. 향후 이런 연구의 한계를 극복할 수 있도록 보다 다차원적인 자료 구성 및 분석 방법들이 모색되어야 할 것이다. 또한 평가자들의 특성, 예를 들면 이들의 전공, 배경, 전문분야 등을 기준으로 데이터를 새롭게 구성하여 해당 기준별 평가위원들의 지표에 대한 이해와 해석의 편차 등을 분석할 수 있는 후속 연구가 진행된다면, 특정 평가위원들의 평가 수행을 더 효율적으로 지원할 수 있는 구체적 방안들을 모색해볼 수 있을 것으로 기대한다.
