1951ஆம் ஆண்டு முற்பகுதியில் கல்கத்தா தொல்லியல் ஆய்வாளர் ஒருவர் தஞ்சை வந்திருந்தபோது கருந்தட்டான் குடியில் வடவாற்றின் வடகரையில் கவனிப்பாரற்றுக் கிடந்த பிரம்மன் சிலை ஒன்றின் அழகில் மயங்கி அதை கல்கத்தாவுக்கு எடுத்துச் செல்ல விரும்பினார். அதற்கு அங்குள்ள மக்கள் எதிர்ப்பு தெரிவித்தனர். இதனால் இச்சிலையை அப்போது தஞ்சை மாவட்ட ஆட்சியராக இருந்த டி.கே.பழனியப்பன் பார்வையிடச் சென்றபோது, அங்குள்ள மக்கள் இச்சிலையைஇச்சிலையைத் தஞ்சை மாவட்டத்திற்கு வெளியே எடுத்துச்செல்லக்எடுத்துச் செல்லக் கூடாது என வலியுருத்தியதைக்வலியுறுத்தியதைக் கண்டு சிலையைசிலையைத் தஞ்சை அரண்மனைக் கட்டடத்திற்குப் பாதுகாப்பாக எடுத்து வந்தார். இதன் பிறகு இதுபோல மாவட்டத்தில் கவனிப்பாரற்று உள்ள சிலைகளைக்கொண்டு கலைக்கூடம் அமைக்கும் யோசனையில் மாவட்டத்தில் உள்ள இதுபோன்ற சிலைகளைத்திரட்டினார்சிலைகளைத் திரட்டினார். பூமியில் புதைந்துகிடந்து கிடைத்த செப்புச்சிலைகள், கோயிலில் வழிபாடு இல்லாமல் உள்ள செப்புச் சிலைகள் ஆகியவற்றைச் சேகரித்து இக்கலைக்கூடம் 9.12.1951இல் அமைக்கப்பட்டது.<ref>http://tamilvu.org/slet/l9100/l9100pd1.jsp?bookid=147&pno=460</ref><ref>http://www.dinamalar.com/news_detail.asp?id=87602&Print=1</ref>
