可以。人人都可以去寺庙烧香礼佛。你带小孩子去，可以让小孩子从小与佛结缘。
另外，烧香磕头，只是我们学佛，信佛的一方面，更需要讲究的，是落实佛菩萨对我们的教导：诸恶莫作，众善奉行。你能从小教孩子改正过失，并行善积德，佛菩萨知道了，会非常高兴，孩子因此也会有很好的福报的！
在行善积德中，很容易被我们忽视的，就是孝顺父母，古人言：在家敬父母,何必远烧香。父母是我们最大的福田。孝顺父母很能为我们积福改运，而不孝，则会折损我们的好运。
孔子说过，孝顺父母最难的是“色难”，就是难以对父母和颜悦色，所以我们要教孩子对父母以柔心对待，讲话轻声细语，语气不要凶。
最后，建议你请一本佛学入门书籍，来全面，具体地了解一下佛法。佛言，人身难得，佛法难闻。就是说，投胎做人是一件非常难得的事情，得人身，又闻佛法，更是难得，如果我们在世时，没有佛法的指引，没有多多的行善积德，来世就可能失去人身，从而入三恶道受苦，（三恶道是地狱，饿鬼，畜牲），所以，请珍惜自己的佛缘，抓紧时间，好好学佛才是。
书籍建议净空老法师著的《认识佛教》，佛法讲明了我们这个世间的起源，人生的任务，我们如何离痛苦得幸福如意之道，很是值得我们学习。