入門レベルで演習がたくさん掲載されているものは，統計Iでも書きましたが，
ホーエル，P. G. 『初等統計学』(浅井晃・村上正康訳)培風館，1981年(1650円+税)
が参考になると思います．
カイ二乗分布をどう導くかなどは数理統計学の分野になります．教科書にも書いてあります．数学が好きな人には，
河田・丸山・鍋谷共著『大学演習数理統計』裳華房
国沢著『確率・統計演習I』培風館
があります．
日本語ではちょうどよいのが見当たらないので，英語はとても簡単なので，結局，英語の本で勉強することになります．
英語の本ならば大学院の修士の講義メモにもある次の本を参考にしてください．統計学・確率論専攻の学部生向けテキストでとてもいい本です．
つぎの本は商学部の3・4年生・大学院生向けの標準的な教科書です．
G. Casella and R. L. Berger, Statistical Inference, 2nd ed., Thomson Learning, 2002. ISBN: 0-534-24312-6
ファイナンス・時系列分析などで必要な確率過程論を勉強するには次の本をすすめます．
G. Grimmett and D. Stirzaker, Probability and Random Processes, Third ed., Oxford University Press, 2001. ISBN: 0-19-857222-0