한자어로 "통계"란 모아서 계산한다는 뜻이고,영어의 "Statistics"는 국가(state)를 다스리기 위해 필요한 인구 및 경제자료의 수집과 활용의 뜻이다. 이러한 어원적인 측면에서 대부분의 사람들은 통계학을 단지 자료를수집하여 그림으로 나타나거나 자료의 특성값(평균이나 분산 등)들을 계산하는 학문으로 인식하는 경향이 있다.

그러나 현대의 통계학은 연구목적에 필요한 자료를 수집하여 정리, 요약하고 분석하여 제한된 자료에서 합리적인 판단을 내릴 수 있는 과학적인 자료분석 학문이다.

즉, 통계학은 논리적(logical) 사고와 객관적(objective)인 사실에 의거하며, 일반적(general)이고 확률적(probabilistic) 결정론에 의해서 인과관계를 규명한다. 특히, 연구목적에 의해 설정된 가설들에 대하여 분석결과가 어떤 결과를 뒷받침하고 있는지를 통계적 방법으로 검정할 수 있다. 이처럼 통계학은 과학적인 자료분석 방법이므로 연구대상에 대한 어떤 의미 있는 정보를 얻고자 하는 여러 방면에서 적용될 수 있다. 현재 통계학은 경제학, 경영학, 사회학, 정치학, 교육학, 의학, 생물학, 공학 등 대부분의 모든 학문 분야에서 폭넓게 이용되고 있다.

특히, 경제학, 심리학, 생물학 등에서는 통계학의 중요성이 강조되어 경제통계(Econometrics), 심리통계(Psychometrics), 생물통계(Biostatistics) 등 독자적인 학문을 이루고 있다.