Python Pandas로 데이터 분석 시작하기

데이터 분석은 현대 비즈니스와 연구에서 필수적인 요소로 자리 잡았습니다. 파이썬(Python) 언어는 그 중에서도 특히 데이터 처리와 분석에 유용한 도구를 제공합니다. 그 중 하나가 바로 판다스(Pandas)입니다. 이번 포스트에서는 판다스를 활용한 데이터 분석의 기본을 알아보도록 하겠습니다.

판다스란 무엇인가?

판다스는 파이썬에서 데이터 조작과 분석을 위한 라이브러리로, 강력한 데이터 구조와 다양한 함수들을 제공합니다. 주로 숫자 테이블과 시계열 데이터를 처리하는 데에 사용되며, 데이터 분석을 보다 손쉽게 만들어줍니다. 판다스는 ‘패널 데이터’라는 계량 경제학 용어에서 유래하였으며, ‘Python Data Analysis’의 약자로도 알려져 있습니다.

시작하기 전에

판다스를 사용하기 위해서는 먼저 해당 라이브러리를 임포트해야 합니다. 종종 ‘pd’라는 약어를 사용하여 코드의 가독성을 높입니다. 또한 필요에 따라 넘파이(numpy)와 맷플롯립(matplotlib) 라이브러리도 함께 가져옵니다.

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

데이터 오브젝트 생성하기

판다스에서 자주 사용하는 데이터 구조 두 가지는 시리즈(Series)와 데이터프레임(DataFrame)입니다. 이들은 각각 1차원과 2차원 배열로 데이터를 표현합니다.

시리즈(Series)

시리즈는 1차원 배열을 기반으로 하며, 데이터와 함께 인덱스를 가집니다. 간단한 값의 리스트로 생성할 수 있습니다.

data = pd.Series([10, 20, np.nan, 40])
print(data)

데이터프레임(DataFrame)

데이터프레임은 2차원 구조로, 여러 형태의 데이터를 담을 수 있습니다. 예를 들어, 넘파이 배열을 인자로 주어 데이터프레임을 만들 수 있습니다. 아래 예시에서는 날짜를 인덱스로 활용하였습니다.

dates = pd.date_range('20230101', periods=5)
df = pd.DataFrame(np.random.randn(5, 3), index=dates, columns=['A', 'B', 'C'])
print(df)

데이터 확인하기

데이터프레임의 내용을 확인하려면 다양한 메서드를 사용할 수 있습니다. 예를 들어, head() 메서드를 통해 상위 5개의 행을 확인할 수 있고, info() 메서드를 사용하여 데이터프레임의 구조적 정보를 점검할 수 있습니다.

데이터 선택하기

특정 데이터 셀이나 행, 열을 선택할 수 있는 방법도 중요합니다. loc와 iloc를 활용하여 레이블 기반 혹은 위치 기반 선택이 가능합니다.

row = df.loc['2023-01-01']
column = df['A']

결측치 처리하기

실제 데이터셋에서는 결측치가 자주 발생할 수 있습니다. 이를 처리하는 방법으로는 fillna() 함수를 사용하여 결측치를 특정 값으로 대체하거나 dropna()를 통해 결측치를 포함한 행을 제거할 수 있습니다.

데이터 연산 수행하기

판다스는 기본적인 수학적 연산을 쉽게 수행할 수 있는 기능을 제공합니다. 이는 각 열에 대해 평균, 합계, 최댓값 등을 쉽게 계산할 수 있도록 해줍니다.

mean_values = df.mean()

데이터 합치기 및 그룹화하기

여러 데이터프레임을 결합하는 작업, 즉 병합(merge)과 연결(concat)도 판다스의 강력한 기능 중 하나입니다. 이 경우 merge() 메서드를 통해 SQL의 JOIN처럼 다룰 수 있습니다. 또한, groupby() 메서드를 통해 데이터를 특정 기준으로 그룹화하여 통계적 요약을 만들 수 있습니다.

데이터 시각화하기

매력적인 데이터 시각화는 데이터 분석에서 중요한 부분입니다. 판다스와 함께 matplotlib을 활용하면 데이터프레임의 그래프를 쉽게 그릴 수 있습니다. 예를 들어, 아래와 같이 간단히 시각화를 수행할 수 있습니다.

df['A'].plot(kind='line')
plt.show()

데이터 입출력 처리하기

데이터를 저장하거나 불러오는 과정도 판다스를 통해 간편하게 처리할 수 있습니다. CSV 파일로 저장하거나, 데이터베이스에서 직접 데이터프레임을 불러오는 등의 작업도 지원합니다.

df.to_csv('output.csv')

결론

판다스는 데이터 분석 작업을 보다 효율적으로 만들어주는 강력한 도구입니다. 여러 기능을 통해 데이터를 쉽게 조작하고 분석할 수 있으며, 여러분의 데이터 처리 여정에 큰 도움이 될 것입니다. 다양한 기능을 실습하고 익혀보시기를 권장 드립니다.

자주 찾으시는 질문 FAQ