파이썬 문법 5

2022. 1. 19

개인적으로 함수 이해들이 좀 안된 파트라고 할까 apply 함수 응용하는거 아직 잘 모르겠다.

데이터 프레임들을 가지고 분석하는 부분의 연장선

앞 부분에서 배웠던 내장함수들을 활용하고, lambda 이것저것 응용하는 주차에 이르렀다고 보면 될듯.

하지만! 응용을 해보기엔 아직 앞 부분들을 잘 몰라서. 네..

 

 

1.Groupby Aggregation

1-1) groupby()

: 데이터를 그룹별로 나누고 집계함수를 적용해 결과를 합쳐주는 함수

: df.groupby(‘key’)[‘value’].aggregate함수

자, 이게 무슨 말일까. 사진을 보면 쉽게 파악이 가능하다.

column에 해당하는 값들이 막 있겠죠? 그럼 그 값들을 가지고 만들고 싶은 값에 대한 함수를 적용시키는거임.

집계함수가 (sum, std, 뭐 이런 것들) -> 말그대로 집계해주는 함수. 통계연산과 관련된 함수라고 보면 됨.

 

ex) 두가지 예시를 들어보자면

: df.groupby('CUS_ID')['SITE'].unique().reset_index()

-> cusid별 , site의 다양성을 구해라!의 의미

: data.groupby('ID')['구매금액'].sum()

-> id별 구매금액의 합을 구해라

대표사진 삭제

사진 설명을 입력하세요.

1-2) agg 함수

 

# agg()를 사용하여 복수의 함수 적용

data.groupby('ID')['구매금액'].agg(['mean','count'])

-> mean과 count 값들을 다 알려줘요!

 

# agg()안에는 일반적인 함수가 모두 들어갈 수 있음

data.groupby('ID')['구매금액'].agg(lambda x : x.max()- x.min()).reset_index()

-> lambda 함수 만들어서 자기가 원하는대로 적용 가능.

 

# 여러 함수를 적용할 때 column의 이름을 정해줄 수 있음

#구매금액별로 max와 min을 적어라

data.groupby('ID')['구매금액'].agg([('최대값','max'),('최소값','min')]).reset_index()

-> 컬럼 안에서 또 나눌 수 있음. 부제목으로 최대값, 최소값을 만들고 거기에 해당하는 값을 적는 형식.

 

# column을 뽑아오지 않고 각각의 column에 다른 함수를 적용 가능

#구매수량은 mean으로 구매금액은 max

data.groupby('ID').agg({'구매수량' : 'mean', '구매금액' : 'max'}).reset_index()

 

 

 

2.Pivot Table

: 그니까 그냥 내 마음대로 표를 다시 만들 수 있는 코드임.

왔다리 갔다리 응용이 된다는 것.

 

pd.pivot_table(data, index = 행 column, columns = 열 column, values = 계산 column, aggfunc = 집계함수, fill_value = 결측값 대체)

이게 무슨 말이냐

간단함.

ex) 고객의 구매지역별 총 구매 수량을 구해라

* 여기서 ~의 ~별과 관련한 문제이면 pivot table을 쓰면되고, ~별에 관한 문제이면 groupby를 쓰면 된다고 한다

여기서는 ~의 ~별이므로 pivot table로 접근을 하는거고,

1. index는 고객을 의미

2. columns는 구매지역을 말하겠죠?

3. values는 해당 값을 말하니깐 '구매 수량'을 적으면 된다.

4. aggfunc '총' =sum을 써주면 됨,

5. fill_value(x) 결측값은 뭐로 써줄거냐에 따라서 x안에 값에 넣어주면 된다.

: pd.pivot_table(data, values = '구매수량', index = 'ID', columns = '구매지역', aggfunc = np.sum, fill_value = 0)

대표사진 삭제

사진 설명을 입력하세요.

* margins=True 을 써주면 총 합계도 나온다.

: pd.pivot_table(data, values = '구매금액', index = 'ID', columns = '상품대분류명', aggfunc = np.sum, fill_value = 0, margins = True)

사진 삭제

사진 설명을 입력하세요.

 

* divide 써주면 비율이 나옴.

: p = pd.pivot_table(data, values = '구매금액', index = 'ID', columns = '상품대분류명', aggfunc = np.sum, fill_value = 0, margins = True)

p.divide(p['All'],axis=0)

대표사진 삭제

사진 설명을 입력하세요.

 

 

★★★★★★★★★★ 개인적으로 응용 잘 못하겠는 함수 ★★★★★★★★★★

 

 

3.Apply와 Applymap

3-1) apply()

: dataframe이나 series에 대해서 행 또는 열 단위로 함수를 적용하는 함수.

: dataframe.apply(function)

-> 주로 column 단위로 사용

 

대표사진 삭제

사진 설명을 입력하세요.

이렇게만 보면 쉬움. 구매금액에 대한 평균을 내고, 이거를 int로 apply함수에 lambda 함수 써서 int로 다 바꿔줘라의 의미.

하지만? 얘를 응용하라고 하면 거기서 막힌다는.. 결국 과제 2번을 제시간에 하지 못했다. apply를 써서 하라는 힌트로 응용 못했음. ㅠ

피드백 보기 전에 한번 더 해볼거임.!!

 

 

3-2) applymap() -> 잘 사용하지 않음

: dataframe의 요소 전체에 일괄적인 함수를 적용하는 함수

: dataframe.applymap(function)

=> 주로 lambda와 함께 사용

 

대표사진 삭제

사진 설명을 입력하세요.

모든 컬럼에 적용시켜주는거라고 보면 됨. 눈에는 int로 보이겠지만

data 타입을 보면?

 

대표사진 삭제

다 바뀐 것을 알 수 있다.

4.Datetime

: pandas에서 시계열 데이터를 다루기 위해서 만든 자료형

# datetime으로 자료형 바꿔주기

: data['구매일자'] = pd.to_datetime(data.구매일자, format = '%Y%m%d%h%m%s')

 

초 단위까지로도 나눌 수 있다.

대표사진 삭제

예를 들면 이런거.

 

+ 부가적인 것들.

to_datetime(arg) : arg의 자료형을 datetime으로 바꿔주는 함수

data.dt.year : datetime형인 data의 연도를 알려주는 함수

data.dt.month : datetime형인 data의 월을 알려주는 함수

data.dt.day : datetime형인 data의 일을 알려주는 함수

data.dt.dayofweek : datetime형인 data의 요일을 int로 알려주는 함수

data.dt.day_name() : datetime형인 data의 요일을 str로 알려주는 함수

ex)

 

대표사진 삭제

사진 설명을 입력하세요.

 

 

-------------------------------5주차 과제 피드백--------------------------------

1.

대표사진 삭제

몰랐던 사실

결측치를 0으로 바꿔준다고해서 결측치가 사라지는게 아니었다.

inplace=True를 쓰던지 df_ST_TIME=~으로 한번 더 정의를 해줘야된다.

 

2.

대표사진 삭제

apply 함수 적용하는 문제

이거 참 뭔가 복잡할 것 같았는데 풀이보면서 풀어보니깐 간단했다.

gender라는 열을 추가할건데, group에 있는 열들 중에서 0번 위치에 있는 애들을 gender에 넣을거다!의 의미

간단했다,

그리고 나머지 age의 경우는 1:이상인 애들을 넣겠다!라고 정의해주고, group이라는 열을 지우라고 했으니 inplace=True써서 없애주면 끝임.

간단한걸 몇시간동안 고민만 했다.

 

대표사진 삭제

사진 설명을 입력하세요.

내가 하고자 했던 방식은 함수식을 만들고 이거를 apply에 적용시키려고 했던건데

저기서 잘못 접근한 이유는 이미 M40, 그니까 group이라는 열은 문자형이기 때문에 str, int로 나눠서 넣어라 라는 의미가 필요 없다는 것.

이 점을 간과했다.

 

3.

대표사진 삭제

사진 설명을 입력하세요.

얜 생략

 

4.

대표사진 삭제

사진 설명을 입력하세요.

groupby 활용했고, (~별)이므로?

거기서 size 암수 사용하라고 했으니 저렇게 써주면 ㅇㅇ

+ 추가적으로 데이터 보는 법

 

대체적으로 남성이 여성보다 사이트에 더 많이 들어가본다는걸 알 수 있고,

20대 중에서는 남성보다 여성이 더 많이 들어가본다는걸 확인할 수 있다!

 

5.

대표사진 삭제

사진 설명을 입력하세요.

agg 활용해서 한번에 볼 수 있도록.

 

대표사진 삭제

여ㅕ기서 이 방법 쓰는거 하나 획득

대표사진 삭제

사진 설명을 입력하세요.

+ 내가 풀고자 했던 방식에서 피드백

 

#이미 내가 정의내린 st_time은 CUS_ID별로 정리되어있음.

#하지만 정리되어있는걸 한번 더 CUS_ID 기준으로 정리하려고 했기에 오류!

 

6.

대표사진 삭제

사진 설명을 입력하세요.

unique 함수는 개수를 세어주는게 아니라 그 값을 보여준다

 

대표사진 삭제

사진 설명을 입력하세요.

그렇기 때문에 nunique라는 함수 사용해서 개수 파악하기.

 

7.

대표사진 삭제

사진 설명을 입력하세요.

apply 함수 써주고, 안에 lambda 함수로 만들어줌.

저 month 열 안에 345가 있으면 봄을 출력하고 678이면 여름,91011이면 가을, 그것도 아니면 겨울 출력해라!

그리고 그거의 평균을 나타내세요~

 

8.

대표사진 삭제

사진 설명을 입력하세요.

value_counts를 써주면 종류가 많은 것부터 쭈루룩 나열됨!

 

+ 1. 거기서 index 10개를 뽑아서 바로 만들 수 있는 방법이 있고

+2. 일단 다 정렬한 다음에 거기서 index 10개 선정해주는 방법이 있고

코딩에 정답은 없으니깐

 

하지만 일단 영상대로 해봄

 

대표사진 삭제

사진 설명을 입력하세요.

일단 위처럼 pivot_table 사용해줘서 데이터프레임 하나 만들어주고 만들어진 BACT_NM_SITE_CNT을 보면

저기에 가나다 순서로 정렬이 되어있을거다.

그거를 value_counts 순서처럼 바꿔주기 위해서는 reindex 써서 리스트 넣어주고 출력하면 됨.

+ 10개만 출력하라 했으니 iloc써서 행은 다 출력하되 열은 10개 [:,:11] 쓰면 끝!

 

9.

대표사진 삭제

사진 설명을 입력하세요.

일단 BACT_NM이 게임인 애들을 출력해라!의 의미에서 query 문 작성

 

대표사진 삭제

사진 설명을 입력하세요.

근데 문제에서 cus_id별 ~을 구하라 라고 했으니 groupby 사용해서 출력. 근데 게임의 sum값을 내놓으라 했으니 agg 함수로 써주면 됨.

쇼핑도 마찬가지.

그럼 두개의 컬럼이 나오겠죠?

게임이랑 쇼핑.

그러면 걔네가 가지고 있는 공통 열이 있다.

'cus_id'

그렇기 때문에 on=cus_id 써주고 병합함수 써줘서 완성.

 

+문제에서

(단, BACT_NM이 게임/쇼핑인 값의 결측치는 평균값으로 대체하고 둘을 나눈 값의 결측치는 0으로, inf 값은 1로 대체하시오.)

조건이 있다.

 

게임/쇼핑의 열을 추가해줌.

 

 

 

대표사진 삭제

사진 설명을 입력하세요.

tolist 써줘서 리스트로 값들 확인

isposinf 함수는 무한대값을 확인해주는 함수라고 한다.

그 다음 그 무한대ㅏ 어느 위치에 있는지 확인해달라 하면 where을 써주면 된다.

결측치는 없지만 무한대가 있네?

1922 인덱스에.

 

그래서 데려왔더니 inf라고 써져있음

 

대표사진 삭제

사진 설명을 입력하세요.

그래서 1로 대체 완료.

 

+ 결측치 확인

대표사진 삭제

사진 설명을 입력하세요.

 

+ 게임과 쇼핑에는 없으므로 평균값 대체는 패스

게임/쇼핑에 결측치가 있으므로 0으로 채워줌.

 

10.

대표사진 삭제

사진 설명을 입력하세요.

정규화 하기