본문 바로가기

Programming30

파이썬 pandas.melt() 데이터 재구조화(reshape) ( melt vs pivot ) 데이터 재구조화, 전처리 과정에서 pivot과 함께 melt 함수도 많이 사용된다. 하지만 pivot()과는 반대로 작동함. 간단하게 말해서 melt()는 dataframe format을 wide에서 long으로 바꿔주는 함수이다. 그래서 wide_to_long() 메서드와 함께 쓰이기도 한다. 인덱스와 열을 녹여 하나 혹은 다수의 컬럼이 identifier가 되어 dataframe을 specific format으로 재구조화한다. 원래 df의 형식이 녹여지고 식별변수(id_variable)을 기준으로 정렬된다고 생각하면 된다. 반면에 pivot()은 여러 형태로 이루어진 dataframe에 index, columns, values를 각각 지정해주어 melt된 df를 보기 좋은 형태로 재구조화 시켜주는 메.. 2021. 10. 13.
파이썬 python replace 함수 치환 방대한 양의 데이터프레임을 처리하다보면 이 데이터 요소를 저 데이터로 바꾸고 싶은데 노가다를 하기엔 끝이 안 보일 때가 있다 그럴 때 쓰는 게 pandas 라이브러리의 replace 함수. replace 함수의 기능을 살펴보면 "Replace values given in `to_replace` with `value`."라고 나와있다. 바꿀 값과 그 값을 대체할 값을 차례로 써주면 된다. 사실 값을 바꾸는 건 '.loc'나 '.iloc' 매소드에 조건문을 넣어주며 바꿀 수도 있는데 얘네는 바꿀 값의 location을 필요로 해서 replace와 좀 다르게 작동한다. 이렇게 .loc을 쓰면 boolean과 label을 쓰며 위치를 인식해줘야 했던 것을 replace를 쓰면 치환대상이 많더라도 간단하게 치환할.. 2021. 9. 29.
웹 사이트 주소 이해하고 requests와 BeautifulSoup으로 웹 크롤링 실습 웹 크롤링(Web Crawling) : 웹 크롤러가 자동으로 웹 페이지의 contents를 수집 -> HTML 페이지를 가져와서 HTML/CSS 등으로 원하는 데이터를 파싱/추출 HTML 태그는 태그 이름 / 속성(attribute) 2가지로 구성됨 * 태그 이름 : 태그를 상징하는 기호 안에 들어가는 정보 ex) p, li, img * 속성 : 태그가 가진 추가정보. 속성 이름 & 속성 값이 하나의 쌍 ex) name = "value" html_code = """ HTML 연습! 첫번째 문단: 파이썬 기본 두번째 문단: 웹 크롤링 기본 web crawling requests BeautifulSoup """ # """으로 묶으면 여러 줄의 텍스트를 하나의 문자열로 인식 >>> >>> html의 기본 구성.. 2021. 8. 2.
파이썬 python matplotlib 으로 노년 구직자의 희망직종명 파이차트 그리기-2 2021.07.19 - [코딩공부] - 파이썬 python matplotlib 으로 노년 구직자의 희망직종명 파이차트 그리기-1 에서 65세 이상 노년 구직자들의 희망직종명 파이차트를 만들기 위해 데이터프레임을 정리해서 이렇게 각자의 직종을 몇 명이 희망하는지까지 알게 되었다. 이 결과값을 가지고 파이차트를 만들어 보자. matplotlib.pyplot 모듈을 활용하면 되는데, 이 모듈은 명령어 스타일로 동작하는 '함수의 모음집'이라고 생각하면 된다. pyplot에 포함된 각각의 함수들로 그래프를 만들고 스타일의 변화를 줄 수 있다. pyplot의 alias(가명)는 보통 plt라고 명명한다. 기본 그래프 그리기 import matplotlib.pyplot as plt new=df[condition]['.. 2021. 7. 22.

티스토리툴바