본문 바로가기

Programming27

웹에서 YAML 파일 가져오고 dataframe 으로 나타내기 모든 데이터가 csv 형식같은 rectanglar data로 되어 있으면 데이터프레임화하기 편하지만, 데이터가 HTML, XML, JSON, YAML 등 여러 포맷의 hierachical data로 되어 있는 게 현실이다. 그래서 이런 데이터들을 파싱해서 파이썬으로 불러오고 어떻게 분석해야 하는지 정리해보겠다 ! 위 데이터셋은 미국 국회의원들의 이름, 생년월일, 소속당, 전화번호 등 자세한 정보가 들어있는 yaml 파일이다. https://github.com/unitedstates/congress-legislators/blob/main/legislators-current.yaml 깃헙에서 가져온건데, 파싱한 코드는 아래와 같다. import requests from pathlib import Path l.. 2021. 11. 4.
파이썬 pandas.melt() 데이터 재구조화(reshape) ( melt vs pivot ) 데이터 재구조화, 전처리 과정에서 pivot과 함께 melt 함수도 많이 사용된다. 하지만 pivot()과는 반대로 작동함. 간단하게 말해서 melt()는 dataframe format을 wide에서 long으로 바꿔주는 함수이다. 그래서 wide_to_long() 메서드와 함께 쓰이기도 한다. 인덱스와 열을 녹여 하나 혹은 다수의 컬럼이 identifier가 되어 dataframe을 specific format으로 재구조화한다. 원래 df의 형식이 녹여지고 식별변수(id_variable)을 기준으로 정렬된다고 생각하면 된다. 반면에 pivot()은 여러 형태로 이루어진 dataframe에 index, columns, values를 각각 지정해주어 melt된 df를 보기 좋은 형태로 재구조화 시켜주는 메.. 2021. 10. 13.
파이썬 python replace 함수 치환 방대한 양의 데이터프레임을 처리하다보면 이 데이터 요소를 저 데이터로 바꾸고 싶은데 노가다를 하기엔 끝이 안 보일 때가 있다 그럴 때 쓰는 게 pandas 라이브러리의 replace 함수. replace 함수의 기능을 살펴보면 "Replace values given in `to_replace` with `value`."라고 나와있다. 바꿀 값과 그 값을 대체할 값을 차례로 써주면 된다. 사실 값을 바꾸는 건 '.loc'나 '.iloc' 매소드에 조건문을 넣어주며 바꿀 수도 있는데 얘네는 바꿀 값의 location을 필요로 해서 replace와 좀 다르게 작동한다. 이렇게 .loc을 쓰면 boolean과 label을 쓰며 위치를 인식해줘야 했던 것을 replace를 쓰면 치환대상이 많더라도 간단하게 치환할.. 2021. 9. 29.
웹 사이트 주소 이해하고 requests와 BeautifulSoup으로 웹 크롤링 실습 웹 크롤링(Web Crawling) : 웹 크롤러가 자동으로 웹 페이지의 contents를 수집 -> HTML 페이지를 가져와서 HTML/CSS 등으로 원하는 데이터를 파싱/추출 HTML 태그는 태그 이름 / 속성(attribute) 2가지로 구성됨 * 태그 이름 : 태그를 상징하는 기호 안에 들어가는 정보 ex) p, li, img * 속성 : 태그가 가진 추가정보. 속성 이름 & 속성 값이 하나의 쌍 ex) name = "value" html_code = """ HTML 연습! 첫번째 문단: 파이썬 기본 두번째 문단: 웹 크롤링 기본 web crawling requests BeautifulSoup """ # """으로 묶으면 여러 줄의 텍스트를 하나의 문자열로 인식 >>> >>> html의 기본 구성.. 2021. 8. 2.

티스토리툴바