Programming/python20 웹 사이트 주소 이해하고 requests와 BeautifulSoup으로 웹 크롤링 실습 웹 크롤링(Web Crawling) : 웹 크롤러가 자동으로 웹 페이지의 contents를 수집 -> HTML 페이지를 가져와서 HTML/CSS 등으로 원하는 데이터를 파싱/추출 HTML 태그는 태그 이름 / 속성(attribute) 2가지로 구성됨 * 태그 이름 : 태그를 상징하는 기호 안에 들어가는 정보 ex) p, li, img * 속성 : 태그가 가진 추가정보. 속성 이름 & 속성 값이 하나의 쌍 ex) name = "value" html_code = """ HTML 연습! 첫번째 문단: 파이썬 기본 두번째 문단: 웹 크롤링 기본 web crawling requests BeautifulSoup """ # """으로 묶으면 여러 줄의 텍스트를 하나의 문자열로 인식 >>> >>> html의 기본 구성.. 2021. 8. 2. 파이썬 python matplotlib 으로 노년 구직자의 희망직종명 파이차트 그리기-2 2021.07.19 - [코딩공부] - 파이썬 python matplotlib 으로 노년 구직자의 희망직종명 파이차트 그리기-1 에서 65세 이상 노년 구직자들의 희망직종명 파이차트를 만들기 위해 데이터프레임을 정리해서 이렇게 각자의 직종을 몇 명이 희망하는지까지 알게 되었다. 이 결과값을 가지고 파이차트를 만들어 보자. matplotlib.pyplot 모듈을 활용하면 되는데, 이 모듈은 명령어 스타일로 동작하는 '함수의 모음집'이라고 생각하면 된다. pyplot에 포함된 각각의 함수들로 그래프를 만들고 스타일의 변화를 줄 수 있다. pyplot의 alias(가명)는 보통 plt라고 명명한다. 기본 그래프 그리기 import matplotlib.pyplot as plt new=df[condition]['.. 2021. 7. 22. 파이썬 python drop, rename, isin 함수로 데이터 정제하기 -1 위 csv 파일은 '서울 열린 데이터 광장'에서 받은 7월7일자 인재정보이다. 구직을 원하는 사람들이 서울일자리센터에 올린 인재정보들을 데이터베이스화 해놓은 것을 받았다. 이 데이터셋에서 노년 구직자들의 희망직종은 어떤 것들이 있는지 알아보고 파이차트로 그려보자. 먼저 대한민국에선 65세 이상을 노인으로 정하고 있어서 이번 분석에서도 노인의 조작적 정의를 65세 이상으로 설정하겠다. import pandas as pd import matplotlib.pyplot as plt df=pd.read_csv('data/서울일자리센터 인재정보 직종별, 지역별 목록.csv',encoding='cp949') df df를 실행하면 이런 데이터프레임이 나타난다. 총 1356개의 row, 23개의 column이 있다. d.. 2021. 7. 19. 판다스 pandas IQR 활용해서 이상점(outlier) 찾고 삭제하기 어떤 데이터를 분석하고 시각화하려 할 때 다른 값들과 확연한 차이가 나거나 비정상적인 이상점이 존재할 때 데이터가 의미하는 바를 제대로 분석하지 못할 수도 있다. 그래서 데이터 분석의 목적에 따라서 이상점을 삭제하거나 수정해야 한다. 이상점을 삭제하려면 우선 이상점을 찾아야 한다. 박스 플롯을 보면 데이터의 분포와 데이터들 사이에서 이상점의 개별적인 이상치를 볼 수 있다. 박스 플롯의 구성은 이렇다. 그래프 바깥에는 이상점이 표시된다. 즉, 데이터의 최댓값과 최솟값을 넘어가는 위치에 있는 값을 이상점이라 할 수 있다. 그리고 Q1은 제 1사분위로, 25%의 위치를 가르킨다. Q2는 제 2사분위로, 50%의 위치인 중앙값(median)을 가르킨다. Q3은 제 3사분위로, 75%의 위치를 가르킨다. Q1 -.. 2021. 7. 12. 이전 1 2 3 4 5 다음
