J o e
JoE's StOrY
J o e
  • 분류 전체보기 (206)
    • workSpace (184)
      • 도메인 지식 (2)
      • ALGORITHM (39)
      • ANDROID (3)
      • JS (0)
      • JAVA (21)
      • MYSQL (6)
      • NETWORK (3)
      • PYTHON (91)
      • LINUX (9)
      • PROJECT (4)
    • Others (20)
      • Opic (1)
      • myLife (17)
      • popSong (1)
      • 정보처리기사 (1)
    • 훈빠의 특강 (0)
      • opencv (0)
      • python (0)

블로그 메뉴

  • 홈
  • 태그
  • 방명록

공지사항

  • The code with long statements is⋯
  • 매일 매일이 행복하고 밝은 날이 될거에요

인기 글

태그

  • How to create a GUI in Java with JFrame?
  • 단어의 개수
  • 이미지 연산
  • java
  • ㅖ43
  • read_html
  • Fully Connected Network
  • sort_index
  • numpy
  • Python
  • DTO
  • MySQL
  • full loss
  • dao
  • linearclassification
  • 넘파이함수
  • 넘파이 문제
  • 파이썬
  • 태블릿 연동
  • sort_value

최근 댓글

최근 글

티스토리

J o e

WHY?

[Python][BeautifulSoup] 외부 데이터 처리, 웹 크롤링, 기상청 크롤링,주식 크롤링, 그래프 화
workSpace/PYTHON

[Python][BeautifulSoup] 외부 데이터 처리, 웹 크롤링, 기상청 크롤링,주식 크롤링, 그래프 화

2020. 12. 29. 12:43

1. 공공데이터나 오픈된 데이터를 파일로 다운 받아서 사용한다(csv, 엑셀, xml, json...)
2. 웹 페이지를 읽어서 데이터를 분석(그 웹 페이지 구조를 분석해야한다.)

DOM 이란? Document Object Model 문서를 객체화 한다는 말이다.
사용하는 이유는,객체화 하면 소스에서 자유자재로 사용 할 수 있기 때문이다. (소스를 수정할 수 있다.) 

웹 개발 할때도 많이 사용하지만 공공데이터를 추출할때 특히 많이 사용한다. 유용하니 꼭 알아둘것~!

데이터 가져올 웹사이트 선정
DOM 객체화 시켜주는 부분.
title소스 추출.

 


자, 그럼 기상청 웹 사이트를 들어가서 파일을 가져와보자. (지역 시간 상태만 분류)
( www.weather.go.kr/weather/forecast/mid-term-rss3.jsp )


json = javascript objeet notation

restful
백단은 공통된 기능 구현 뷰에 독립적임. - 결과를 json형태로 

안드로이드의 전반적인 로직 (feat. json)


json형태의 데이터 타입을 가져와보자.
( api.github.com/repositories )


이번엔 주식을 크롤링해보자!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! 
( kind.krx.co.kr/corpgeneral/corpList.do?method=download )

원하는 회사명의 종목코드 가져오기


 

'workSpace > PYTHON' 카테고리의 다른 글

[Python][tkinter] 웹 크롤링을 활용한 프로그램 만들기  (0) 2021.01.02
[Python][matplot] matplot(그래프)의 기본 문법 사용법  (0) 2020.12.30
[Python][os] 파일을 활용한 메모장 프로그램  (0) 2020.12.26
[Python][firebase][os] 파일을 활용한 정보처리기사 프로그램  (0) 2020.12.26
[Python] 제품입고정리 프로그램 (MVC pattern)  (0) 2020.12.26
    'workSpace/PYTHON' 카테고리의 다른 글
    • [Python][tkinter] 웹 크롤링을 활용한 프로그램 만들기
    • [Python][matplot] matplot(그래프)의 기본 문법 사용법
    • [Python][os] 파일을 활용한 메모장 프로그램
    • [Python][firebase][os] 파일을 활용한 정보처리기사 프로그램
    J o e
    J o e
    나의 과거를 기록합니다.

    티스토리툴바