Data
정의
- 추정과 추론의 근거가 되는 사실
- a set of values of subjects with respect to qualitative or quantitative variables
- Data is measured, collected and reported, and analyzed, whereupon it can be visualized using graphs, images or other analysis tools
Data, information, intelligence
데이터는 현실 세계에 대한 정보와 지식을 얻어내기 위해서 필요하다.
데이터의 종류
- unstructed(80%) : 음성, 이미지, 텍스트 등
- structed(20%) : 엑셀과 같이 구조화된 데이터
- geographical, transport, natural, metrological, statistical, financial, scientific, cultural
Big Data
정의
- 빅데이터는 전통적인 데이터처리 소프트웨어가 적당히 다루기에 너무 크거나 복잡한 데이터 sets들을 의미한다.
- 빅데이터는 데이터가 늘어나는 양과 속도가 아주 빨라서 생기는 것이다.
- 3V of Big data ⇒ Volume, Variety, Velocity (크기, 다양성, 속도)
- 빅데이터 생성 속도
- 하루 250경 바이트 비정형(비구조화된) 정보
- 매달 10억여 개 트윗
- 매달 300여 개 페이스북 메시지
- 1조 대 이상 모바일 기기로 가속화
특징
- 크기(Volume) : MB, GB 단위 규모 → TB, PB, EB 단위
- 다양성(Variety) : 정형 데이터 → 비정형 데이터 (동영상, 음악, 메시지, 소셜미디어, 위치정보, 게시물)
- 속도(Velocity) : 유통활용주기 : 수시간~수주 → 분, 초 단위의 유통 활용
Database
정의
- Database
- 일반적으로 컴퓨터시스템으로부터 전기적으로 저장되고 접근되는 데이터 덩어리이다.
- 보통 종이에 써져있는 것은 데이터베이스라고 할 수 없다. - DBMS (Database management system; 데이터 관리 시스템)
- 데이터를 capture하고 분석하기 위해 말단의 사용자, 애플리케이션그리고 데이터베이스 자체와 상호작용하는 소프트웨어이다. (데이터를 관리해주는 소프트웨어이다) - SQL (Structured Query Language)
- 구조화된 질의 언어로 데이터베이스에서 사용되는 언어 표준 SQL을 배우면 대부분의 DBMS를 사용할 수 있다.
DB를 쓰고싶으면 DBMS에 요청해야 한다.
Database Products
- MySQL
- Oracle
- SQL Server
- APACHE HBASE
- Cassandra
- Titan
- CouchDB
- SQLite
- mongo DB
* RDBMS(Relational DataBase Management System; 관계형 데이터베이스 관리 시스템)