미래의 영업자료수집기 기술을 알기 위해서는 과거를 되집어 볼 필요성이 있다고 생각합니다.산업업혁명1차 산업혁명은 1760~1820년에 섬유산업의 기계화로 방적기,방직기 의류 공급이 높아지며 수요와 공급의 불균형으로 증기자동차,기관차의 개발로 이어지며 물류,유통의 발전으로 이어졌습니다.2차 산업혁명은 1870~1914년 유럽과 미국,독일에서 석유의 발견으로 전기를 이용한 대량생산과 전기를 중심으로 모터, 전화, 전구, 축음기 새로운 개념의 에너지와 1,2차 세계대전으로 무기 전차, 기관총, 전투기, 무전기등으로 엄청난 희생자를 만들며 발전 해왔습니다3차 산업혁명은 1970년대 이후 컴퓨터와 인터넷 및 정보통신기술의 발전으로 디지털 혁명이 시작되었다 4차 산업혁명은 인공지능(AI), 빅데이터, 사물인터넷(IoT), 로봇공학, 블록체인, 나노기술, 양자 프로그래밍, 생명 공학, IoT, 3D 인쇄 및 자율주행 차량을 비롯한 여러 분야의 새로운 기술이시작 되었습니다. 빅데이터혁명들을 자세히 보면 어떠한 사건으로인한 인간의 ​필요로 의해 발전 했다고 생각듭니다.“빅 데이터(big data)란 ​통상적으로 사용되는 데이터 수집, 관리 및 처리 소프트웨어의 수용 한계를 넘어 서는 크기의 데이터를 말합니다. 빅 데이터의 사이즈는 단일 데이터 집합의 크기가 수십 테라바이트에서 수 페타바이트에 이르며, 그 크기가 끊임없이 변화하는 것이 특징입니다.”그이유는 신기술이 지속적으로 촉발된 것이 아니라 기술을 기반으로 활성화되는 데이터 소비에서 비롯되었다는것을 영업자료수집기 알 수 있습니다. 사용자들의 필요에 의해 점점 발전을 거듭합니다. 방대한 데이터의 관리 문제를 해결하기 위한 스몰데이터도 생길수 있지 않을까? 생각 해 봤습니다. 필요한 데이터만 수집 관리할 수 있는 저는 유튜브에 매일 수 많은 데이터를 올리는데 그걸다 어떻게 유튜브회사에서 관리할까? 아마 100층 정도 되는 건물에 데이터 보관 관리 하지 않을까? 상상했습니다. 이번에 학습하며 알게 되었습니다유튜브회사에서 그 많은 데이터를 가지고 있지 않고 주소만 갔다 쓴다는 걸 알게 되었습니다.빅데이터의 특징1. 데이터의 양(Volume): 빅데이터는 방대한 양의 데이터를 의미하며, 데이터의 축적과 저장이 기존 데이터베이스 시스템으로는 불가능할 정도로 규모가 큽니다2. 데이터 생성 속도(Velocity) : 빅데이터는 실시간으로 생성되고 수집되며, 빠르게 분석하여 활용해야 가치가 있습니다. 따라서 데이터의 처리 속도가 매우 중요합니다3. 형태의 다양성(Variety): 빅데이터는 정형, 비정형 데이터를 포함하여 매우 다양한 형태로 존재합니다. 텍스트, 이미지, 영상 등 다양한 포맷으로 존재하는 데이터를 통합하여 분석해야 합니다4. Veracity(정확성): 방대한 양의 데이터 중에서 신뢰할 수 있는 정확한 데이터를 찾는 것이 중요합니다. 데이터의 품질을 관리하지 않으면 분석의 신뢰성이 낮아질 수 있습니다5. Value(가치): 영업자료수집기 빅데이터 분석의 최종 목적은 유의미한 가치를 발견하여 이를 비즈니스나 연구에 적용 하는 것입니다. 데이터가 아무리 많아도 가치 있는 인사이트를 도출하지 못하면 의미가 없습니다환경의 특징구분기존빅데이터 환경데이터정형화된 수치자료 중심- 비정형의 다양한 데이터- 문자 데이터(SMS, 검색어)- 영상 데이터(CCTV, 동영상)- 위치 데이터하드웨어-고가의 저장장치- 데이터베이스-데이터웨어하우스(Data-warehouse)- 클라우드 컴퓨팅 등 비용효율적인 장비 활용 가능​소픔트웨어/분석방법 ​소픔트웨어/분석방법 -관계형 데이터베이스(RDBMS)- 통계패키지(SAS, SPSS)- 데이터 마이닝(data mining)- machine learning, knowledge discovery- 오픈소스 형태의 무료 소프트웨어- Hadoop, NoSQL- 오픈 소스 통계솔루션(R)- 텍스트 마이닝(text mining)- 온라인 버즈 분석(opinion mining)- 감성 분석(sentiment analysis)3. 빅데이터 수집 기술1) 로그 수집기 – 내부에 있는 웹서버 로그 수집2) 센싱 – 센서의 작동으로 물체 또는 소리·빛·압력·온도 등을 탐지·관측·계측하는 일. 센서에 소리 ,빛, 압력,온도 등으로 센서를 ON / OFF 시키는 것.3) 크롤링 – 방문한 웹페이지 소셜데이터등 인터넷에 공개 되어있는 데이터를 수집4) ETL – 데이터추출, 공통된형식으로 변환, 데이터 웨어하우스에 적제하는과정을 지원, 전산처리저장5) RSS리더/ OPEN API – 데이터의 생산, 공유, 참여 환경 데이터를 프로그래밍으로 수집4. 빅데이터 저장 기술1) 분산 파일 저장 영업자료수집기 시스템 – 컴퓨터 네트워크로 공유하는 여러 호스트 컴퓨터 파일에 접근 할 수 있는 시스템 2) NoSQL - 데이터베이스 관리 시스템 3) 병렬DBMS– 다수의 마이크로 세서의 질의 갱신, 입출력등 데이터베이스 처리를 동시에 수행하는 데이터베이스 시스템 4) 네트워크 구성 저장 시스템 –서로다른종류의데이터를 하나의서버에 연결하여 총괄적으로 저장관리 5. 빅테이터 처리 기술일괄처리기술(구글맵리듀스, 마이크로소프트 Dryad),실시간처리기술(트위터의 Storm), 처리 프로그레밍 지원기술(하둡의 Pig는 고수준의처리 언어 피그 라틴을 이용하여 프로그램하면 이를 맵리듀스 프로그램으로 변환 하여 실행)6. 빅데이터의 분석기술텍스트마이닝, 웹 마이닝, 오피언마이닝,리얼리티마이닝, 소셜 네트워크분석, 분류, 군잡화, 기계학습, 감성분석​- 데이터 유형, 효과 -1. 수집되는 데이터유형1) 정형데이터 – 미리 정해 놓은 형식과 구조에 따라 고정된 필드에 저장되도록 구성 된데이터2) 반정형데이터 – 고정된 필드로 저장되지만 데이터의 형식과 구조가 변경 될 수 있는 데이터3) 비정형데이터 – 정의된 구조가 없는 웹문서, 이메일, 소셜데이터등 정형화 되지 않은 데이터 데이터 구조가 없기 때문에 전처리 과정이 필요2. 빅데이터 도입시 효과* 제품 및 서비스 개발에 도움* 예지정비 → 설비 유지보수 비용 감소* 고객 경험 데이터수집 ↑ → 영업자료수집기 개인화 수준 ↑* 회복탄력성 및 리스크 관리* 비용 절감 및 효율성 향상 * 경쟁력 향상​- 빅데이터의 핵심기술 -1.기존 데이터와 빅데이터기존데이터는 일상화 된 정보서비스이고 업무와 효육성이 목적이라면 빅데이터는 사회적소통, 자기표현 사회기반서비스를 목적으로 합니다.2. 빅데이터 분석과정1) 데이터 인식 단계 – 분석을 전제로 가용한 데이터 확인2) 데이터 수집 단계 – 루트 외부의 여러데이터 소스 필요로 하는 데이터 수집3) 데이터 저장 단계 – 대용량 정형, 비정형 데이터를 분석 및 활용을 위해 저장 관리4) 빅데이터 처리, 분석 단계 – 통계를 이용하여 다양한 형태의 데이터로부터 관계 패턴, 정보와 지식을 찾는단계5) 빅데이터 시각화 단계 – 분석결과를 쉽게 이해할 수 있는 인포그래픽등 시각적 수단으로 정보전달 6) 빅데이터 활용단계 – 수집한 정보 지식등을 의사 결정에 활용빅데이터의 활용사례 - 빅데이터의 활용사례 -1) 구글의 독감 동향 시스템 빅데이터 사례- 구글은 2003년부터 개별 검색어 수천억개를 분석해 ‘감기’와 관련된 45개의 단어들을 찾아내었으며 이를 분석함으로써 특정 지역의 독감의 유행 수준을 예측하는 시스템을 개발했다.2) ‘복지 사각지대’ 없애는 보건복지부 빅데이터 사례- 보건복지부는 2016년부터 ‘복지 영업자료수집기 사각지대’ 발굴에 빅데이터를 활용 위기 가구 사전 발굴 지원 사업“으로 수집한 자료를 통계 모델로 분석해 생계 위험에 빠졌다고 판단되는 ‘고위험군 가정’을 가려낸 뒤 각 지자체에 이 내용을 전달하는 것이다.3) 빅데이터 통계분석 사례 : 서울특별시 노인 건강조사① 데이터와 분석 목적, ② 변수와 변수값 코딩, ③ 변수들 간의 상관분석, ④ 주요 변수들 간의 회귀분석의 분류를 빅데이터 분석을 통하여 변수들 간의 관계에 대한 정보를 얻으면 이에 따라 서울 시민을 위한 보건정책을 세울 수 있는 것이다.4) 아마존 사례빅데이터 분석 시스템을 이용하여 고객이 어떤 상품을 좋아할지 상뭄분석으로 고객에게 추천상품 예측하여 리즈에 맞는 가격 최적화5) 헐리우드 영화시장 사례벨데이터를 활용영화 흥행을 예측하고제작사 파산방지를위한 마케팅 타켓설계로 수익을 계획6) 스타벅스 사례신규매장을 내기 전 상권분석으로다른 스타벅스의 위치와 교통 패턴 지역인구통계등 소비자 정보수집 고객분석으로 취향에 맞는 메뉴 개발로 추천 서비스 제공7) 자라 상품권리 시스템 사례모든 상품에 PFID 태그를 붙여 영업종류후 태그 데이터를 바탕으로 그날 많이팔린옷을 본사디자인에게 데이터가 전송되게 하여 디자이너는 팔린옷의 데이터로 무늬, 색상등의 선호도 분석으로 효율적인 재고 관리를 영업자료수집기 합니다 8) 서울시 개중교통 서비스 사례서울 주변 위성도시의 시민들의 늦은 귀가시간에 이용할 교통수단의 필요성을 이용 노선과 이용자수등의 데이터 기반으로 올배미버스 운영 및 KT와 합작하여 최적화 노선 구축 빅데이터라는 단어는 나와는 거리가 멀게 느껴지는 부분 같지만 아주 많은 부분에서 혜택을 받고 있다고 생각합니다. 기본적인 데이터로 검색을 했지만 요즘은 빅데이터인 쳇서비스나 네이버cue ,끝장AI등의 서비스도 일상적으로 많이 활용합니다가장 많이 활용 하는 것 중 버스 오는 시간, 전철 오는 시간 등 실시간 데이터를 활용하여 시간을 절약 하는 일 또한 일상적으로 많이 사람들이 빅데이터를 활용합니다요즘에 네이버 쇼핑몰의 변화로 실감 하는 것은 우리 딸아이가 보는 네이버와 제가 보는 네이버가 다르게 보이는 점입니다. 저 두 가끔은 구지 찾지 않고도 신상 옷을 보고 싶을 때도 있는데 매번 식품만 상단에 보입니다. 무서운 현실은 제가 그걸 보는 순간 냉큼 구매 할때가 많다는 것입니다. 아마존은 빠른 배송을 위해 드론으로 배송을 한다거나 세탁기 옆에 붙은 센서가 세제가 떨어진 줄 알고 자동 주문 구독 서비스를 알아서 하여 세제가 떨어지면 재주문 걱정이 영업자료수집기 없다고 합니다.그럼 우리들은 무엇을 필요로 할까요? 제가 서론에서 말씀드렸다시피 모든게 필요로 인한 발전이라는 것이 저의 핵심 키워드입니다. 요즘 요리하기 싫어하는 사람들을 위해 밀키트 제품이 아주 다양하게 나와 있습니다, 물만 부어 먹는 라면은 이제 하위로 내려 가고 고급진 요리를 에어프라이어에 데우기만 하면 고급 레스토랑 음식이 바로 내 식탁 위에 멋진 밥상이 생깁니다. 이렇게 식품이 발전 되었습니다.AI로 그림도 그리고 노래도 만들고 노래는 왠지 익숙하지만 절대로 표절은 없게 할 수 도 있고 모든지 할 수 있을 것만 같은 이 시대에 어떤 변화가 생길지 이유와 근거를 찾아 보았습니다.의식주 중 해방되지 못한 부분이 일과 교육문제로 자유롭지 못한 것이 바로 주거지라고 생각합니다지난 코로나때 화상으로, 메타버스로, 업무를 가능하게 될 때 느꼈습니다.주거지로 부터 자유로워 지는 시대가 올 수도 있지 않을까? 생각해 보았습니다. 많은 데이터로 업무방법의 발전으로 우리는 주거지의 자유로 더 질 좋은 워라벨 생활을 하면서도 교육, 직장에서 장애를 받지 않고 살수 있는 어떠한 것이 생길수 있다고 예측 해 보았습니다.​그렇게 되면 새로운 혁명이 시작 될지도 모르겠습니다.​