데이터 분석 5

(LAB 07) Final Project Brainstorming and Interviews

Lab 07 요약: Final Project Brainstorming and Interviews Lab 07의 목표는 최종 프로젝트 주제 선정을 위한 브레인스토밍 및 팀 협업, 그리고 인터뷰를 통해 사용자 의견을 수집하여 프로젝트 아이디어를 구체화하는 것입니다. 이번 과제는 IoT 기술, 데이터 분석, 클라우드 서비스의 통합을 포함한 실질적인 문제 해결 솔루션을 설계하고, 팀의 역할 분담과 프로젝트 일정을 초안하는 데 중점을 둡니다.최종 프로젝트 요구 사항 1. Android 기반 IoT 구성:  • 최소 3대의 Android 휴대폰을 IoT 디바이스로 설정하여 센서, 카메라, 또는 마이크를 통해 데이터를 수집. 2. 추가 센서 활용:   • 최소 1개의 추가 센서를 사용하여 데이터를 수집.   • 추가..

(LAB 06) Hadoop and Spark

Lab 06 요약: Hadoop과 Spark를 활용한 빅데이터 처리 Lab 06에서는 Hadoop과 Spark를 사용해 대규모 데이터 처리와 분산 컴퓨팅 환경에서의 작업을 실습합니다. 실습은 두 부분으로 구성되며, 첫 번째는 Hadoop을 사용한 HDFS 설정과 MapReduce 작업, 두 번째는 Spark를 사용한 PySpark 프로그램 작성 및 비교 분석입니다.Part 1: Hadoop 설정 및 MapReduce 실습 1. Hadoop 클러스터 구성  • 인스턴스 구성:     • 1개의 NameNode와 3개의 DataNode로 구성된 클러스터 설정.     • 각 인스턴스는 Ubuntu Server 16.04 AMI를 사용.   • 최소 사양:     • 2 vCPU, 4GB RAM, 12GB 디..

(Lecture 18) Machine Learning

강의 요약: EE542 Lecture 18 - Machine Learning 이번 강의는 머신러닝(Machine Learning) 기술의 기초부터 응용까지 다루며, 데이터 수집, 전처리, 학습 알고리즘, 그리고 실제 응용 사례를 중심으로 설명한다. 특히, 하드웨어 가속기(FPGA)를 활용한 문서 처리와 데이터 분석, 그리고 머신러닝 알고리즘의 한계와 교훈에 대해 다룬다. 인터넷 클라우드 과목에 왠 머신러닝인가 싶지만, 이미 컴퓨터 관련된 모든 과목에서 머신러닝, AI를 빼고는 말하기 힘든 수준에 온것 같다. 어떤 과목이든 한번씩은 언급하게 되는것 같다. 주요 내용 1. 머신러닝의 필요성  • 복잡한 문제 해결을 위해 데이터를 기반으로 학습.   • 실세계 문제를 해결하기 위한 모델 기반 결과 도출.   ..

(Lecture 17) Big Data Processing

강의 요약: EE542 Lecture 17 - Big Data Processing 이번 강의는 빅데이터 처리에 대해 다루며, 대규모 스트리밍 데이터, 네트워크 보안, 문서 분석, 그리고 빅데이터의 패턴 매칭과 문법 기반 파싱과 같은 핵심 주제를 포함했다. 또한, FPGA를 활용한 하드웨어 가속기 설계와 데이터 분석의 미래 방향도 논의되었다.주요 내용 1. 대규모 스트리밍 데이터 처리  • 이미지 및 신호 처리:     • 3D 소나 빔포밍.     • 자동 표적 인식.     • 비디오 스트림 압축.   • 패턴 및 구문 감지:     • 네트워크 침입 탐지.     • 데이터 추출 및 구문 분석.   • 의미 데이터 처리:     • 데이터 분류 및 클러스터링.     • 콘텐츠 기반 라우터 설계. 2..

(Lecture 15) IIoT Real World Example

강의 요약: EE542 Lecture 15 - IIoT Real World Example 이번 강의는 산업용 사물 인터넷(IIoT) 기술을 실제 사례에 적용한 내용을 다루었다. 특히, **스스로 지속 가능한 IIoT(Self-Sustaining IIoT)**를 구현하기 위한 목표와 기술적 도전 과제, 적용 사례에 대해 설명하였다. 강의는 에너지 수집, 무선 센서 네트워크, 비침습적 데이터 분석, 그리고 실시간 데이터 수집 및 처리에 중점을 두었다. 실례는 교수님이 직접 참여한 프로젝트를 사례로 보여주었다. 해당 프로젝트에 대한 부분은 추후 Paper 정리에서 좀더 자세히 다뤄보겠다.주요 내용 1. 강의 목표  • 현실 세계에서 스스로 지속 가능한 IIoT 구현.   • IIoT를 통해 비용 효율적인 방식..