BBong's Story

Lab 06 요약: Hadoop과 Spark를 활용한 빅데이터 처리 Lab 06에서는 Hadoop과 Spark를 사용해 대규모 데이터 처리와 분산 컴퓨팅 환경에서의 작업을 실습합니다. 실습은 두 부분으로 구성되며, 첫 번째는 Hadoop을 사용한 HDFS 설정과 MapReduce 작업, 두 번째는 Spark를 사용한 PySpark 프로그램 작성 및 비교 분석입니다.Part 1: Hadoop 설정 및 MapReduce 실습 1. Hadoop 클러스터 구성  • 인스턴스 구성:     • 1개의 NameNode와 3개의 DataNode로 구성된 클러스터 설정.     • 각 인스턴스는 Ubuntu Server 16.04 AMI를 사용.   • 최소 사양:     • 2 vCPU, 4GB RAM, 12GB 디..

강의 요약: EE542 Lecture 9 - Cloud Computing 이번 강의는 클라우드 컴퓨팅의 정의와 특징, 서비스 및 배포 모델, 주요 이점, 그리고 핵심 기술인 Amazon EC2와 Hadoop의 활용 사례를 다룬다. 클라우드 컴퓨팅은 현대 인터넷 인프라와 데이터 처리 기술의 기반으로, 효율적인 자원 활용과 유연성을 제공한다.주요 내용  1. 클라우드 컴퓨팅의 정의  • 클라우드 컴퓨팅은 네트워크를 통해 구성 가능한 컴퓨팅 자원(네트워크, 서버, 스토리지 등)에 편리하게 접근할 수 있는 모델이다.   • 주요 특성:     • 온디맨드(Self-Service): 사용자 요청에 따라 자원을 자동으로 프로비저닝.     • 자원 풀링(Resource Pooling): 멀티테넌트 모델로 여러 사용..