Learn 50

(Lecture 20) Embeddings and Vectorizations

강의 요약: EE542 Lecture 20 - Embeddings and Vectorizations 이번 강의는 **임베딩(Embeddings)**과 **벡터화(Vectorizations)**를 중심으로, 자연어 처리(NLP)와 데이터 표현의 주요 개념과 기술을 다루었다. Word2Vec과 같은 기법을 통해 단어와 문서의 의미를 수치적 벡터로 표현하고, 이를 다양한 NLP 작업에 활용하는 방법이 강조되었다.주요 내용 1. 임베딩의 필요성  • 텍스트를 수치 데이터로 변환해야 머신러닝 모델에 활용 가능.   • One-Hot Encoding:     • 단어를 길이 $N$의 벡터로 표현하며, 단 하나의 값만 1이고 나머지는 0.     • 공간 비효율적이며 단어 간 관계를 표현하지 못함.   • Bag o..

(Lecture 19) Machine Learning 2

강의 요약: EE542 Lecture 19 - Machine Learning 2 이번 강의는 머신러닝의 응용을 확장하여 데이터 수집 및 처리, 센서 기반 학습 모델, 파워 모니터링, 그리고 머신러닝 알고리즘의 실질적 한계와 개선 방향을 다루었다. 특히 클라우드 컴퓨팅 환경에서 에너지 및 열 관리 문제와 같은 실질적인 문제 해결 방안을 제시하였다.주요 내용 1. 도메인 지식과 머신러닝  • 머신러닝 접근법은 도메인 지식과 결합해야 더 나은 성능을 발휘함.   • 기존 데이터 분석 방법:   • 물리적 모델에 의존하였으나, 복잡성과 상관관계 부족으로 한계 존재.   • 현재 머신러닝 접근법:     • 데이터 수집 및 전처리를 통해 모델을 학습.     • 비지도 학습과 지도 학습 모두 활용 가능. 2. 자..

(Lecture 18) Machine Learning

강의 요약: EE542 Lecture 18 - Machine Learning 이번 강의는 머신러닝(Machine Learning) 기술의 기초부터 응용까지 다루며, 데이터 수집, 전처리, 학습 알고리즘, 그리고 실제 응용 사례를 중심으로 설명한다. 특히, 하드웨어 가속기(FPGA)를 활용한 문서 처리와 데이터 분석, 그리고 머신러닝 알고리즘의 한계와 교훈에 대해 다룬다. 인터넷 클라우드 과목에 왠 머신러닝인가 싶지만, 이미 컴퓨터 관련된 모든 과목에서 머신러닝, AI를 빼고는 말하기 힘든 수준에 온것 같다. 어떤 과목이든 한번씩은 언급하게 되는것 같다. 주요 내용 1. 머신러닝의 필요성  • 복잡한 문제 해결을 위해 데이터를 기반으로 학습.   • 실세계 문제를 해결하기 위한 모델 기반 결과 도출.   ..

(Lecture 17) Big Data Processing

강의 요약: EE542 Lecture 17 - Big Data Processing 이번 강의는 빅데이터 처리에 대해 다루며, 대규모 스트리밍 데이터, 네트워크 보안, 문서 분석, 그리고 빅데이터의 패턴 매칭과 문법 기반 파싱과 같은 핵심 주제를 포함했다. 또한, FPGA를 활용한 하드웨어 가속기 설계와 데이터 분석의 미래 방향도 논의되었다.주요 내용 1. 대규모 스트리밍 데이터 처리  • 이미지 및 신호 처리:     • 3D 소나 빔포밍.     • 자동 표적 인식.     • 비디오 스트림 압축.   • 패턴 및 구문 감지:     • 네트워크 침입 탐지.     • 데이터 추출 및 구문 분석.   • 의미 데이터 처리:     • 데이터 분류 및 클러스터링.     • 콘텐츠 기반 라우터 설계. 2..

(Lecture 16) Database in the Cloud

강의 요약: EE542 Lecture 16 - Database in the Cloud 이번 강의는 클라우드 데이터베이스의 개념, 전통적인 데이터베이스와의 차이점, 그리고 SQL과 NoSQL의 비교를 중심으로 클라우드 환경에서 데이터 저장 및 관리의 주요 기술을 다루었다. 특히 ACID와 BASE 모델의 특성, 데이터베이스 확장성 문제, 그리고 다양한 데이터베이스 시스템의 활용 사례가 강조되었다.주요 내용  1. 클라우드 데이터베이스의 주요 활용  • 빅데이터 처리:     • 정보 요약, 의미 분석, 패턴 매칭, MapReduce 활용.   • 데이터 분할 및 관리:     • 데이터 정제, 인덱싱, K-means 클러스터링. 2. 데이터베이스 개념   • 데이터베이스(DB):     • 체계적으로 조직..

(Lecture 15) IIoT Real World Example

강의 요약: EE542 Lecture 15 - IIoT Real World Example 이번 강의는 산업용 사물 인터넷(IIoT) 기술을 실제 사례에 적용한 내용을 다루었다. 특히, **스스로 지속 가능한 IIoT(Self-Sustaining IIoT)**를 구현하기 위한 목표와 기술적 도전 과제, 적용 사례에 대해 설명하였다. 강의는 에너지 수집, 무선 센서 네트워크, 비침습적 데이터 분석, 그리고 실시간 데이터 수집 및 처리에 중점을 두었다. 실례는 교수님이 직접 참여한 프로젝트를 사례로 보여주었다. 해당 프로젝트에 대한 부분은 추후 Paper 정리에서 좀더 자세히 다뤄보겠다.주요 내용 1. 강의 목표  • 현실 세계에서 스스로 지속 가능한 IIoT 구현.   • IIoT를 통해 비용 효율적인 방식..

(Lecture 13) Network with RDMA

강의 요약: EE542 Lecture 13 - Network with RDMA 이번 강의는 Remote Direct Memory Access (RDMA) 기술을 중심으로 클라우드 네트워크 환경에서의 고성능 데이터 전송과 네트워크 성능 최적화에 대해 다루었다. RDMA는 네트워크 병목 현상을 줄이고 CPU 사용률을 낮추는 데 중요한 기술로, 기존 TCP/IP 기반 네트워크와의 차이점 및 주요 응용 사례를 설명한다.주요 내용 1. DMA(Direct Memory Access)와 RDMA의 차이점  • DMA:     • CPU의 개입 없이 메모리와 주변 장치 간 데이터를 전송.     • 주로 로컬 데이터 전송에 사용.   • RDMA:     • 네트워크 상에서 노드 간 직접 메모리 액세스.     • O..

(Lecture 12) Logic, Memory, and Reconfigurable Hardware Accelerators

강의 요약: EE542 Lecture 12 - Logic, Memory, and Reconfigurable Hardware Accelerators 이번 강의는 클라우드 컴퓨팅과 병렬 처리에서 사용되는 로직 연산, 메모리 기술, 그리고 **재구성 가능한 하드웨어 가속기(FPGA)**에 대한 심도 있는 내용을 다루었다. 디지털 로직부터 FPGA의 설계 및 응용까지 폭넓은 주제를 포함한다.주요 내용 1. 디지털 로직의 기본  • AND, OR, NOT 연산:     • Boolean 대수의 기본 연산. AND, OR, NOT 게이트를 활용해 다양한 논리적 기능 구현.   • NAND, NOR, XOR, XNOR 연산:     • 복잡한 로직을 구현하는 기본 게이트.     • NAND와 NOR는 “범용 게이트..

(Lecture 11) Hardware Acceleration in Cloud

강의 요약: EE542 Lecture 11 - Hardware Accelerators in Cloud 이번 강의는 클라우드 환경에서 하드웨어 가속기의 활용을 중심으로, GPU(Graphics Processing Unit), FPGA(Field Programmable Gate Array), 그리고 SIMD(Single Instruction Multiple Data) 아키텍처의 응용과 성능 향상 사례를 다루었다. 이러한 기술은 클라우드의 계산 성능과 에너지 효율성을 극대화하는 데 중요한 역할을 한다.주요 내용  1. 하드웨어 가속기의 필요성  • 빅데이터 처리 및 클라우드 기반 애플리케이션에서 계산 속도를 높이기 위해 하드웨어 가속기를 사용.   • 트레이드오프:     • 속도, 전력 소비, 칩 면적, 비..

(Lecture 10) Uses of Cloud

강의 요약: EE542 Lecture 10 - Uses of Cloud 이번 강의에서는 클라우드 컴퓨팅의 다양한 활용 사례와 핵심 기술을 다루었다. Google, Facebook, Yahoo! 등 주요 IT 기업의 클라우드 활용, Hadoop과 MapReduce 프로그래밍 모델, 데이터 분석 및 클라우드 기반 애플리케이션 개발 사례가 주요 주제였다.주요 내용  1. 클라우드 컴퓨팅의 산업적 활용Google 활용 사례:인덱스 구축: Google Search를 위한 인덱스 구축.기사 클러스터링: Google News에서 기사 클러스터링.통계적 기계 번역: 다양한 언어 간의 번역을 위한 기계 학습 기술 사용.Yahoo!의 활용 사례:인덱스 구축: Yahoo! Search를 위한 인덱스 구축.스팸 탐지: Yah..