(Lecture 17) Big Data Processing

강의 요약: EE542 Lecture 17 - Big Data Processing

 

이번 강의는 빅데이터 처리에 대해 다루며, 대규모 스트리밍 데이터, 네트워크 보안, 문서 분석, 그리고 빅데이터의 패턴 매칭과 문법 기반 파싱과 같은 핵심 주제를 포함했다. 또한, FPGA를 활용한 하드웨어 가속기 설계와 데이터 분석의 미래 방향도 논의되었다.

---

주요 내용

 

1. 대규모 스트리밍 데이터 처리

  • 이미지 및 신호 처리:

    • 3D 소나 빔포밍.

    • 자동 표적 인식.

    • 비디오 스트림 압축.

  • 패턴 및 구문 감지:

    • 네트워크 침입 탐지.

    • 데이터 추출 및 구문 분석.

  • 의미 데이터 처리:

    • 데이터 분류 및 클러스터링.

    • 콘텐츠 기반 라우터 설계.

 

2. 컴퓨터 네트워크와 데이터 처리

  • 트래픽 모니터링:

    • 패킷 필터링, 분류 및 포렌식.

  • 네트워크 보안 문제:

    • 24/7 원격 공격.

    • 예측할 수 없는 공격 패턴.

  • 일반적인 접근법:

    • 메타 데이터 정리 → 알려진 모델 기반 추상화 → 패턴 검색 → 노이즈 필터링.

3. 딥 패킷 검사 (Deep Packet Inspection, DPI)

  • 공격 탐지:

    • 패킷 페이로드에 내장된 공격 탐지.

    • 정적 헤더 및 동적 페이로드 검사를 통한 침입 탐지.

  • 솔루션:

    • 패킷 정규화와 패턴 매칭을 활용.

 

4. FPGA를 활용한 패턴 매칭

  • FPGA 설계:

    • 직렬 문자열 입력을 처리하여 “ABAB”와 같은 패턴을 매칭.

  • 확장 가능한 패턴 매칭:

    • 파이프라인 아키텍처를 활용하여 복잡한 패턴을 효율적으로 처리.

  • 재사용 가능한 논리 구조:

    • 중복된 서브스트링을 효율적으로 처리하기 위한 논리 재사용.

 

 

5. 문서 및 데이터 분석

  • HTML 및 이메일 데이터 필터링:

    • 불필요한 HTML 태그 및 이메일 헤더 제거.

    • Bloom 필터와 같은 하이브리드 필터 활용.

  • 문법 분석:

    • 컨텍스트 자유 문법(Context-Free Grammar, CFG)을 활용하여 데이터 구조화.

    • 확률적 CFG로 RNA 시퀀스와 같은 복잡한 데이터 처리.

 

6. 빅데이터 응용

  • 인터넷 문서 분석:

    • 소셜 네트워크, 전자 상거래, 테러 데이터 분석.

  • FPGA 기반 플랫폼:

    • 병렬 데이터 처리와 실시간 분석.

    • 100Gbps 이상의 네트워크 응용.

 

7. 연구 방향

  • 저비용 고성능 HW/SW 솔루션 개발.

  • 동적 재구성을 통한 미래 네트워크 연구.

  • 문법 및 파서를 기반으로 한 데이터 처리 시스템.

---

요약

 

이 강의는 빅데이터 처리 기술과 FPGA와 같은 하드웨어 가속기를 활용한 실질적인 데이터 처리 방법을 탐구한다. 네트워크 보안 및 데이터 분석의 발전은 병렬 처리와 확장 가능한 하드웨어 설계로 가능해졌다.