DEV.min

  • 홈

Til 2

240711 Spark 강의

스파크의 등장 배경- 점점 늘어나는 데이터- 데이터가 늘어나면서 발생하는 다양한 문제- 서버의 증설로 해결 불가능- Hadoop의 등장으로 일부 해소- 하지만, Hadoop의 데이터 처리 속도는 느리고 개발자에게 높은 학습 진입 장벽을 줌 - 빠른 속도로 데이터를 처리할 수 있는 통합형 연산 엔진으로 생성됨스파크 개요- Java & Scala로 만들어짐- JVM 위에서 동작하게 된다.- 빠른 병렬 연산 엔진에 초점을 맞추고 있다.- 특정 저장소를 선호하지 않기 때문에 다양한 저장소와 협업이 가능하다.### 스파크 구성 요소- 스파크 애플리케이션- 스파크 세션- Cluster Manager- Job- Stage- Task

TIL 2024.07.11

240705 Kafka 이론

카프카란빠르게 증가하는 Event Data를 처리하기 위해서 생김다양한 데이터가 생성되는 소스들을 하나로 묶는 장점을 가짐통신, 금융, 제조 등 다양한 분야에서 활용됨아키텍처Producer가 Topic으로 데이터를 전달Broker가 데이터를 저장Consumer가 데이터를 꺼내간다.

TIL 2024.07.09
이전
1
다음
더보기
프로필사진

  • 분류 전체보기 (34)
    • IOS (11)
      • Swift (4)
      • SwiftUI (4)
      • UIKit (3)
    • CS (9)
      • 객체지향 (3)
      • OS (2)
    • Data (1)
      • Python (3)
      • SQL (1)
      • DB (1)
      • Docker (2)
    • TIL (6)
    • Algorithm (0)

최근글과 인기글

  • 최근글
  • 인기글

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바