TIL

Spark Standalone으로 설치PySpark 기본 명령어 학습selectshowfiltergroupby등등Spark 다중 클러스터 생성SSH keygen

스파크의 등장 배경- 점점 늘어나는 데이터- 데이터가 늘어나면서 발생하는 다양한 문제- 서버의 증설로 해결 불가능- Hadoop의 등장으로 일부 해소- 하지만, Hadoop의 데이터 처리 속도는 느리고 개발자에게 높은 학습 진입 장벽을 줌 - 빠른 속도로 데이터를 처리할 수 있는 통합형 연산 엔진으로 생성됨스파크 개요- Java & Scala로 만들어짐- JVM 위에서 동작하게 된다.- 빠른 병렬 연산 엔진에 초점을 맞추고 있다.- 특정 저장소를 선호하지 않기 때문에 다양한 저장소와 협업이 가능하다.### 스파크 구성 요소- 스파크 애플리케이션- 스파크 세션- Cluster Manager- Job- Stage- Task

카프카란빠르게 증가하는 Event Data를 처리하기 위해서 생김다양한 데이터가 생성되는 소스들을 하나로 묶는 장점을 가짐통신, 금융, 제조 등 다양한 분야에서 활용됨아키텍처Producer가 Topic으로 데이터를 전달Broker가 데이터를 저장Consumer가 데이터를 꺼내간다.

컴퓨터 공학컴퓨터의 구조CPU + 주기억 장치는 작은 의미의 컴퓨터CPU는 연산 장치 주기억 장치는 저장장치저장 장치에는 RAM, HDD, SSD 등 많이 존재한다.CPUMemory와의 거리가 멀기 때문에 다수의 Cache 메모리를 구축한다.코어를 통해서 하나의 CPU 내부에서 여러가지 일을 하는 것이 가능하다.Memory프로그램은 명령어의 모음이고, 메모리에 올라가지 않은 경우에 부른다.메모리에 프로그램이 올라가게 되면, 프로세스가 된다.메모리는 stack, heap, data, code 영역으로 구분된다.HDD, SSD보고 기억 장치라고 불리며, 물리적으로 데이터가 저장되는 공간이다.여러개의 보조 기억 장치를 묶어서 하나로 인식하는 RAID 기법이 있다.알고리즘 1문제 풀이Stack 관련 문제 풀이

클라우드 컴퓨팅컴퓨팅 서비스를 제공한다.사용자는 컴퓨팅 서비스를 구성하고, 사용한 만큼만 금액을 결제한다.AWS, Google Cloud Service, Azure 등 다양하게 존재한다.장점속도 및 민첩성이 향상된다.비용 절감몇 분만에 전 세계에 배포종량제제공 서비스데이터베이스분석앱 서비스배포 및 관리모바일 서비스컴퓨팅네트워킹스토리

리눅스 고급 사용법 학습프로세스 모니터링명령어 : top, iotop 등Open Source Tool : nagios, cacti, dstat, glances 등스케줄링한번 수행되는 스케줄링 : at 명령어 활용반복적으로 수행되는 스케줄링 : Crontab 활용crontab -e : 스케줄링 수정crontab -l : 구성된 스케줄링 보기사용자 관리사용자 추가 : useradd사용자 정보 수정 : usermod사용자 그룹 관리생성 : groupadd-G를 사용하여서 서브 그룹을 할당할 수 있다.사용자 제한 및 삭제삭제 : userdel계정의 접근을 제한하기 위해서 passwd와 -l 옵션을 통해서 암호를 잠글 수 있다.알고리즘 풀이Queue 자료 구조 관련 문제 풀이