http://github.com/dylang/node-rsssite-lib/media/favicon.pngWebpage HTML Export plugin for ObsidianFri, 24 Jul 2026 08:22:23 GMTFri, 24 Jul 2026 08:22:22 GMT602026_하계_모각코/키야~_~-모각코-활동.html2026_하계_모각코/키야~_~ 모각코 활동.mdFri, 24 Jul 2026 08:22:09 GMT2026_하계_모각코/20260701-모각코-활동-1회차.html2026_하계_모각코/20260701 모각코 활동 1회차.mdFri, 24 Jul 2026 08:21:22 GMT백준
2024_하계_모각코
2024 cnu 2차 학습동아리
2024-25_동계_모각코
2025_하계_모각코
2025-26_동계_모각코
2026_하계_모각코
git&github
AI_study 사실이건아무것도작성한게없다...>_<
ejkiwi_velog ]]>index.htmlindex.mdFri, 24 Jul 2026 08:11:51 GMT2026_하계_모각코/2026_하계_모각코.html2026_하계_모각코/2026_하계_모각코.mdFri, 24 Jul 2026 08:06:59 GMT2026_하계_모각코/20260722-모각코-활동-4회차.html2026_하계_모각코/20260722 모각코 활동 4회차.mdFri, 24 Jul 2026 08:05:53 GMT2026_하계_모각코/20260708-모각코-활동-2회차.html2026_하계_모각코/20260708 모각코 활동 2회차.mdFri, 24 Jul 2026 08:01:48 GMT2026_하계_모각코/20260715-모각코-활동-3회차.html2026_하계_모각코/20260715 모각코 활동 3회차.mdFri, 24 Jul 2026 08:01:31 GMT2025-26_동계_모각코/20260130-모각코-활동-4회차.html2025-26_동계_모각코/20260130 모각코 활동 4회차.mdMon, 23 Feb 2026 00:30:33 GMT2025-26_동계_모각코/20260213-모각코-활동-6회차.html2025-26_동계_모각코/20260213 모각코 활동 6회차.mdMon, 23 Feb 2026 00:29:34 GMThttps://arxiv.org/abs/2111.06377자기지도학습 - 이미지의 일부를 가리고 복원하는 방식으로 표현을 학습하는 방법"This paper shows that masked autoencoders (MAE) are scalable self-supervised learners for computer vision." 이 논문은 마스크 오토인코더(MAE)가 컴퓨터 비전에서 확장 가능한 자기지도학습 모델임을 보입니다. #MAE #maskedautoencoder #scalable 핵심 키워드는 "scalable" — SimCLR이 "simple"을 강조했다면, MAE는 "크게 키워도 잘 된다"는 확장성을 강조함"Our MAE approach is simple: we mask random patches of the input image and reconstruct the missing pixels." 우리의 접근법은 단순합니다: 입력 이미지의 랜덤 패치를 마스킹하고 빠진 픽셀을 복원합니다. NLP의 BERT와 유사한 발상 — BERT는 단어를 마스킹하고 예측, MAE는 이미지 패치를 마스킹하고 복원. 개념적으로는 단순하지만 구현에서 핵심적인 설계 선택들이 있음"First, we develop an asymmetric encoder-decoder architecture... Second, we find that masking a high proportion of the input image, e.g., 75%, yields a nontrivial and meaningful self-supervisory task." 두 가지 핵심 설계: 비대칭 인코더-디코더: 인코더는 보이는 패치만 처리 (마스크 토큰 없음), 디코더는 가볍게 높은 마스킹 비율(75%): 이미지 중복성이 높기 때문에, 쉬운 task가 되지 않으려면 많이 가려야 함 논문이 이 질문에 직접 답하는 게 인상적임. 세 가지 이유를 제시:아키텍처 차이 — 기존엔 CNN이 주류라 마스크 토큰 같은 개념을 삽입하기 어려웠음. ViT 등장으로 해결됨정보 밀도 차이 ← 이게 핵심! 언어: 단어 하나하나가 semantic하게 밀도 높음. 몇 개만 가려도 어려운 task 이미지: 공간적 중복성이 매우 높음. 옆 픽셀에서 쉽게 추측 가능 → 해결책: 아주 많이 가리기 (75%) 디코더의 역할 차이 BERT 디코더: 의미 있는 단어를 예측 → 간단한 MLP로도 충분 MAE 디코더: 픽셀값을 복원 → 낮은 semantic 수준, 디코더 설계가 중요해짐 인코더 (무거움) 보이는 패치(25%)만 처리 → 마스크 토큰 없음 표준 ViT 구조 사용 포지셔널 임베딩 추가 디코더 (가벼움) 인코더 출력 + 마스크 토큰을 모두 받아서 처리 인코더보다 훨씬 작음 (FLOPs 기준 ~9% 수준) Pre-training 때만 사용 → fine-tuning 시엔 버림 왜 이 설계가 효율적인가? 인코더가 전체 패치의 25%만 처리하니 연산량이 대폭 줄어듦. 논문 실험 기준 3× 이상 학습 속도 향상손실 함수는 MSE (Mean Squared Error) — 마스킹된 패치에 대해서만 계산 (BERT와 동일한 방식)흥미로운 변형: 패치별 정규화(normalized pixels) 각 패치의 픽셀값을 해당 패치의 평균/표준편차로 정규화해서 예측 target으로 사용 로컬 대비(local contrast)를 강화 → 실험 결과 성능 향상 토큰 기반 방법(BEiT 등)과 비교했을 때 픽셀 기반도 충분히 좋거나 더 나음 → 복잡한 tokenizer 없이도 잘 된다는 게 MAE의 강점마스킹 비율의 영향 (Figure 5) fine-tuning: 40~80% 범위에서 전반적으로 잘 됨, 75%가 sweet spot linear probing: 비율이 높을수록 꾸준히 향상. 75%가 최적 BERT의 15%와 대조적으로 이미지에선 왜 75%가 필요한지 직접 실험으로 보여줌 주요 성능 (Table 3) ViT-H로 ImageNet-1K에서 87.8% top-1 달성 — IN1K 데이터만 사용한 방법 중 최고 supervised pre-training보다 transfer learning 성능도 좋음 학습 효율 BEiT보다 3.5× 빠름 (인코더에서 마스크 토큰 제거 덕분) MoCo v3보다 적은 epoch에서 더 높은 성능 data augmentation 의존도 차이가 흥미로움. SimCLR은 crop+color distortion 조합이 없으면 성능이 크게 떨어지는데, MAE는 random masking 자체가 augmentation 역할을 하기 때문에 크게 의존하지 않음.MAE = "이미지의 75%를 가리고 복원하는 task를 통해, 라벨 없이도 지도학습을 능가하는 표현을 학습한다. 핵심은 비대칭 구조로 빠르게, 높은 마스킹 비율로 어렵게." 코드 구현 시 rotation 기반과의 가장 큰 차이는 task의 성격 — rotation은 분류(4-class), MAE는 픽셀 복원(regression+MSE)이라는 점, 그리고 아키텍처도 ViT 기반이어야 패치 단위 마스킹이 자연스럽다는 점이 구현에서 핵심 고려사항이 될 것 같음!]]>2025-26_동계_모각코/20260206-모각코-활동-5회차.html2025-26_동계_모각코/20260206 모각코 활동 5회차.mdWed, 18 Feb 2026 06:35:20 GMT2025-26_동계_모각코/20260116-모각코-활동-2회차.html2025-26_동계_모각코/20260116 모각코 활동 2회차.mdWed, 18 Feb 2026 06:30:25 GMThttps://arxiv.org/pdf/2002.05709자기지도학습 - 라벨 없이도 좋은 이미지 표현을 학습하기위한 방법들 중 한 방식으로서 나온 아이디어같은 이미지를 두 번 다르게 변형 같은 이미지에서 나온 두 버전 → 비슷하게 다른 이미지에서 나온 두 버전 → 다르게초록 분석 “This paper presents SimCLR: a simple framework for contrastive learning of visual representations.” 이 논문은 SimCLR을 제안합니다: 시각적 표현의 대조 학습을 위한 간단한 프레임워크 #SimCLR #contrastivelearning #simple 논문의 contribution은 “간단하면서도 효과적인” 방법!“We simplify recently proposed contrastive self-supervised learning algorithms without requiring specialized architectures or a memory bank.” 우리는 최근 제안된 대조 자기지도학습 알고리즘들을 단순화했으며, 특수한 구조나 메모리 뱅크가 필요없습니다. 기존 방법의 문제점 지적 ∙ Specialized architectures: 특별히 설계된 복잡한 네트워크 ∙ Memory bank: 이전 데이터를 저장하는 큰 메모리 (MoCo, InstDisc 등이 사용) - 이전에 계산한 feature들을 저장해두는 큰 저장소. 메모리 많이 먹고 구현 복잡함 ∙ SimCLR은 이런 거 없이도 잘 된다란 말임“In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework.” 대조 예측 과제가 유용한 표현을 학습하게 만드는 요인을 이해하기 위해, 우리는 프레임워크의 주요 구성 요소들을 체계적으로 연구했습니다. ∙ 이 논문의 방법론적 기여… 단순히 “이게 잘 되더라”가 아니라 → “왜 잘 되는지“ 분석 ∙ “systematically study” = Ablation study (소거 실험)를 많이 했다는 뜻 → 이 논문의 강점! 각 구성요소의 영향을 실험으로 증명 ( Ablation study : )“We show that (1) composition of data augmentations plays a critical role…, (2) introducing a learnable nonlinear transformation… substantially improves…, and (3) contrastive learning benefits from larger batch sizes and more training steps…” 우리는 다음을 보였습니다: 1. 데이터 증강의 조합이 중요한 역할을 함 2. 학습 가능한 비선형 변환을 도입하면 성능이 크게 향상됨 3. 대조 학습은 큰 배치 크기와 더 많은 학습 단계로부터 이득을 봄 이 논문의 핵심 기여 3가지를 미리 요약! 발견 (1): 데이터 증강 ∙ “composition” = 여러 개를 조합하는 것 ∙ Critical role = 매우 중요함 ∙ 특히 crop + color distortion 조합 발견 (2): Projection head ∙ “nonlinear transformation” = MLP (비선형 신경망) ∙ “between representation and loss” = 표현 h와 손실 함수 사이에 삽입 ∙ Substantially improves = 엄청 좋아짐 (실제로 10%+ 향상) 발견 (3): 학습 설정 ∙ Larger batch sizes = 4096 이상 ∙ More training steps = 1000 epochs ∙ “compared to supervised learning” = 지도학습보다 더 필요함“By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet.” 이러한 발견들을 결합하여, 우리는 ImageNet에서 자기지도학습과 준지도학습에 대한 이전 방법들을 크게 능가할 수 있었습니다. 평가 데이터셋 ImageNet (가장 널리 쓰이는 벤치마크)으로 두 가지 세팅에서 테스트: ∙ Self-supervised: 라벨 전혀 안 씀 ∙ Semi-supervised: 라벨 조금만 씀 (1%, 10%) (구체적 성능) “A linear classifier trained on self-supervised representations learned by SimCLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-of-the-art, matching the performance of a supervised ResNet-50.” SimCLR이 학습한 자기지도 표현에 선형 분류기를 학습시키면 76.5% top-1 정확도를 달성하며, 이는 이전 최고 성능 대비 7% 상대적 향상이고, 지도학습 ResNet-50의 성능과 동등합니다. Linear evaluation 학습된 feature를 고정 (freeze)하고 그 위에 간단한 선형 분류기만 학습하는건데 Feature의 품질을 측정하는 표준 방법임 ∙ “matching supervised ResNet-50” ∙ 엄청난 의미! 라벨 없이도 지도학습과 같은 성능!(Semi-supervised 성능) “When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100× fewer labels.” 한글: 라벨의 1%만으로 fine-tuning 했을 때, 우리는 85.8% top-5 정확도를 달성하며, 이는 100배 적은 라벨로 AlexNet을 능가합니다. ∙ 1% labels = ImageNet의 1%만 라벨 사용 ∙ Top-5 accuracy = 상위 5개 예측 중 정답이 있으면 맞음 ∙ AlexNet: 100% 라벨 필요 ∙ SimCLR: 1% 라벨로 더 좋은 성능 ∙ 라벨링 비용을 100배 줄일 수 있다! 왜 AlexNet과 비교? ∙ AlexNet은 2012년 ImageNet 우승 모델이어가지고 딥러닝 역사에서 중요한 baseline이엇음.]]>2025-26_동계_모각코/20260123-모각코-활동-3회차.html2025-26_동계_모각코/20260123 모각코 활동 3회차.mdWed, 18 Feb 2026 03:17:56 GMTlgaimers/대회-기록.htmllgAimers/대회 기록.mdWed, 11 Feb 2026 06:05:31 GMT2025-26_동계_모각코/20260110-모각코-활동-1회차.html2025-26_동계_모각코/20260110 모각코 활동 1회차.mdWed, 11 Feb 2026 05:48:58 GMTlgaimers/강의수강_chapter02.htmllgAimers/강의수강_chapter02.mdFri, 16 Jan 2026 07:48:59 GMT2024 cnu 2차 학습동아리 실습코드24년 여름방학 모각코(모여서 각자 코딩) 활동에서 처음 만나 각자 인공지능 기초 공부를 진행했었는데, 이번에는 한 단계 더 나아가 실제로 음성 데이터를 다루는 인공지능 모델을 직접 구현해보자는 목표를 가지고 또 참여하게 되었다. 최종 목표: 여러 최적화 방법을 도입하여 성능을 높인 음성 분류 모델 구현 세부 목표: 음성 데이터 전처리 방법 익히기 CNN, ResNet 등 다양한 딥러닝 모델 실습 모델 성능 최적화 기법 학습 및 적용 최대한 높은 정확도 달성 원본 음성 → 전처리 → MFCC 변환 → Zero Padding → 모델 입력 CNN: 기본적인 합성곱 신경망 ResNet: Skip Connection으로 깊은 네트워크 학습 가능 데이터 증강 적절한 손실 함수와 옵티마이저 선택 정규화 기법 (Dropout, Batch Normalization) 하이퍼파라미터 튜닝 레이블 인코딩 문제 해결 과적합 문제 인식 및 대응 문제: 훈련 데이터에서는 잘 작동하지만 실제 정확도 3% 해결: 모델 구조 변경, 정규화 기법 적용, 하이퍼파라미터 조정 PyTorch 버전 호환성 문제 해결 레이블 인코딩 문제 문제: 문자열 레이블로 인한 훈련 오류 해결: 레이블 매핑 딕셔너리 생성하여 숫자로 변환 지금 생각해보면 예제 코드에 많이 의존했던 점이 아쉽다. 좀 더 스스로 구현해보고 싶었지만 역량이 많이 부족했던 것 같다. 실습 활동을 하면서 생각보다 오류가 많이 났고, 생각보다 스스로 그 오류를 해결할 수 있는 힘이 있음을 느낄 수 있었다. 그동안 인공지능 공부가 내가 하기에 엄청 어렵다는 생각에 주저했으나 그동안 내 의지의 문제였던 것 같다.]]>2024-cnu-2차-학습동아리/회고.html2024 cnu 2차 학습동아리/회고.mdFri, 16 Jan 2026 07:12:08 GMTlgaimers/lgaimers.htmllgAimers/lgAimers.mdWed, 14 Jan 2026 01:28:19 GMTlgaimers/강의수강_chapter01.htmllgAimers/강의수강_chapter01.mdTue, 13 Jan 2026 15:31:26 GMT2025-26_동계_모각코/20251216-모각코-활동-0회차.html2025-26_동계_모각코/20251216 모각코 활동 0회차.mdSun, 28 Dec 2025 16:17:38 GMT2025-26_동계_모각코/강낭콩자반슨-모각코-활동.html2025-26_동계_모각코/강낭콩자반슨 모각코 활동.mdSun, 28 Dec 2025 16:16:20 GMT2025_하계_모각코/뿌가각-모각코-활동.html2025_하계_모각코/뿌가각 모각코 활동.mdSun, 28 Dec 2025 14:19:22 GMT2025-26_동계_모각코/2025-26_동계_모각코.html2025-26_동계_모각코/2025-26_동계_모각코.mdSun, 28 Dec 2025 14:17:05 GMTai_study/뭔차이지.htmlAI_study/뭔차이지.mdSun, 28 Dec 2025 14:16:00 GMT Decoder만 쓰는 GPT가 어캐 번역을 하지.. 라고 생각할 수 있겟으나!! 입력 안에 번역해줘~ 라는 토큰이 들어온다면 가능할 수 잇다아~ Auto-regressive generation how are you <to-fr> : 입력 문장 (마지막 토큰<to-fr>이 작업 명령임) Transformer-Decoder : 예측을 계산하는 모델 본체 Time step #1 지금까지의 입력을 보고, 첫 번째 단어의 위치인 Position 4 (즉, <to-fr> 바로 다음 위치)에 해당하는 단어를 예측. "Comment"라는 단어 출력 Time step #2 현재 time step #1 에 해당하는 "Comment"까지 기억하고 있음. 그 다음 "allez-vous" 단어 예측, 출력
요약 입력 : 긴 문서 내용 (예: 위키피디아 문장들) + <summarize> 토큰 출력 : 그 문서에 대한 요약문 <summarize> = "요약해줘"라는 신호 Encoder만 사용 지피티니핑처럼 왼쪽 -> 오른쪽 이렇게 한 방향만 바라보는 것이 아님. 양방향을 바라봄. 보통 한 단어를 768차원 벡터로 표현 pretraining Masked language model : 토큰의 15%를 masking처리, 그 자리에 들어갈 적절한 단어를 예측하며 훈련받음 (예) Let’s stick to [MASK] in this skit → [MASK] = improvisation Next Sentence Prediction : 두 문장을 보고, 두 번째로 온 문장이 첫 번째 문장의 다음 문장이 진짜 맞을지!! 를 맞추며 훈련받음 FFNN + Softmax FFNN : 완전 연결층 feed forward neural network 벡터 → 의미 있는 값(확률) [MASK]위치를 예측한 출력 벡터 V가 있다구 치며는 V는 문맥을 이해한 벡터이지만, 이게 그래서 먼 단어인지는 알 수 없음. 이 때, FFNN을 통과 : FFNN: 768차원 → vocab 크기 (예: 30,000개) 모든 단어들(vocab) 중에서 어떤 게 가장 어울리는지 점수 매김 FFNN을 통과한 V를 Softmax 함수에 넣어서 확률로 바꿈 fine-tuning과 cls 토큰 [CLS]토큰 : 맨 앞 [CLS]의 출력 벡터는 전체 문장의 의미 요약 벡터가 됨. [CLS] 벡터를 기반으로 결과를 내는 출력층만 새로 추가 그 전체를 새로운 태스크에 맞게 재학습 => fine-tuning
분류 작업에서의 fine-tuning
Sentence Pair Classification 핑크벡터들 : 텍스트 토큰 단위들 입력 텍스트의 토큰화 결과 ( 아직 임베딩 안 됨 ) 아직 숫자로 바뀌기 전 순수한 단어/기호 상태 노랑벡터들 : 입력 임베딩 벡터들 BERT 인코더에 들어가기 직전 입력 준비 완료! Eᵢ : 단어에 대한 임베딩 Token Embedding + Segment Embedding + Position Embedding E[CLS]: [CLS] 토큰에 대한 입력 임베딩 E[SEP]: 문장 구분자에 대한 임베딩 Sentence 1 + [SEP] + Sentence 2 : [SEP]을 통해 두 문장을 하나로 연결 초록벡터들 : 출력 벡터들 BERT인코더를 거친 후 나온 최종 출력 벡터들 C : BERT 출력 중 [CLS]에 해당하는 벡터 (문장쌍 전체 의미 요약) T₁, T₂, ..., T'ₘ: 각 토큰의 출력 벡터 → 문맥을 고려한 의미 벡터 노랑 벡터에서처럼 단어의 고립된 의미가 아니라, 주변 문맥을 보고 의미가 조정된 결과 🔤 핑크색 = "텍스트" 단어 🔢 노란색 = "벡터"로 바뀐 단어 (Embedding Layer 출력) 🧠 초록색 = 문맥 고려한 최종 의미 벡터 (Encoder 출력)
Question Answering 입력 : [CLS] 질문 토큰들 [SEP] 지문(답) 토큰들 [SEP] Start/End Span : 입력이 들어왔을 때, 어디부터 어디까지가 답일까?를 고르는 것. 각 토큰별로.. 시작 위치일 확률 계산 하나 끝 위치일 확률 계산 하나 두 개의 linear layer 사용 softmax를 통해 확률 분포 만들기 -> 가장 확률이 높은 시작/끝 고름 어디에서 학습할 것인가? 사용자의 데이터를 중앙 서버로 모아서 학습하지 않고, 개별 디바이스에서 모델을 학습하는 방식. 학습된 결과( 모델의 가중치나 업데이트 정보 )만 중앙 서버로 보내게 되는데, 이 때 중앙서버에서는 데이터를 취합 후 더 개선된 공통 모델을 생성하는 과정을 거침. 그리고 그 개선된 모델은 다시 사용자들에게 배포됨!! 관련 개념 ( 어디에서 학습할 것인가? ) 중앙 집중 학습 : 모든 데이터를 중앙 서버로 집합 분산 학습 : 모델 학습을 여러 서버에서 수행 후 결과를 병합 연합 전이 학습 : 연합학습 + 전이학습 -> 서로 다른 기관 간 데이터를 공유하지 않고 협력 학습...? 스완슨 학습 : 블록체인 사용하여 중앙서버 없이 학습 어떻게 학습할 것인가? 특징을 자동으로 추출할 수 있도록 학습하는 과정을 뜻함. SELF FEATURE EXTRACT 데이터만 제공하면 그 데이터로부터 핵심 정보를 추출해낼 수 있고 기계 스스로 배워내는 학습 과정을 뜻함. 지도학습이될수도있구 비지도학습이될수도있구 자기지도학습이될수도있어 뭐 다.. 섞이는거지 어떻게 학습할 것인지에 대한 개념들이니까!!!! 관련 개념 ( 어떻게 학습할 것인가? ) 지도 학습 : 입력 데이터와 정답이 있는 상태 ( 사람이 직접 라벨을 떠먹여 줌. ) YES LABEL 비지도 학습 : 데이터의 라벨 없이 "패턴" 학습 ( 클러스터링 느낌 ) NO LABEL 자기지도 학습 : 데이터에서 일부 정보 숨기고 이를 예측하도록 학습 ( 데이터 자체에서 스스로 라벨을 "만들도록" 함 ) NO LABEL, GENERATE LABEL 전이 학습 : 미리 학습된 모델을 새로운 문제에 적용. RECYCLE 어떤 데이터를 다루는가? domain : 특정 데이터 소스 또는 모델이 작동하는 환경 이미지 vs 음성 domain shifts : 훈련은 A사용자의 이메일로 스팸 필터링을 했다가, 실제 사용은 B사용자의 이메일로 스팸 필터링을 하는 것. task : 모델이 해결하거나 달성해야하는 문제 또는 목표 -> 이 데이터를 가지고 무엇을 할 것인가? domain adaptation? diffusion model? encoder-decoder -> 입출력 크기를 같게. 가중치를 한 번 업데이트 할 때 동시에 사용하는 독립적인 데이터 샘플(llm에서는 문장의 개수)배치 1 [ 값1, 값2, 값3 ] 배치 2 [ 값1, 값2, 값3 ] 배치 3 [ 값1, 값2, 값3 ] ↓ ↓ ↓ 각 열마다 정규화 # Batch Norm 없을 때: 배치1(나는): [0.1, 100.0, 0.2] 배치2(너는): [0.2, 120.0, 0.3] 배치3(내가): [0.15, 110.0, 0.25] # 문제: 차원2(100.0, 120.0, 110.0)가 너무 큰 값 → 이 차원에 "치중"됨 → 이 차원의 "비중(가중치)"이 너무 큼 → 다른 차원들의 영향력이 무시됨 # Batch Norm 후: 배치1(나는): [-1.0, -1.0, -1.0] 배치2(너는): [ 1.0, 1.0, 1.0] 배치3(내가): [ 0.0, 0.0, 0.0] # 해결: 모든 차원이 비슷한 범위 → 어떤 차원에도 "치중"되지 않음 → 모든 차원의 "비중(가중치)"이 균형있게 됨 → 모든 차원이 공평하게 기여함 배치1의 값1, 배치2의 값1, 배치3의 값 -> 평균 0 -> 분산1로 맞춰주는 것.배치 1 [ 값1, 값2, 값3 ] ← 이 3개를 정규화 배치 2 [ 값1, 값2, 값3 ] ← 이 3개를 정규화 배치 3 [ 값1, 값2, 값3 ] ← 이 3개를 정규화 ←─────────────→ 각 행마다 정규화 Word Embedding은 단순 숫자가 아니라 의미 표현 공간이라는 것! Language Model이 분류 문제 구조로 작동한다는 것! 위치 인코딩 벡터는 단어 임베딩 벡터와 같은 차원으로 만들어져 element-wise 덧셈 방식으로 추가된다는 것! 임베딩 = "토큰을 숫자로 표현한 벡터" (discrete → dense vector // 고차원 -> 저차원) 인코딩 = "어떤 정보(단어, 문장 등)를 벡터로 표현한 결과" (정보 구조 → 표현 벡터) "위치"는 그 둘의 경계에 있는 예외 케이스라서 둘 다 쓰임... ( 위치 인코딩/임베딩 ) 단어 임베딩 벡터는 단순히 고정된 변환이 아니라 의미를 학습하는 파라미터라는 것! layer norm batch norm은 텐서가 있다고 하면 세로로 정규화 하고 layer norm은 텐서가 있다고 하면 가로로 정규화 하는 느낌 (n, m) 텐서가 있다면...! Batch Norm: 각 m 특성마다 n 샘플의 평균/분산으로 정규화 Layer Norm: 각 n개의 샘플마다 m 특성의 평균/분산으로 정규화 LLM의 임베딩 공간 => LATENT SPACE]]>ai_study/궁금햇던것들-모음.htmlAI_study/궁금햇던것들 모음.mdSun, 28 Dec 2025 14:14:00 GMT<figure><img src="https://ejkiwi.github.io/lib/media/GPT1.png"></figure> 저 사진에서.P(w문맥어(주변단어) | w중심어) 간의 확률을학습하는 과정 안에서 단어의 의미 벡터가 만들어 진 것. 주변 문맥으로 학습한 결과 => 단어 의미하는 의미 벡터 ( 얘는 주변 문맥을 잘 예측하는 방향으로 조정되었음. ) 요즘에는 거의 Embedding을 학습하는 게 모델 학습 그 자체로서의 역할을 하도록 다른 모델에 포함시켜서 사용된다...!("Word2Vec은 단어를 의미 있는 벡터로 만드는 임베딩 학습기법이고, 이 결과를 다른 NLP Task를 수행하는 데 이용한다! -> 지도학습! downstream task개념 기억나지?? downstream을 수행하기 위해서 다른 걸로 돌려버리잔아...!!!! ") 물론! rnn이면 시간 순서를 기억하니 ㄱㅊ 할지도.. 긏만??? self-attention과 transformer는 어캐할것이냐?? 이녀석들은 모든것들을 한 번 에!!! 처리를한다고!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!그러면 뭐 apple이 love 앞ㅍ에나오ㅑㅅ는디뒤에나ㅗ왓는디저어캐아냐구그래서!! token의 위치 정보 또한 숫자로 표현해서 데이터로 가지고 잇어야해!!! 필요한 것 연속적으로 자연스럽게 변하는 값이 필요 ( 그냥 숫자 1 2 3 주면 부드럽게 순서 관계를 인식하기 어려움 ) 멀어질수록 값이 달라지고 가까울수록 값이 비슷하게 나와야 함
짝수 차원에는 sin 함수를, 홀수 차원에는 cos 함수 사용. 잘 보면 sin과cos에 들어가는 녀석들이 매우 복잡함 각 차원(frequency)이 다 다르게 움직이고, Sin, Cos도 교차로 쓰고 주기도 다르게 걸어놨음. 갱장히..갱장히...머...어찌저찌... 저찌저ㅉㅣ 해서 멀어질수록 값이 달라지고 가까울수록 값이 비슷하게 나오도록 함수를 설계하셧대요 그 이상은... 이해포기
"단어가 문장에서 나오는 순서" 그대로 Y축에 1줄씩 차곡차곡 올라간 것... 그리고 y 축에는 단어 순서에 대한 의미를 가진 벡터가 들어감.... 벡터 1번째 칸~ 128번째 칸 까지 단어를 의미 임베딩(Embedding)한다 (ex: students → [벡터] 단어 순서(Positional Encoding) 벡터를 만든다 (0번 단어용 벡터, 1번 단어용 벡터 등) 두 벡터를 더한다 (Element-wise Sum) 의미 + 순서 둘 다 반영된 최종 벡터 완성 Transformer Encoder로 넣는다|(Self-Attention 계산 시작!) batch 1에서의 문장 하나[ [[나:임베딩값],[는:임베딩값],[빵:임베딩값],[이다:임베딩값]]-> batch0 ] 이 때의 shape : ( 1, 4, 임베딩dim )batch n에서의 문장 n개[ [[나:임베딩값],[는:임베딩값],[빵:임베딩값],[이다:임베딩값]], -> batch0 [[빵:임베딩값],[좋아:임베딩값],[pad],[pad]], -> batch1 [[너:임베딩값],[밥:임베딩값],[이니:임베딩값],[?:임베딩값]], -> batch2 . . . [[아니:임베딩값],[빵:임베딩값],[이다:임베딩값],[!:임베딩값]] -> batch n ] 이 때의 shape : ( n, max_token:4, 임베딩dim )[ [[나:임베딩값],[는:임베딩값],[빵:임베딩값],[이다:임베딩값],[sep], [빵:임베딩값],[좋아:임베딩값],[pad],[pad],[sep], [너:임베딩값],[밥:임베딩값],[이니:임베딩값],[?:임베딩값],[sep], [아니:임베딩값],[빵:임베딩값],[이다:임베딩값],[!:임베딩값]], ] sep토큰을 쓸 때는 sep토큰을 처리하고, 다음 문장의 첫 번째 토큰을 입력받기 직전에 은닉 상태를 초기화해야 함(두 번째 문장이 마치 배치를 사용하는 상황에서의 다른 문장처럼 독립적인 상태에서 시작할 수 있도록 하기 위함) 문장의 길이를 seq_length라고 한다. 모델에 들어가는 아키텍처 기준으로는 max_token만큼의 길이가 들어감 [ [빵], [좋아], [pad], [pad] ] : seq_length2 max_token4 임베딩값 = [ 값1 , 값2 , .... , 값512 ] 각 토큰을 값 512개로 표현 ->embedding dim이 512 내 생각대로, 당연하게도, linear layer는 마지막 임베딩값 기준으로 계산되는것이 맞음.각 배치마다 하나의 문장 넣은 경우 입력이 : ( 3, 4, 512 ) # 3개의 문장 # 각 4개토큰 # 각 토큰 512차원 표현[ [[나:임베딩값],[는:임베딩값],[빵:임베딩값],[이다:임베딩값]], -> batch0 [[빵:임베딩값],[좋아:임베딩값],[pad],[pad]], -> batch1 [[너:임베딩값],[밥:임베딩값],[이니:임베딩값],[?:임베딩값]], -> batch2 ] batch 0의 토큰 0: [512차원] -> Linear -> [30000차원] batch 0의 토큰 1: [512차원] -> Linear -> [30000차원] batch 0의 토큰 2: [512차원] -> Linear -> [30000차원] batch 0의 토큰 3: [512차원] -> Linear -> [30000차원] batch 1의 토큰 0: [512차원] -> Linear -> [30000차원] . . batch 2의 토큰 3: [512차원] -> Linear -> [30000차원] ... (총 3×4=12개 토큰 각각 처리-> 물론 미니 배치를 쓰면 각 배치n개를 한번에 처리할 수 있음.) sep으로 여러개의 문장을 묶은 경우 입력이 : ( 1, 14, 512 ) # 3개의 문장 # 각 4개토큰 # 각 토큰 512차원 표현[ [[나:임베딩값],[는:임베딩값],[빵:임베딩값],[이다:임베딩값],[sep], [빵:임베딩값],[좋아:임베딩값],[pad],[pad],[sep], [너:임베딩값],[밥:임베딩값],[이니:임베딩값],[?:임베딩값] ] 토큰 0: [512차원] -> Linear -> [30000차원] 토큰 1: [512차원] -> Linear -> [30000차원] . . 토큰 14: [512차원] -> Linear -> [30000차원] (총 1x(4+1sep+4+1sep+4)=14개 토큰 각각 처리) 둘 다 각 토큰의 표현을 512차원에서 30000차원으로 늘렸음.그리고 이 계산은 시간흐름 t마다 각 배치들이 모두 병렬 처리 됨. t=1 -> 배치0의 첫번째 + 배치1의 첫번째 + 배치2의 첫번째 t=2 -> 배치0의 두번째 + 배치1의 두번째 + 배치2의 두번째 t=3 -> 배치0의 세번째 + 배치1의 세번째 + 배치2의 세번째]]>ai_study/토큰이라....htmlAI_study/토큰이라....mdSun, 28 Dec 2025 14:11:27 GMT<figure><img src="https://ejkiwi.github.io/lib/media/word2vec.png"></figure>ai_study/ai_study.htmlAI_study/AI_study.mdThu, 11 Sep 2025 12:19:15 GMT 입력이 0보다 크면 그대로 출력, 0 이하면 0 출력 비선형 함수로 딥러닝에서 가장 많이 사용됨 Gradient Vanishing 문제 완화 → 역전파 시 기울기가 0이 되는 문제가 적음 계산량이 적음 → 곱셈 연산 없이 비교만 하면 됨! ================================= 음수 입력은 항상 0으로 출력되기 때문에, 뉴런이 완전히 죽어버릴 수도 있음. 이걸 해결하기 위해 변형된 ReLU들이 등장 Leaky ReLU : x<0일 때도 작은 기울기(α)를 유지. 보통 α = 0.01 정도로 설정 음수 영역을 조금이라도 학습할 수 있도록 함. PReLU : α를 고정된 값이 아니라 학습 가능하게 만든 것

출력 범위: (0,1) 값이 0~1 사이로 정규화되어 확률처럼 해석할 수 있음 이진 분류(Binary Classification)에 사용 → YES/NO 같은 문제에서 확률을 예측할 때 유용 값 하나를 입력받아서(x) 하나의 값만 출력 ================================== Gradient Vanishing 문제 시그모이드 함수는 미분하면 최대값이 0.25 역전파(Backpropagation)애서 기울기를 전파하고, 이를 이용해서 가중치를 업데이트하는데, 기울기가 너무 작아지면 가중치가 거의 업데이트되지 않아서 학습이 잘 안됨. 출력 값이 0이나 1에 가까워질수록 기울기가 0에 가까워짐 네트워크가 깊어질수록 학습이 어려움 → 그래서 최근에는 거의 안 쓴다.
시그모이드의 자식 로지스틱 함수(시그모이드함수)의 다차원 일반화 다차원 일반화? : 여러개의 클래스에 적용 가능 여러 개의 입력값 (x1,x2,x3,...)을 받아서 각 클래스별 확률을 출력 출력 값의 총합이 항상 1 → 확률 분포처럼 해석 가능 각 클래스에 대한 상대적인 확률 계산 값이 클수록 확률이 높게 나옴 (ex: 고양이, 개, 말 중에서 하나를 예측) 다중 클래스 분류(Multi-class Classification)에 사용 여러 개의 클래스를 예측해야 할 때, 각각의 확률을 출력 ================================== 한 클래스의 확률이 높아지면, 나머지 확률이 급격히 줄어듦 큰 값이 들어오면 출력이 급격히 한쪽으로 치우칠 수 있음. Cross-Entropy Loss와 함께 사용해야 안정적인 학습 가능 단순한 MSE 같은 손실 함수를 쓰면 학습이 어렵다.

시그모이드의 자식 로지스틱(시그모이드) 함수를 평행이동하고 상수 곱한것과 동일 출력 범위: (-1,1) 시그모이드와 비슷하지만, 출력값이 영점을 중심으로 대칭 평균이 0에 가까워서 Gradient Vanishing 문제 완화 은닉층에서 주로 사용됨 시그모이드보다 더 나은 성능을 보임 ================================= 여전히 Gradient Vanishing 문제 존재 값이 -1 또는 1에 가까워지면, 미분값이 0에 가까워짐 깊은 네트워크에서는 사용하기 어려움 → 요즘은 ReLU 계열을 더 많이 쓴다.
OPTIMIZER 손실 최소화를 위해 가중치 업데이트를 하는 데 사용 확률적 경사 하강법 가중치를 업데이트할 때, 전체 데이터가 아니라 일부만 사용 계산 속도를 빠르게 하기 위해 배치(Batch) 단위로 업데이트 SGD는 랜덤 샘플을 사용하기 때문에 최적값 주변에서 흔들리는 경향이 있음 이걸 해결하기 위해 Momentum, Nesterov Accelerated Gradient (NAG) 같은 기법 추가 ⚠️ 지역 최소값(Local Minima)에 빠질 수 있음 학습 속도가 느릴 수 있음 기울기 방향이 항상 최선이 아니기 때문에 최적값에 도달하는데 오래 걸릴 수도 있음 진동(Loss값이 계속 크게 왔다 갔다 하는 현상) 발생 SGD 개선냥이 속도(velocity) 개념을 도입해서, 이전 기울기의 영향을 일부 유지 β(보통 0.9) 값이 클수록 이전 방향을 더 강하게 유지 기울기가 갑자기 바뀌더라도 부드럽게 이동 가능 → 진동(oscillation) 감소 ⚠️ Overshooting 문제 : 너무 빠르게 이동가능해버려서 최적점을 지나칠수도있잖아! 라는 문제. Momentum 개선냥이 미리 계산한 위치에서 기울기를 보고 더 정확한 방향으로 이동 -> 현 위치에서 앞으로의 위치도 미리 계산한 후 보정 Overshooting 문제 개선 SGD 개선냥이 각각의 파라미터에 대해 적응적인 학습률(learning rate) 적용 기울기가 크면 학습률을 줄이고, 기울기가 작으면 학습률을 증가 약간의 브레이크와 엑셀 느낌임. 학습률 ? : 가중치를 업데이트할 때 변화하는 크기를 결정하는 하이퍼파라미터. 모델이 얼마나 빠르게 또는 천천히 학습할지를 조절하는 중요한 요소 Gradient Vanishing 문제를 해결하는 데 도움 Momentum + RMSprop을 결합한 방식 모멘텀을 사용해서 빠르게 최적화하면서도, 적응적으로 학습률을 조정함 Momentum -> 빠르게 최적화 가능 RMSprop -> 적응적으로 학습률 조정 각각의 가중치에 대해 다른 학습률을 적용 변화가 큰 가중치는 학습률을 낮추고, 변화가 작은 가중치는 학습률을 높임 SGD보다 빠르게 수렴할 가능성이 높음 그래서 딥러닝에서 가장 많이 사용됨 ⚠️ 메모리를 많이 사용 1차(moment)와 2차(moment) 모멘텀을 모두 저장해야 해서 SGD보다 메모리를 더 씀 일반화 성능이 떨어질 수 있다. 너무 빠르게 수렴해서 오히려 최적해를 잘 못 찾을 수도 있음 출력층에서 모델이 얼마나 잘못 예측했는지 평가하는 함수 모델의 예측값과 실제 정답(Label) 사이의 차이를 계산. 손실 함수의 값이 클수록 예측이 많이 틀린 것 손실 함수의 값이 **작을수록 예측이 잘 된 것 평균 제곱 오차 예측값 y^와 실제값 y의 차이를 제곱한 후 평균을 구함. 오차가 클수록 더 큰 패널티를 줌 (제곱이기 때문) 미분이 부드럽고, 계산이 쉬움. 예측 값과 실제값 사이의 평균 절대 차이를 측정하는 방법 mse + mae 오차가 작을 때는 MSE처럼 동작하고, 오차가 클 때는 MAE처럼 동작해서 이상치에 덜 민감 ]]>ai_study/활성화-함수들과-최적화-알고리즘과-손실함수.htmlAI_study/활성화 함수들과 최적화 알고리즘과 손실함수.mdThu, 11 Sep 2025 12:03:19 GMT<figure><img src="https://ejkiwi.github.io/lib/media/ReLU1.png"></figure>뿌가각 모각코 활동
20250109 모각코 활동 1회차
20250721 모각코 활동 2회차
20250731 모각코 활동 3회차
20250808 모각코 활동 4회차
20250810 모각코 활동 5회차
20250815 모각코 활동 6회차 ]]>2025_하계_모각코/2025_하계_모각코.html2025_하계_모각코/2025_하계_모각코.mdSun, 17 Aug 2025 15:50:44 GMT2025_하계_모각코/20250815-모각코-활동-6회차.html2025_하계_모각코/20250815 모각코 활동 6회차.mdSun, 17 Aug 2025 15:49:59 GMT(위 사진의 input sources는 안 다룰것이댜) 용량: 32~64개 × 32/64비트 = 수백 바이트 속도: 1 클록 사이클 위치: CPU 내부 용도: 현재 작업 중인 데이터 용량: 16KB ~ 64KB 속도: 1-2 클록 사이클 위치: CPU 코어 내부 특징: 명령어 캐시(I-Cache)와 데이터 캐시(D-Cache)로 분리 용량: 256KB ~ 1MB 속도: 3-10 클록 사이클 위치: CPU 코어별 또는 공유 특징: 통합 캐시 (명령어 + 데이터) 용량: 8MB ~ 32MB 속도: 10-20 클록 사이클 위치: 여러 코어가 공유 특징: 코어 간 데이터 공유 역할 용량: 4GB ~ 128GB 속도: 100-300 클록 사이클 기술: DDR4, DDR5 특징: 휘발성, 프로그램 실행 공간 SSD: 빠르지만 비쌈 (마이크로초 단위) HDD: 느리지만 저렴 (밀리초 단위) 특징: 비휘발성, 영구 저장 캐시 히트 (Cache Hit) CPU → 캐시 확인 → 데이터 있음! → 빠른 반환 (1-10 사이클) 캐시 미스 (Cache Miss) CPU → 캐시 확인 → 데이터 없음 → 메인 메모리 접근 → 캐시 업데이트 → 반환 (100-300 사이클) 캐시 라인 (Cache Line/Block) 캐시와 메모리 간 데이터 전송의 최소 단위 일반적으로 32바이트 ~ 128바이트 공간적 지역성 활용 태그 (Tag) 캐시 라인이 메모리의 어느 부분을 저장하고 있는지 식별 메모리 주소의 상위 비트들 유효 비트 (Valid Bit) 캐시 라인에 유효한 데이터가 있는지 표시 0: 무효, 1: 유효 캐시 교체 방식(정책) LRU (Least Recently Used) 가장 오래 사용되지 않은 블록을 교체 FIFO (First In First Out) 가장 먼저 들어온 블록을 교체 Random 무작위로 블록 선택 직접매핑 : 메모리의 각 블록이 캐시의 정확히 한 위치에만 매핑 완전 연관 매핑 : 메모리의 어떤 블록이라도 캐시의 어느 위치에나 저장 가능 집합 연관 매핑 : 캐시를 여러 집합(set)으로 나누고, 각 집합 내에서는 완전 연관 ]]>2025_하계_모각코/20250808-모각코-활동-4회차.html2025_하계_모각코/20250808 모각코 활동 4회차.mdSun, 17 Aug 2025 15:37:14 GMT<figure><img src="https://ejkiwi.github.io/lib/media/memory.png"></figure>2025_하계_모각코/20250810-모각코-활동-5회차.html2025_하계_모각코/20250810 모각코 활동 5회차.mdSun, 17 Aug 2025 15:30:31 GMT 제어장치가 시키고, 연산장치가 일하고, 레지스터가 저장하는 느낌이다~_~역할 명령어를 해석하고 실행 순서를 제어 각 구성 요소에 제어 신호 전송 프로그램 카운터(PC) 관리 주요 기능 명령어 인출 (Fetch): 메모리에서 명령어 가져오기 명령어 해석 (Decode): 명령어의 의미 분석 실행 제어 (Execute): 필요한 제어 신호 생성 구성 요소 프로그램 카운터 (PC): 다음 실행할 명령어의 주소 저장 명령어 레지스터 (IR): 현재 실행 중인 명령어 저장 제어 신호 생성기: 각 구성 요소 제어 역할 모든 산술 연산과 논리 연산 수행 비교 연산 및 시프트 연산 담당 지원 연산 산술 연산: 덧셈, 뺄셈, 곱셈, 나눗셈 논리 연산: AND, OR, XOR, NOT 비교 연산: 같음, 크기 비교 시프트 연산: 좌시프트, 우시프트 플래그 레지스터 Zero Flag (Z): 결과가 0인지 표시 Carry Flag (C): 자리올림 발생 시 Overflow Flag (V): 오버플로 발생 시 Negative Flag (N): 결과가 음수인지 표시 역할 CPU에서 당장 사용할 데이터 보관 특징 CPU 내부의 고속 저장 공간 메모리보다 훨씬 빠른 접근 속도 제한된 개수 (보통 16~32개) 종류 범용 레지스터: 일반적인 데이터 저장 특수 목적 레지스터: 특정 용도로 사용 PC (Program Counter): 다음 명령어 주소 SP (Stack Pointer): 스택의 최상위 주소 LR (Link Register): 함수 호출 시 복귀 주소 정의 소프트웨어와 하드웨어 간의 인터페이스 프로그래머가 볼 수 있는 컴퓨터의 추상적 모델 CPU가 이해할 수 있는 명령어들의 집합 ISA가 정의하는 요소 명령어 집합: 사용 가능한 모든 명령어 레지스터: 개수, 크기, 용도 메모리 모델: 주소 지정 방식, 데이터 타입 예외 처리: 인터럽트, 예외 상황 처리 특징 오픈소스 ISA 모듈러 설계 (기본 + 확장) 학술 및 상업적 목적으로 자유 사용 32개의 범용 레지스터 (x0 ~ x31)특수 레지스터 x0 (zero): 항상 0 값, 쓰기 무시 pc: 프로그램 카운터 (명시적 접근 불가) 용도: 레지스터 간 연산 형식: op rd, rs1, rs2용도: 즉시값과 레지스터 연산, 로드 명령어 형식: op rd, rs1, imm 또는 op rd, imm(rs1)용도: 스토어 명령어 형식: op rs2, imm(rs1)용도: 조건부 분기 형식: op rs1, rs2, label용도: 상위 즉시값 로드 형식: op rd, imm용도: 무조건 점프 형식: op rd, label형식: addi x1, x2, 100 의미: 즉시값을 직접 사용 장점: 빠름 단점: 값의 크기 제한형식: add x1, x2, x3 의미: 레지스터 값 직접 사용 장점: 가장 빠름 특징: RISC의 기본 방식형식: lw x1, 8(x2) 의미: 베이스 레지스터 + 오프셋 용도: 배열, 구조체 접근 계산: 주소 = x2 + 8형식: beq x1, x2, label 의미: 현재 PC + 오프셋 용도: 분기 명령어 장점: 위치 독립적 코드1. 인출 (Fetch)IR ← Memory[PC] PC ← PC + 4 2. 해석 (Decode) 명령어 형식 판별 필요한 레지스터 식별 제어 신호 생성 3. 실행 (Execute) ALU 연산 수행 메모리 접근 (필요시) 결과 저장 4. 쓰기 (Write-back) 결과를 목적지 레지스터에 저장 플래그 업데이트 1. Fetch: IR ← Memory[PC], PC ← PC + 4 2. Decode: R-type, rs1=x2, rs2=x3, rd=x1, funct=ADD 3. Execute: ALU_result ← Register[x2] + Register[x3] 4. Write-back: Register[x1] ← ALU_result ]]>2025_하계_모각코/20250731-모각코-활동-3회차.html2025_하계_모각코/20250731 모각코 활동 3회차.mdTue, 12 Aug 2025 17:24:13 GMT<figure><img src="https://ejkiwi.github.io/lib/media/cpu.png"></figure>중앙처리장치 (CPU) 명령어 실행과 연산을 담당하는 핵심 부품 제어장치(Control Unit)와 산술논리장치(ALU)로 구성 레지스터를 통해 임시 데이터 저장 메모리 시스템 주기억장치(RAM): 실행 중인 프로그램과 데이터 저장 보조기억장치(HDD, SSD): 영구적인 데이터 저장 캐시 메모리: CPU와 주기억장치 간의 속도 차이 보완 입출력 장치 입력장치: 키보드, 마우스, 터치스크린 등 출력장치: 모니터, 프린터, 스피커 등 입출력 제어기를 통해 CPU와 통신 소프트웨어는 계층적 구조로 구성시스템 소프트웨어 운영체제(OS): 하드웨어 자원 관리 및 사용자 인터페이스 제공 컴파일러: 고급 언어를 기계어로 번역 어셈블러: 어셈블리어를 기계어로 번역 응용 소프트웨어 사용자가 직접 사용하는 프로그램 워드프로세서, 웹브라우저, 게임 등 0과 1로만 구성된 수 체계 컴퓨터에서 모든 정보를 표현하는 기본 단위 예: 1011₂ = 1×2³ + 0×2² + 1×2¹ + 1×2⁰ = 11₁₀ 0~7의 숫자로 구성 이진수 3자리를 8진수 1자리로 변환 가능 예: 123₈ = 1×8² + 2×8¹ + 3×8⁰ = 83₁₀ 0~9, A~F로 구성 (A=10, B=11, C=12, D=13, E=14, F=15) 이진수 4자리를 16진수 1자리로 변환 가능 메모리 주소 표현에 주로 사용 예: A3F₁₆ = 10×16² + 3×16¹ + 15×16⁰ = 2623₁₀ 10진수 → 2진수: 2로 나누어 나머지를 역순으로 배열 2진수 → 16진수: 4자리씩 묶어서 변환 1010 1100₂ = AC₁₆ AND 게이트 모든 입력이 1일 때만 출력이 1 진리표: A=0,B=0→0 | A=0,B=1→0 | A=1,B=0→0 | A=1,B=1→1 기호: D형 게이트 모양 OR 게이트 하나 이상의 입력이 1이면 출력이 1 진리표: A=0,B=0→0 | A=0,B=1→1 | A=1,B=0→1 | A=1,B=1→1 기호: 곡선형 게이트 모양 NOT 게이트 (인버터) 입력의 반대 값을 출력 진리표: A=0→1 | A=1→0 기호: 삼각형에 작은 원 XOR 게이트 (배타적 OR) 입력이 서로 다를 때만 출력이 1 진리표: A=0,B=0→0 | A=0,B=1→1 | A=1,B=0→1 | A=1,B=1→0 덧셈 회로에서 자리올림 없는 합 구현 NAND 게이트 AND 게이트의 출력을 NOT한 결과 범용 게이트: 모든 논리 함수 구현 가능 NOR 게이트 OR 게이트의 출력을 NOT한 결과 범용 게이트: 모든 논리 함수 구현 가능 교환 법칙 (Commutative Law) A + B = B + A A · B = B · A 결합 법칙 (Associative Law) (A + B) + C = A + (B + C) (A · B) · C = A · (B · C) 분배 법칙 (Distributive Law) A · (B + C) = A·B + A·C A + (B · C) = (A + B) · (A + C) 항등 법칙 (Identity Law) A + 0 = A A · 1 = A 보수 법칙 (Complement Law) A + A' = 1 A · A' = 0 논리식의 부정을 간단히 하기 때문에 중요하다!(A + B)' = A' · B' OR의 부정은 각각의 부정을 AND (A · B)' = A' + B' AND의 부정은 각각의 부정을 OR 출력이 현재 입력에만 의존 메모리 기능 없음 입력이 바뀌면 즉시 출력 변화 가산기 (Adder) 반가산기(Half Adder): 2개의 1비트 수를 더함 입력: A, B / 출력: Sum, Carry Sum = A ⊕ B, Carry = A · B 전가산기(Full Adder): 이전 자리올림까지 고려 입력: A, B, Cin / 출력: Sum, Cout 디코더 (Decoder) n비트 입력을 2ⁿ개의 출력선 중 하나를 선택 메모리 주소 디코딩에 사용 인코더 (Encoder) 2ⁿ개의 입력선 중 하나를 n비트로 인코딩 키보드 입력 처리에 사용 멀티플렉서 (Multiplexer, MUX) 여러 입력 중 하나를 선택하여 출력 선택신호에 따라 입력 경로 결정 출력이 현재 입력과 이전 상태에 의존 메모리 기능 보유 클록 신호에 동기화되어 동작 컴퓨터에서 모든 동작의 타이밍을 맞춰주는 기준 신호 컴퓨터 부품들이 언제 동작해야 하는지 알려주는 시간 기준 플립플롭 (Flip-Flop) 1비트 정보를 저장하는 기본 메모리 소자 클록 신호에 의해 상태 변화 카운터 (Counter) 클록 펄스를 계수하는 회로 업카운터, 다운카운터, 링카운터 등 레지스터 (Register) 여러 비트의 정보를 저장 시프트 레지스터: 데이터를 좌우로 이동 메모리 대용량 데이터 저장을 위한 순차 회로 RAM, ROM 등의 기본 구조 ]]>2025_하계_모각코/20250718-모각코-활동-1회차.html2025_하계_모각코/20250718 모각코 활동 1회차.mdTue, 12 Aug 2025 17:02:26 GMT<figure><img src="https://ejkiwi.github.io/lib/media/computersystem.png"></figure>2025_하계_모각코/20250721-모각코-활동-2회차.html2025_하계_모각코/20250721 모각코 활동 2회차.mdTue, 29 Jul 2025 09:25:39 GMT2025-cnu-동계-학습동아리-(복습)/2025-cnu-동계-학습동아리-(복습).html2025 cnu 동계 학습동아리 (복습)/2025 cnu 동계 학습동아리 (복습).mdTue, 29 Jul 2025 08:02:18 GMT2025-cnu-동계-학습동아리-(복습)/통통이들-학습-동아리-활동.html2025 cnu 동계 학습동아리 (복습)/통통이들 학습 동아리 활동.mdTue, 29 Jul 2025 08:02:08 GMTai_study/class-balanced-loss-based-on-effective-number-of-samples-_-김언지.htmlAI_study/Class-Balanced Loss Based on Effective Number of Samples _ 김언지.pdfMon, 12 May 2025 16:55:17 GMTgit&github/버전-관리.htmlgit&github/버전 관리.mdWed, 19 Feb 2025 07:31:49 GMTgit&github/난이걸여태몰랏어.htmlgit&github/난이걸여태몰랏어.mdWed, 19 Feb 2025 07:29:36 GMT파샤샥 모각코 활동
20250109 모각코 활동 1회차
20250117 모각코 활동 2회차
20250126 모각코 활동 3회차
20250202 모각코 활동 4회차
20250209 모각코 활동 5회차
20250215 모각코 활동 6회차 ]]>2024-25_동계_모각코/2024-25_동계_모각코.html2024-25_동계_모각코/2024-25_동계_모각코.mdSat, 15 Feb 2025 17:03:58 GMT2024-25_동계_모각코/20250215-모각코-활동-6회차.html2024-25_동계_모각코/20250215 모각코 활동 6회차.mdSat, 15 Feb 2025 17:02:59 GMT2024-25_동계_모각코/20250109-모각코-활동-1회차.html2024-25_동계_모각코/20250109 모각코 활동 1회차.mdSat, 15 Feb 2025 15:46:11 GMT0.51268071 1.67335441 -0.68775646 [1.81773456]`dt = DecisionTreeClassifier(random_state=42) dt.fit(train_scaled, train_target) print(dt.score(train_scaled, train_target)) print(dt.score(test_scaled, test_target)) 0.996921300750433 0.8592307692307692# 훈련 결과 시각화 plt.figure(figsize=(10,7)) plot_tree(dt) plt.show()
# 자세히 살펴보기 plt.figure(figsize=(10,7)) plot_tree(dt, max_depth=1, filled=True, feature_names=['alcohol', 'sugar', 'pH']) plt.show()
# 가지치기 dt = DecisionTreeClassifier(max_depth=3, random_state=42) dt.fit(train_scaled, train_target) print(dt.score(train_scaled, train_target)) print(dt.score(test_scaled, test_target)) 0.8454877814123533 0.8415384615384616# 가지치고 난 뒤의 훈련 시각화 plt.figure(figsize=(20,15)) plot_tree(dt, filled=True, feature_names=['alcohol', 'sugar', 'pH']) plt.show()
# 전처리 하기 전의 데이터들로 다시 훈련해보기 -> 결과는 같을 것. dt = DecisionTreeClassifier(max_depth=3, random_state=42) dt.fit(train_input, train_target) print(dt.score(train_input, train_target)) print(dt.score(test_input, test_target)) 0.8454877814123533 0.8415384615384616# 시각화 -> 데이터를 전처리 하고 난 뒤에 훈련 한 것과 같은 트리를 갖지만, 특성값을 표준점수로 바꾸지 않았기 때문에 이해하기 더욱 쉬움. plt.figure(figsize=(20,15)) plot_tree(dt, filled=True, feature_names=['alcohol', 'sugar', 'pH']) plt.show()
# 특성 중요도 print(dt.feature_importances_) [0.12345626 0.86862934 0.0079144 ]]]>2024-25_동계_모각코/20250209-모각코-활동-5회차.html2024-25_동계_모각코/20250209 모각코 활동 5회차.mdMon, 10 Feb 2025 10:21:55 GMT<figure><img src="https://ejkiwi.github.io/lib/media/wine_tree1.png"></figure>2024-25_동계_모각코/파샤샥-모각코-활동.html2024-25_동계_모각코/파샤샥 모각코 활동.mdMon, 10 Feb 2025 08:46:23 GMT# 주요 변수들간의 상관관계 시각화 sns.pairplot(df[['survived', 'age', 'sibsp', 'fare']]) plt.show()
]]>2024-25_동계_모각코/20250202-모각코-활동-4회차.html2024-25_동계_모각코/20250202 모각코 활동 4회차.mdSun, 02 Feb 2025 16:50:57 GMT<figure><img src="https://ejkiwi.github.io/lib/media/titanicplot_1.png"></figure>arr = np.array([[1, 2, 3], [4, 5, 6]]) print(arr.shape) # 배열 형태 (2, 3) print(arr.ndim) # 차원 개수 (2D 배열이면 2) print(arr.size) # 전체 요소 개수 (6) print(arr.dtype) # 데이터 타입 (int32, float64 등)
arr = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) # 특정 요소 접근 print(arr[0, 1]) # 0번째 행, 1번째 열 (2) # 행, 열 슬라이싱 print(arr[1, :]) # 1번째 행 전체 [4, 5, 6] print(arr[:, 2]) # 모든 행의 2번째 열 [3, 6, 9] # 범위 슬라이싱 print(arr[0:2, 1:3]) # 첫 두 행의 1~2번째 열 [[2, 3], [5, 6]]
x = np.array([1, 2, 3]) y = np.array([4, 5, 6]) # 요소별 연산 print(x + y) # [5, 7, 9] print(x * y) # [4, 10, 18] print(x ** 2) # [1, 4, 9] # 스칼라와 연산 print(x + 10) # [11, 12, 13]
arr = np.array([3, 1, 4, 2]) # 합, 평균, 표준편차, 최댓값, 최솟값 print(np.sum(arr)) # 10 print(np.mean(arr)) # 2.5 print(np.std(arr)) # 표준편차 print(np.max(arr)) # 4 print(np.min(arr)) # 1 # 오름차순 정렬 print(np.sort(arr)) # [1, 2, 3, 4] # 내림차순 정렬 print(np.sort(arr)[::-1]) # [4, 3, 2, 1]
arr = np.array([[1, 2], [3, 4]]) # 배열 형태 변경 reshaped = arr.reshape(4, 1) print(reshaped) # [[1] # [2] # [3] # [4]] # 전치 (Transpose) print(arr.T) # [[1 3] # [2 4]] # 1차원으로 펼치기 flattened = arr.flatten() print(flattened) # [1, 2, 3, 4]
Python에서의 데이터 시각화를 위한 라이브러리 다양한 시각화 제공 : 간단한 선 그래프, 막대 그래프, 히스토그램부터 복잡한 3D 그래프까지 다양한 시각화를 제공함. 보통 matplotlib.pyplot 모듈을 통해 그래프를 그림. 보통 import matplotlib.pyplot as plt plt라는 이름으로 불러옴. # 데이터 x = [0, 1, 2, 3, 4, 5] y = [0, 2, 4, 6, 8, 10] # 선 그래프 시각화 plt.plot(x, y, label="y = 2x", color="blue", linestyle="--", marker="o") plt.title("Line Plot Example") # 그래프 제목 plt.xlabel("X-axis") # x축 이름 plt.ylabel("Y-axis") # y축 이름 plt.legend() # 범례 추가 plt.show() # 시각화
# 데이터 x = [1, 2, 3, 4, 5] y = [5, 7, 6, 8, 7] sizes = [100, 200, 300, 400, 500] # 산점도 시각화 plt.scatter(x, y, s=sizes, color="green", alpha=0.6) plt.title("Scatter Plot Example") # 제목 plt.xlabel("X-axis") # x축 이름 plt.ylabel("Y-axis") # y축 이름 plt.show() # 시각화
# 데이터 categories = ['A', 'B', 'C', 'D'] values = [3, 7, 8, 5] # 막대 그래프 시각화 plt.bar(categories, values, color="orange") plt.title("Bar Plot Example") # 제목 plt.xlabel("Categories") # x축 이름 plt.ylabel("Values") # y축 이름 plt.show() # 시각화
# 데이터 data = [1, 2, 2, 3, 3, 3, 4, 4, 4, 4, 5, 5, 6, 7, 8, 9, 10] # 히스토그램 시각화 plt.hist(data, bins=5, color="purple", alpha=0.7) plt.title("Histogram Example") # 제목 plt.xlabel("Value Ranges") # x축 이름 plt.ylabel("Frequency") # y축 이름 plt.show() # 시각화
# 데이터 data = [ [2, 3, 5, 6, 8], # Group 1 [1, 4, 4, 5, 9], # Group 2 [3, 5, 7, 7, 10] # Group 3 ] # 박스 플롯 시각화 plt.boxplot(data, tick_labels=['Group 1', 'Group 2', 'Group 3']) ## tick_labels -> 이전에는 labels로 쓰임 plt.title("Box Plot Example") # 제목 plt.ylabel("Values") # y축 이름 plt.show()
# 데이터 labels = ['Apples', 'Bananas', 'Cherries', 'Mangoes'] sizes = [35, 25, 20, 20] # 파이 차트 시각화 plt.pie(sizes, labels=labels, autopct='%1.1f%%', startangle=140, colors=['red', 'yellow', 'pink', 'brown']) plt.title("Pie Chart Example") # 제목 plt.show() # 시각화
# 데이터 x = [1, 2, 3, 4, 5] y1 = [1, 2, 4, 8, 16] y2 = [1, 1, 2, 3, 5] # 면적 그래프 시각화 plt.fill_between(x, y1, color="skyblue", alpha=0.5, label="Area 1") plt.fill_between(x, y2, color="lightgreen", alpha=0.7, label="Area 2") plt.title("Area Plot Example") # 제목 plt.xlabel("X-axis") # x축 이름 plt.ylabel("Y-axis") # y축 이름 plt.legend() # 범례 추가 plt.show() # 시각화
# 데이터 x = [1, 2, 3, 4, 5] y1 = [2, 4, 6, 8, 10] y2 = [1, 3, 5, 7, 9] # 다중 그래프 시각화 plt.subplot(1, 2, 1) # ( 1행 2열 )plt.plot(x, y1, color="blue", marker="o") # 첫 번째 그래프 plt.title("Graph 1") # 첫 그래프 이름 plt.subplot(1, 2, 2) plt.plot(x, y2, color="red", linestyle="--") # 두 번째 그래프 plt.title("Graph 2") # 두 번째 그래프 이름 plt.tight_layout() # 간격 조정 plt.show() # 시각화
# 데이터 categories = ['A', 'B', 'C'] group1 = [3, 5, 7] group2 = [4, 6, 8] # 스택형 막대 그래프 시각화 plt.bar(categories, group1, label="Group 1", color="lightblue") plt.bar(categories, group2, bottom=group1, label="Group 2", color="orange") # 스택 쌓기 plt.title("Stacked Bar Plot Example") # 제목 plt.xlabel("Categories") # x축 이름 plt.ylabel("Values") # y축 이름 plt.legend() # 범례 추가 plt.show() # 시각화
]]>2024-25_동계_모각코/20250126-모각코-활동-3회차.html2024-25_동계_모각코/20250126 모각코 활동 3회차.mdSun, 26 Jan 2025 08:15:20 GMT<figure><img src="https://ejkiwi.github.io/lib/media/numpy01.png"></figure>2024-25_동계_모각코/20250117-모각코-활동-2회차.html2024-25_동계_모각코/20250117 모각코 활동 2회차.mdFri, 17 Jan 2025 15:14:09 GMTgit&github/명령어.htmlgit&github/명령어.mdSun, 05 Jan 2025 08:42:52 GMTgit&github/git&github.htmlgit&github/git&github.mdSun, 05 Jan 2025 06:55:01 GMT문제 1011
문제 14369
문제 1931 ]]>백준/백준.html백준/백준.mdSat, 04 Jan 2025 15:33:19 GMT백준 프로필🌱열심히 풀었던 문제들/ 왕큰 깨달음을 얻었던 문제들을 정리해놓았다!!!!!!!!!!!!!]]>백준/백준-풀이.html백준/백준 풀이.mdSat, 04 Jan 2025 15:28:47 GMT2024 cnu 2차 학습동아리 실습코드]]>2024-cnu-2차-학습동아리/2024-cnu-2차-학습동아리.html2024 cnu 2차 학습동아리/2024 cnu 2차 학습동아리.mdThu, 02 Jan 2025 09:04:05 GMT백준/문제-1931.html백준/문제 1931.mdThu, 02 Jan 2025 08:57:47 GMT백준/문제-14369.html백준/문제 14369.mdThu, 02 Jan 2025 08:54:49 GMT백준/문제-1011.html백준/문제 1011.mdThu, 02 Jan 2025 08:39:47 GMT모.구.모.구 모각코 활동
20240707 모각코 활동 1회차
20240709 모각코 활동 2회차
20240716 모각코 활동 3회차
20240723 모각코 활동 4회차
20240730 모각코 활동 5회차
20240806 모각코 활동 6회차
20240813 모각코 활동 7회차 ]]>2024_하계_모각코/2024_하계_모각코.html2024_하계_모각코/2024_하계_모각코.mdSun, 01 Dec 2024 08:02:21 GMT모.구.모.구_팀블로그]]>2024_하계_모각코/모.구.모.구-모각코-활동.html2024_하계_모각코/모.구.모.구 모각코 활동.mdTue, 26 Nov 2024 17:34:04 GMT2024_하계_모각코/20240813-모각코-활동-7회차.html2024_하계_모각코/20240813 모각코 활동 7회차.mdWed, 25 Sep 2024 07:11:10 GMT데이터 준비하기from torch.utils.data import DataLoader # DataLoader ->  데이터를 미니배치 형태로 만들어서 우리가 실제로 학습할 때 이용할 수 있도록 함. #DataLoader(dataset 데이터 , batch_size=1 한 번의 배치 안에 있는 샘플 사이즈, shuffle=False 데이터셋을 섞어서 데이터가 학습되는 순서를 바꿈, num_workers=0 동시에 처리하는 프로세서의 수. 하나 더 추가하면 20%정도 속도가 빨라짐.) #배치 학습 -> 전체 데이터를 n등분 하여 학습. loaders = {     'train' : torch.utils.data.DataLoader(train_data,                                           batch_size=100,                                           shuffle=True,                                           num_workers=1),     'test' : torch.utils.data.DataLoader(test_data,                                          batch_size=100,                                          shuffle=True,                                          num_workers=1) } loaders CNN 모델 설정하기class CNN(torch.nn.Module):   def __init__(self):     super(CNN, self).__init__()     self.layer1 = torch.nn.Sequential(         torch.nn.Conv2d(1, 16, kernel_size=5, stride=1, padding=2), #컨볼루션 레이어(합성곱층) #1차원(1개채널) 데이터를 받아 16개의 feature(16개의채널)로 나누겟다!!임.         torch.nn.ReLU(), #ReLU층         torch.nn.MaxPool2d(kernel_size=2, stride=2)) #풀링층     self.layer2 = torch.nn.Sequential(         torch.nn.Conv2d(16, 32, kernel_size=5, stride=1, padding=2),         torch.nn.ReLU(),         torch.nn.MaxPool2d(kernel_size=2, stride=2))                         # layer 1, layer2 층까지는 이미지를 형상으로 분할하고 분석하는 부분         # 다음 fc 층에서는 이미지를 분류 예측하는 부분.             self.fc = torch.nn.Linear(32 * 7 * 7, 10, bias=True) #32*7*7만큼의 입력을 linear레이어에 의해 계산되게 해서... 10개의 출력( MNIST 이미지를 0부터 9까지 분류해야하기때문 )이 나오도록 함.     torch.nn.init.xavier_uniform_(self.fc.weight) # 신경망의 가중치를 초기화 ( 신경망의 가중치를 학습 전에 적절한 값으로 설정하는 과정 )     # __init__에서는 필요한 레이어들을 정의내렸다고 볼 수 있음.     # 아래 forward(얘가 실제적인 모델의 형태가 됨)에서 사용한다.   def forward(self, x): #순전파 #순전파만 지정해주어도 pytorch에서는 역전파 과정을 매우 쉽게 할 수 있도록 해준다.     out = self.layer1(x)     out = self.layer2(out)     out = out.view(out.size(0), -1) # view() 함수는 텐서의 크기를 변경하는 데 사용 # 데이터를 완전 연결(fc) 층에 전달하기 위해 2차원 또는 3차원 텐서를 1차원 벡터로 평탄화 하는 과정이 필요함.     out = self.fc(out)     return out model = CNN() model CNN( (layer1): Sequential( (0): Conv2d(1, 16, kernel_size=(5, 5), stride=(1, 1), padding=(2, 2)) (1): ReLU() (2): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False) ) (layer2): Sequential( (0): Conv2d(16, 32, kernel_size=(5, 5), stride=(1, 1), padding=(2, 2)) (1): ReLU() (2): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False) ) (fc): Linear(in_features=1568, out_features=10, bias=True) )학습하기learning_rate = 0.01 # 파라미터를 얼마나 업데이트할 것인지를 결정. 학습률, step size. 너무 크지도 작지도 않아야 함. loss_func = torch.nn.CrossEntropyLoss() # 모델 예측과 실제값 간의 차이를 측정하는 손실함수. optimizer =  torch.optim.Adam(model.parameters(), lr=learning_rate) # 손실함수를 통해 나온 을 최소화하기 위해 가중치를 업데이트하는 방법 training_epochs = 10 # 전체 데이터셋을 몇 번 반복할 것인지 결정. # 반복의 횟수는 epoch과 batch의 크기에 따라 결정 total_batch = len(loaders['train']) for epoch in range(training_epochs):   avg_cost = 0   for X, Y in loaders['train']:     optimizer.zero_grad() # 학습에서, 역전파를 거칠 때 마다 각 .grad 값에 변화도가 저장이 되는데, 이어지는 다음 학습에서 .grad의 값을 0으로 초기화시켜주지 않으면 이전에 저장된 변화도 값이 다음 학습에 영향을 주기 때문에 원하는 방향으로 학습하기 힘들다. 그래서zero_grad를 통해 .grad 의 값들을 0으로 초기화시켜준다.     pred = model(X) #순전파     cost = loss_func(pred, Y) #손실함수계산     cost.backward() #역전파     optimizer.step() # 역전파 단계에서 수집된 변화도로 매개변수를 조정     avg_cost += cost / total_batch   print('[Epoch: {:>4}] cost = {:>.9}'.format(epoch + 1, avg_cost))   # `epoch + 1` 값을 최소 4칸의 너비로 오른쪽 정렬하여 출력   # `avg_cost` 값을 최소 9자리까지 나타내어 오른쪽 정렬하여 출력 print('Learning Finished....>_<') [Epoch: 1] cost = 0.0461711548 [Epoch: 2] cost = 0.0472225286 [Epoch: 3] cost = 0.0413064063 [Epoch: 4] cost = 0.0417594947 [Epoch: 5] cost = 0.0395734794 [Epoch: 6] cost = 0.0441303253 [Epoch: 7] cost = 0.0408433564 [Epoch: 8] cost = 0.043582622 [Epoch: 9] cost = 0.0441764817 [Epoch: 10] cost = 0.0412645154 Learning Finished....>_<]]>2024_하계_모각코/20240806-모각코-활동-6회차.html2024_하계_모각코/20240806 모각코 활동 6회차.mdWed, 07 Aug 2024 13:56:13 GMT<figure><img src="https://ejkiwi.github.io/lib/media/MNIST.png"></figure> P : padding layer의 수 n : 이미지의 크기가 n * n f : 커널의 크기(filter의 크기)가 f * f (n+2p) * (n+2p) : 패딩된 이미지의 크기 ((n + 2p – f + 1) * (n + 2p – f + 1)) : 합성곱층을 지난 출력 이미지의 크기 padding이 필요한 이유 이미지 데이터의 축소를 막을 수 있다. - 여러번의 계산을 거쳐야 하는데 초반부터 이미지가 너무 작아져버린다면 학습을 별로 하지 못하고 끝나버릴 수 있기 때문에 padding을 통해 이미지의 크기를 조절해줘야한다. 모서리에 있는 중요한 정보를 충분히 활용할 수 있다. - padding을 사용하지 않는 경우, 모서를 학습할 기회가 적어지게 된다. 만약 중요한 정보가 모서리쪽에 있다면, 모델의 성능이 떨어지기 때문에 padding을 사용하여 모서리의 정보들도 충분히 학습할 수 있도록 해주어야 한다.
Valid Padding과 Same Padding : 각각 순서대로 패딩하지 않는 것, 입력데이터와 출력데이터가 동일하도록 하는 패딩을 뜻한다. Residual Block 과 Skip-Connection Residual Block은 층이 깊어지더라도 성능이 뒤떨어지지 않게 하기 위해 제시된 것. Residual 은 "잔여" 라는 뜻을 가지고 있는데, x를 입력 H(x)를 x의 분포로 가정하면 residual은 최종으로 구하고자 하는 H(x)와 x의 차이로 볼 수 있다. 즉, Residual = R(x) = H(x) - x 가 되며 H(x) = R(x) + x 로 정리가능하다.
위 신경망층에서는 F(x)r가 R(x)의 역할을 하기 때문에 Residual Block이라 불리게 된다. Residual Block은 그레디언트 소실 문제를 약화시키고, 이에 따라 신경망의 깊이가 깊어져도 성능이 떨어지지 않게 되는 것. 그레디언트 소실 문제 신경망을 학습시는 과정에서 -> 역전파 알고리즘을 통해 출력층에서 입력층으로 손실함수에 대한 그레디언트를 전파하고, 경사 하강법을 통해 이 그레디언트를 사용하여 각 파라미터를 수정하는 단계를 거치게 됨. 이 때 신경망의 하위층으로 진행될수록 그레디언트가 점점 작아지게 되는 문제가 그레디언트 소실 문제이다. residual block에서는 x, x+1, x+2 층이 있다고 할 때, x+2층은 x+1층뿐만 아니라 x로부터도 정보를 받을 수 있게 된다. 따라서 역전파 알고리즘이 실행될 때 그레디언트가 작아지는것을 어느정도 막아주는 효과가 발생한다. 이러한 residual block의 방식을 하나의 합성곱층을 기준으로 살펴보았을 때, 한 층의 입력값을 출력값과 합쳐서 다음 층으로 넘겨주는 방식이 그 층의 입력값이 해당 층을 통과하지 않고 다음 층으로 넘어가는 것과 같기 때문에 Skip Connection이라 부르게 되는 것이다. 즉, Residual Block의 핵심은 Skip Connection이라 할 수 있다. ]]>2024_하계_모각코/20240730-모각코-활동-5회차.html2024_하계_모각코/20240730 모각코 활동 5회차.mdWed, 31 Jul 2024 12:40:41 GMT<figure><img src="https://ejkiwi.github.io/lib/media/zero_Padding.png"></figure>2024_하계_모각코/20240716-모각코-활동-3회차.html2024_하계_모각코/20240716 모각코 활동 3회차.mdTue, 30 Jul 2024 04:01:59 GMT 3.ReLU층 - 인공신경망에서 사용되는 활성화함수 f(x) = max(0, x) -> 입력값이 0보다 크면 그 값을 그대로 출력하고, 0 이하면 0을 출력. 4. 풀링층 - 특성 맵을 다운샘플링하여 특성 맵의 크기를 줄임. - 합성곱 연산과 유사함 (커널과 스트라이드 개념이 존재) - 최대풀링 : 커널과 겹치는 영역 안에서 최대값을 추출 - 평균풀링 : 커널과 겹치는 영역 안에서 평균값을 추출RESNET CNN의 한 종류 -신경망의 깊이가 깊어짐에 따라 발생하는 훈련 문제를 해결하기 위해 '잔여학습'이라는 개념을 도입함. - 훈련 문제 : 기존 모델들은 레이어를 깊게 쌓을수록 더 성능이 좋아질 것이라고 예상했지만 실제로는 20층 이상부터 성능이 낮아지는 현상이 발생. - 잔여학습 : 스킵연결(입력값이 일정층들을 건너뛰어서 출력에 더할 수 있게 하는 역할) -> 기존신경망은 k번째 층과 (i+1)번째 층의 연결로 이루어져있는데, resnet은 (i+r)층의 연결을 허용(shortcut connection).
- -최대 152개 층까지 쌓을 수 있게 됨.
]]]>2024_하계_모각코/20240723-모각코-활동-4회차.html2024_하계_모각코/20240723 모각코 활동 4회차.mdTue, 23 Jul 2024 13:38:23 GMT<figure><img src="https://ejkiwi.github.io/lib/media/cnn1.png"></figure>2024-1_BPL_STalk_Model_Research CNN 모델 2차원 데이터 (이미지 등)의 패턴을 인식하고 분석하는 데 사용되는 딥러닝 모델. 여러개의 층으로 구성됨. 인간의 시신경 구조를 모방한 구조임 이미지의 RESNET 모델 CNN 모델에 잔차 연결 개념을 도입한 것. 잔차 연결 : 각 층의 출력을 다음 층으로 직접 보내는 대신에, 입력을 더한 뒤 다음 층으로 전달하는 연결. ]]>2024_하계_모각코/20240707-모각코-활동-1회차.html2024_하계_모각코/20240707 모각코 활동 1회차.mdMon, 15 Jul 2024 07:48:10 GMThttps://youtube.com/playlist?list=PLS8gIc2q83Oit-utRso2iblvt00fZOw85&si=i0CZi4e5g_dVJ3dx) 1,2,3강 들으며 공부 2.선배님의 프로젝트 코드 절반 분석하기 - whisper 부분파이토치 al분야에서 google tensorflow와 함께 딥러닝 모델을 구축하고 학습하는 데 가장 많이 사용되고 있는 오픈 소스 기반의 딥러닝 프레임워크임. 오픈소스 : 개방형 협업을 장려하는 소프트웨어 개발 모델 프레임워크 : 소프트웨어 개발에 있어 하나의 뼈대와 같은 역할을 하는 것으로, 목적에 필요한 것을 고민할 필요 없이 이용할 수 있도록 일괄로 가져다 쓰도록 만들어 놓은 구조화된 틀임. 텐서 : 파이토치의 기본 데이터 타입 배열이나 행렬과 유사한 자료 구조이다 일반적으로는 1차원 - 벡터 , 2차원 - 행렬, 3차원 이상 - 벡터 이지만, 파이토치에서는 입력과 출력 그리고 학습에 필요한모든 데이터들을 모두 텐서 데이터타입으로 정의하고 있다. 텐서의 속성으로는 모양,자료형,저장되는 위치가 있다 보통 저장되는 위치는 cpu인데, gpu를 사용할 수 있다면, .to("cuda")를 사용해서 텐서를 gpu로 이동시킬 수 있다. gpu : 컴퓨터 그래픽을 처리하는 장치로 그래픽 카드를 구성하는 가장 중요한 핵심 요소. 1.파이썬의 리스트 데이터로부터 직접 텐서를 만들 수 있다. - listdata = [[10,20],[30,40]] tensor1 = torch.Tensor(listdata)` 2.파이썬의 넘파이 데이터로부터 직접 텐서를 만들 수도 있다.(넘파이로만들어진건 보통 int로 생성되기때문에 원래 데이터가 float의 형태인 경우, 캐스팅해주는 작업이 필요하기도 하다.) 3.파이썬의 랜덤 데이터로부터 직접 텐서를 만들 수도 있다. - tensor3 = torch.rand(2,2) -> rand()메서드는 0~1사이의 균일 분포 랜덤값을 생성함 ( randn()메서드는 정규분포를 가지는 랜덤값을 생성 ) 텐서를 넘파이로 바꿀 수도 있다. - tensor.numpy() 인덱싱과 슬라이싱이 가능하다 elment-wise product 연산 matrix multiplication 연산 (행렬곱) 텐서를 합칠 수 있다. Tensor Concatenate (dim=0 세로, dim=1 가로) 파이토치 딥러닝 모델 구조 : 1.데이터정의 - 기본 데이터타입인 TENSOR로 생성해야함. - TensorDataset(x_train,y_train) : 텐서 데이터셋 생성 - DataLoader(dataset, batch_size, shuffle) : 미니 배치 학습과 데이터 셔플, 멀티 프로세싱 등을 간단하게 수행할 수 있음. - 미니 배치 학습 : 전체 데이터를 n등분 하여 각각의 학습 데이터를 배치 방식으로 학습시키는 것. - 데이터 셔플 : train데이터와test데이터 간의 동일한 분포를 가지도록 섞어는 것. - 멀티 프로세싱 : 여러 작업을 별도의 프로세스를 생성 후 병렬처리를 하는 과정을 거치기 때문에 더 빠르게 결과를 얻을 수 있다. 2.모델구축 - nn.Module을 상속받는 class를 생성하여 정의하는 것이 일반적이다. - 클래스 속 __init__함수에서 계층(신경망 모델을 구성하는)을 정의. - 클래스 속 forward 함수에서 신경망에 데이터 전달하기를 수하고, 결과값을 리턴함 3.피드포워드 - 모델 학습을 위해서는 피드 포워드 계산값과 정답의 차이 계산이 필요 -> 이 계산을 위해서는 손실함수와 옵티마이저가 필요함. - 손실함수 : MSE 등 - 옵티마이저 : SDG, ADAM 4.손실함수계산 - nn.MSELoss(model(x_train),y_train) : 피드포워드 계산 값과 정답과의 오차 계산. - 이 때, model에 데이터를 전달하면 model 클래스 안에 있는 forward()함수자동으로 forward()함수를 호출하기 때문에 우리가 따로 호출해줄 필요가 없다. 5.모델학습 -역전파 코드 : 학습이 진행됨에 따라서 모델 파라미터(가중치와 바이어스)를 업데이트하면서 최적화 시킨다 - optimizer.zero.grad() - loss.backward() - optimizer.step() 모델(model) : 각 층을 포함하고 있는 인공신경망 그 자체 (이를 레고처럼 순차적으로 쌓기 -> CNN, RNN 등 다양한 모델 구축 가능) 3>4>5의 반복 -> 딥러닝 학습 손실함수가 최소가 될 때까지 모델 파라미터(가중치, 바이어스) 값을 찾아감. 선배님 프로젝트 분석 - whisper 1.from faster_whisper import WhisperModel 2.def get_whisper() : 3. model_size = "medium" #@param ['tiny', 'base', 'small', 'medium', 'large', 'large-v2', 'large-v3'] 4. compute_type = "int8" #@param ['float16', 'int8'] 5. return WhisperModel(model_size, device=DEVICE, cpu_threads=12, compute_type=compute_type).transcribe1: faster_whisper 에서 WhisperModel 모듈 불러오기 2: get_whisper 라는 이름의 함수 설정하기 3: model_size는 "medium"이다. model_size가 가질 수 있는 옵션으로는 "tiny","base","small","medium","large","large-v3" 이 있다. -> model_size는 모델의 크기를 뜻한다. 4: compute_type은 "int8"이다. compute_type이 가질 수 있는 옵션으로는 "float16","int8"이 있다. -> compute_type은 계산 유형을 뜻한다. 5: WhisperModel은 4가지의 매개변수를 사용하는데, 여기에서 model_size는 앞서 정한 크기와 같고, device는 모델이 실행될 장치를 지정한다. cpu_threads는 CPU의 스레드 수를 뜻한다. compute_type또한 앞서 정한 계산 유형과 같다. 이 때 .transcribe는 모델의 음성 인식 기능을 호출해서 음성을 텍스트로 변환해준다.]]>2024_하계_모각코/20240709-모각코-활동-2회차.html2024_하계_모각코/20240709 모각코 활동 2회차.mdMon, 15 Jul 2024 06:27:57 GMT