DNN과 자연어 처리

---

*. GPU 환경설정

• 다운로드: Microsoft Visual C++ BuildTolls 설치파일
  
• 다운로드(1): Anaconda 설치 파일(https://repo.anaconda.com/archive/)
  
• 다운로드(2): Anaconda.com/download
  (설치중, All User 항목선택, PATH 항목 선택)

---

1. 특강: "Understanding Techonological Evolution and New-age Education"

---

2.1 딥러닝의 원리( Convolution과 CNN)와 객체인식의 예(YOLOv8)

2.2 Back-propagation

---

3. 딥러닝 이미지 분류(Image Classification)

인쇄체 숫자 10개 분류

• 다운로드: classify_num.py 소스파일
  
• 다운로드: train/test용 숫자 이미지 데이터 파일
• 다운로드: test용 숫자 이미지 파일

고양이-개 분류

• generalimageclassifier.py 소스
  
• 다운로드: generalimageclassifier 소스파일
  
• 다운로드: 고양이-개 데이터 파일
  

웹캠포함, 범용 이미지 분류

• generalimageclassifier_cam.py 소스
  
• 다운로드: generalimageclassifier_cam 소스파일
  

---

4. 딥러닝 이미지 객체 인식의 이해 (YOLO 설명 1),(YOLO 설명 2)

• 객체탐지에서의 결과 분석 관련 용어 (pdf)
• mAP 계산 방법
• Yolo3 객체탐지 실습(pdf)
• Yolo3 소스파일들
• LabelImg github 주소
• LabelImg 사용법


• GPR Cavity 인식
• 차량 이미지 파일들, 이미지 포맷 변환
• YOLO용 annotation파일 예
• YOLO용 classes파일 예


• YOLO5 비교 설명
• YOLO5 설치 및 실행 설명(1)
• YOLO5 설치 및 실행 설명(2)
• YOLO5 실습
• YOLO5 관련 프로그램(zip)

• 차량 데이터 파일(car.zip)
• 차량 데이터 위치정보 파일(car.yaml)
• 40장으로 학습한 후 중간결과(50 epochs 학습)


• Ultrlytics YOLO Documentation
• Pytorch 설치 방법
• 학습 데이터 저장소 (aihub.or.kr)
• Ultralytics 통합본(Yolov8, 2023.10 기준)


• yolov8_detect.py 소스


• Tips for Best Training Results


• HTP 심리테스트의 House 그림의 예
• 라벨링(labeling) 문제,
• Image Data Labelling and Annotation,

---

5. Text Embedding

• 수능문제1
• 수능문제2
• LLM을 이용한 채점


• 딥 러닝을 이용한 자연어 처리 입문 (WikiDocs)
• 워드 임베딩(Word Embedding)
• 딥러닝 워드 임베딩(Word Embedding)


• Word2Vec(CBOW) 구현 Source
• Word2Vec(CBOW) 프로그램 다운로드(.zip)

---

6. RNN, LSTM, GRU

• RNN (Many-to-One Language Model) Source(rnn_m21.py.pdf)
• RNN (Two-to-One Language Model) Source(rnn.zip)


• RNN, LSTM, GRU 동영상 강의 (한국어)
• RNN, LSTM, GRU 동영상 강의 (한국어)

---

7. Attention 과 Self-Attention

• 강의에 사용된 이미지: basic_self_attention.png      self_attention_with_qkv.png


• Self-Attention Python Source(.pdf) ,Self-Attention Python Source(.zip)


• Self-Attention 동영상 강의 (영어, DLV University, Peter Bloem)


• Attention 동영상 강의 (영어, Serrano Academy)
• Attention 동영상 강의 (영어, Serrano Academy)
• Attention 101 | Sequence to Sequence Learning (by CNU ISoft Lab)
• Attention 101 - 2 | Understanding Attention
• Transformer - 1 | Dot-Product and Query Key Value Patter
• Transformer - 2 | Multi-head Attention
• Transformer - 3 | Self Attention, Cross Attention
• Transformer - 4 | Masking
• Transformer - 5 | Scaling, Normalization and Residual Connection

---

8. Transformer와 Decoder 사용 모델의 예

• Transformer Decoder Source(.pdf)
• source + book.txt + decoder.pth (.zip)


• Attention_is _all_you_need(논문)


• Transformer 모델 설명[한국어]
• Transformer 모델 설명[영어]


• Transformer 동영상 강의 (Pytorch로 Transformer 구현.[영어])
• Transformer 개념 동영상 강의 (Waterloo Univ.[영어]])


• Transformer 동영상 강의
• Transformer 동영상 강의
• Transformers II (SNU)

---

9. Transformer의 Encoder 사용 모델 - Bert

• Transformer Encoder(Bert) for imdb Classification Source(.pdf)
• imdb classification source(.py) + training result (bert.zip)


• Bert Paper (Google, 2018) (.pdf)

---

중간고사용 과제

---

10. Retrieval Augmented Generation (RAG)

• RAG using wikipedia Source(.pdf)
• RAG using pdf Source(.pdf)
• RAG source(.py) + pdf files (rag.zip)
• rag_pdf_ollama with llama3 (rag_pdf_ollama.zip)


• Advanced English Conversations.pdf, English-Conversation-Premium.pdf


• RAG Paper (Facebook, etc., 2020) (.pdf)
• RAG Paper Survey (Tongji Univ., etc., 2023) (.pdf)

---

11. LLM based Agent

• An Example Single Agent Souce(.pdf)   Souce(.zip)


• AI agents: types, benefits, and examples


• Langchain을 이용한 LLM 활용 예
• Langchain을 이용한 Agent 활용 예
• Langchain을 이용한 Agent 실행결과 예

---

12. Multimodal Embedding

• The Multimodal Evolution of Vector Embeddings


• Chameleon: Mixed-Modal Early-Fusion Foundation Models(.pdf)
• IMAGEBIND: One Embedding Space To Bind Them All(.pdf)

---

13. MCP and Today's Agents

• MCP vs A2A vs ACP(medium.com)
• 6가지 유용한 MCP예(medium.com)
• DesktopCommanderMCP(github.com)
• MCP 구축 예(medium.com)

---

14. LLM/sLM을 이용한 기말 프로젝트

---

14. 총평

---