Top 47 Zero Shot Learning 설명 133 Most Correct Answers

You are looking for information, articles, knowledge about the topic nail salons open on sunday near me zero shot learning 설명 on Google, you do not find the information you need! Here are the best content compiled and compiled by the https://chewathai27.com/to team, along with other related topics such as: zero shot learning 설명 One-shot learning 설명, Few-shot learning 이란, 퓨샷러닝, Hypernetworks 설명, What is Zero-shot, zero-shot learning through cross-modal transfer, zero-shot text-to-image generation, zero-shot learning through cross-modal transfer 리뷰

제로샷 학습은 학습된 데이터를 분류하고 정리해 카테고리를 형성한 뒤 그 카테고리의 의미를 이해하기 때문입니다. 그래서 인공지능은 각 카테고리에 대한 의미적 이해를 바탕으로 이전에 경험하지 못한 새로운 예제를 이해하고 분석할 수 있습니다.

[DMQA Open Seminar] Zero-shot learning

인공지능의 시대, 데이터가 필요 없는 제로샷 학습! : 네이버 블로그

Article author: m.blog.naver.com
Reviews from users: 27033 Ratings
Top rated: 3.5
Lowest rated: 1
Summary of article content: Articles about 인공지능의 시대, 데이터가 필요 없는 제로샷 학습! : 네이버 블로그 Updating …
Most searched keywords: Whether you are looking for 인공지능의 시대, 데이터가 필요 없는 제로샷 학습! : 네이버 블로그 Updating
Table of Contents:

카테고리 이동

과학기술정보통신부 블로그

이 블로그
ICT
카테고리 글

카테고리

이 블로그
ICT
카테고리 글

Article author: deep-learning-study.tistory.com
Reviews from users: 6479 Ratings
Top rated: 4.0
Lowest rated: 1
Summary of article content: Articles about [논문 읽기] Zero-Shot Learning(ZSL) 이란? generative model로 생성한 unseen data를 traning set에 넣어 함께 학습시켜 unseen에 대한 예측도 수행할 수 있도록 하는 방법이다. 이 generative … …
Most searched keywords: Whether you are looking for [논문 읽기] Zero-Shot Learning(ZSL) 이란? generative model로 생성한 unseen data를 traning set에 넣어 함께 학습시켜 unseen에 대한 예측도 수행할 수 있도록 하는 방법이다. 이 generative … 새로운 분야 공부를 시작할 때, survey 논문을 먼저 보는 편인데 Zero shot에 흥미가 생겨서 survey 논문을 읽어봤다. Zero-Shot learning 에 대해 설명되어 있는 한국어 자료가 많이 없는 것 같아서 한번 글로..까먹으면 다시 보려고 정리하는 블로그
Table of Contents:

[논문 읽기] Zero-Shot Learning(ZSL) 이란

Zero-Shot Learning(ZSL) vs Generalized Zero Shot Learning(GZSL)

How

Generalized Zero Shot Learning(GZSL)

GZSL Methods

Embedding Space

Challenging Issues

Performance Indicator

Performance

티스토리툴바

Article author: choice-life.tistory.com
Reviews from users: 14411 Ratings
Top rated: 3.3
Lowest rated: 1
Summary of article content: Articles about Zero Shot Learning(제로샷 학습, 0shot) Zero shot learning(ZSL)은 기계 학습에서 설정된 문제로, Test 때 Learner는 훈련 중에 관찰되지 않은 클래스의 샘플을 관찰하며, 이들이 속한 범주 … …
Most searched keywords: Whether you are looking for Zero Shot Learning(제로샷 학습, 0shot) Zero shot learning(ZSL)은 기계 학습에서 설정된 문제로, Test 때 Learner는 훈련 중에 관찰되지 않은 클래스의 샘플을 관찰하며, 이들이 속한 범주 … 출처 : https://en.wikipedia.org/wiki/Zero-shot_learning Zero shot learning(ZSL)은 기계 학습에서 설정된 문제로, Test 때 Learner는 훈련 중에 관찰되지 않은 클래스의 샘플을 관찰하며, 이들이 속한 범주를..
Table of Contents:

태그

‘NLP 자연어 처리 Natural Language Processing’ Related Articles

공지사항

최근 포스트

태그

검색

전체 방문자

티스토리툴바

Article author: velog.io
Reviews from users: 23764 Ratings
Top rated: 4.5
Lowest rated: 1
Summary of article content: Articles about [논문스터디 Week 8-9] Zero-shot Learning Through Cross-Modal Transfer Palatucci의 Zero-Shot Learning with Semantic Output Codes라는 논문으로, 학습데이터에는 없었던 unseen 를 의미적으로 매핑시켜 예측할 수 … …
Most searched keywords: Whether you are looking for [논문스터디 Week 8-9] Zero-shot Learning Through Cross-Modal Transfer Palatucci의 Zero-Shot Learning with Semantic Output Codes라는 논문으로, 학습데이터에는 없었던 unseen 를 의미적으로 매핑시켜 예측할 수 … .
Table of Contents:

[논문스터디 Week 8-9] Zero-shot Learning Through Cross-Modal Transfer

Article author: ko.quish.tv
Reviews from users: 7655 Ratings
Top rated: 4.0
Lowest rated: 1
Summary of article content: Articles about 알파벳 문자를 학습하는 ZERO-SHOT 학습(코드를 사용한 실험) – 블로그 Zero-shot learning은 훈련 중에 관찰되지 않은 범주를 인식하는 방법입니다. 모든 범주에 대해 수많은 예제에 의존하는 기존 지도 학습 접근 방식과 비교할 때 제로샷 … …
Most searched keywords: Whether you are looking for 알파벳 문자를 학습하는 ZERO-SHOT 학습(코드를 사용한 실험) – 블로그 Zero-shot learning은 훈련 중에 관찰되지 않은 범주를 인식하는 방법입니다. 모든 범주에 대해 수많은 예제에 의존하는 기존 지도 학습 접근 방식과 비교할 때 제로샷 … 개발자가 버그 및 문제에 대한 주제를 토론하고 지식을 작성 및 공유하며 전 세계 수백만 개발자와 연결할 수 있는 소셜 네트워크입니다.개발자가 버그 및 문제에 대한 주제를 토론하고 지식을 작성 및 공유하며 전 세계 수백만 개발자와 연결할 수 있는 소셜 네트워크입니다.
Table of Contents:

방향데이터사이언스닷컴

알파벳 문자를 학습하는 Zero-Shot 학습(코드를 사용한 실험)

Article author: daeun-computer-uneasy.tistory.com
Reviews from users: 11944 Ratings
Top rated: 4.2
Lowest rated: 1
Summary of article content: Articles about [XAI] OpenAI CLIP 논문 리뷰[2] – Zero shot & Representation learning — 다은이의 컴퓨터 공부 여기서 Zero-shot 이란 한번도 보지 못한 데이터에 대한 라벨을 예측하는 방식을 말합니다. 따라서 본 고에서는 한번도 보지 못한 데이터셋을 이용해 제로 … …
Most searched keywords: Whether you are looking for [XAI] OpenAI CLIP 논문 리뷰[2] – Zero shot & Representation learning — 다은이의 컴퓨터 공부 여기서 Zero-shot 이란 한번도 보지 못한 데이터에 대한 라벨을 예측하는 방식을 말합니다. 따라서 본 고에서는 한번도 보지 못한 데이터셋을 이용해 제로 … 이번 포스팅에서는 저번 포스팅에서 다루었던 CLIP 논문의 Experiment를 중심으로 포스팅하겠습니다. 특히 이번 게시글에서는 zero shot learning과 representation learning에 관해 포스팅할텐데요, 역시 잘못된..
Table of Contents:

블로그 메뉴

공지사항

인공지능의 시대, 데이터가 필요 없는 제로샷 학습!

만약 뱀에 대해 학습한 경험이 없는 인공지능에게 ‘길이가 길고 다리가 없으며 비늘이 있는 것’에 대해 물어본다면 인공지능은 대답할 수 있을까요? 기존의 인공지능은 대답할 수 없지만 제로샷 학습을 통해 만들어진 인공지능은 가능합니다. 제로샷 학습은 학습된 데이터를 분류하고 정리해 카테고리를 형성한 뒤 그 카테고리의 의미를 이해하기 때문입니다. 그래서 인공지능은 각 카테고리에 대한 의미적 이해를 바탕으로 이전에 경험하지 못한 새로운 예제를 이해하고 분석할 수 있습니다.

인공지능의 기계학습은 계속해서 똑똑해지고 있지만 카테고리에 정리된 학습 데이터 세트가 필수적입니다. 만약 이 데이터 세트가 없다면 이전의 학습한 적 없는 것에 대해서 비슷한 내용일지라도 전혀 새롭게 받아들이게 됩니다. 즉 두 개의 유사한 객체는 제대로 인식하지 못하기 때문에 구분할 수 없는 것입니다.

반면, 인간은 카테고리 별로 데이터를 구분하지 않아도 자연스럽게 객체를 식별할 수 있습니다. 쏘0타, 아0떼와 같은 자동차를 승용차라고 분류하는 과정이 우리의 일상적인 사고방식이기 때문입니다. 제로샷 학습은 이렇게 평범한 인간의 능력에서 영감을 받아 개발되었습니다.

*제로샷 학습은 전이학습(Transfer learning)에서 발전된 기계학습의 한 종류입니다. 전이학습이란, 최근 기계학습에서 많이 사용되는 방법으로 데이터 간의 관계와 공통점을 이용해 정답을 찾습니다. 예를 들면, 문제 A에 대한 정답이 문제 B, C, D 등 다른 문제에도 존재할 경우, 인공지능이 문제들의 관계를 분석합니다. 분석 후 공통점이 파악되면 그것을 중심으로 문제의 정답을 찾을 수 있어 데이터가 풍부하지 않은 분야에서 주로 사용됩니다.

[논문 읽기] Zero-Shot Learning(ZSL) 이란?

반응형

새로운 분야 공부를 시작할 때, survey 논문을 먼저 보는 편인데 Zero shot에 흥미가 생겨서 survey 논문을 읽어봤다. Zero-Shot learning 에 대해 설명되어 있는 한국어 자료가 많이 없는 것 같아서 한번 글로 작성해본다.

https://arxiv.org/abs/2011.08641

더 정확히 말하면 zero shot이 아니라 generalized zero shot에 대한 survey 논문인데, 이 둘의 차이점이 뭔지부터 살펴보겟다.

Zero-Shot Learning(ZSL) vs Generalized Zero Shot Learning(GZSL)

일반적으로 딥러닝은 training에 사용된 class만을 예측할 수 있다. 따라서 unseen data가 입력되면 seen class로 예측하는 바보가 되버리는데, Zero shot은 train set에 포함되지 않은 unseen class를 예측하는 분야이다.

즉, unseen data를 입력 받아도, seen data로 학습된 지식을 전이하여 unseen data를 unseen class로 예측할 수 있다.

open set recognition은 unseen data를 unseen으로 몰아넣는 반면에, ZSL은 unseen data의 구체적인 class를 예측한다.

위 그림을 보면 Zero shot과 GZS의 차이점은 test에 있다.

ZSL는 test시에 unseen data만을 입력 받아 class를 예측하고, GZSL은 test시에 unseen, seen data를 둘 다 입력 받아 예측을 수행한다.

real world 관점에서는 unseen과 seen data를 입력 받는 상황이 대체적 이므로 GZS이 더 적합하다고 볼 수 있다.

How?

그러면 어떻게 training set에 포함되지 않은 unseen data를 예측할 수 있을까?

그 이유는 semantic information에 있다.

semantic information은 여러 종류가 될 수 있는데, 한 가지 예시를 들면 data의 class를 word embedding으로 사용하는 것이다.

one-hot vector를 class로 주어 학습된 딥러닝 모델은 강아지와 고양이의 관계를 모르지만, class를 word embedding된 sentence로 주어 학습한다면 이 딥러닝 모델은 강아지와 고양이의 관계를 알 수 있다.

이렇게 seen data와 semantic information으로 학습된 지식을 unseen data를 예측하는데에 사용하는 것이다.

따라서 ZSL 모델은 seen data에 overfit될 수 있는데 이로부터 문제점이 발생한다. 또한 GZSL 환경에서 성능이 저하된다. 즉, unseen data를 seen class로 예측할 수 있다는 말이다. 발생하는 문제점은 아래에서 살펴보겠다.

다른 semantic information은 객체의 attributes가 될 수 있는데 이것은 객체의 특성(크기, 색상, 다리 갯수) 등을 label하여 하나의 벡터로 표현해 class로 입력해주는 것이다. 그러면 사람이 또 annotation 해야 하는데 대량의 데이터셋은 적합하지 않다. word embedding 방법을 사용하면 word2Vec이나 BERT의 사전 학습된 word vector를 가져올 수 있으므로 semantic information은 word vector가 적합하다고 볼 수 있다.

Generalized Zero Shot Learning(GZSL)

GZSL은 활용하는 정보에 따라 3가지로 분류할 수 있다.

(1) Transductive GZSL

Transductive GZSL은 seen, unseen의 visual feature와 semantic information을 모두 활용한다. 실제 환경에서 unseen에 대한 visual feature를 얻는 것이 불가능하므로 real word 환경에서 적합하지 않다고 볼 수 있다.

(2) Transductive semantic GZSL

seen의 visual feature, semantic information과 unseen의 semantic information을 활용한다. 그러면 unseen의 visual feature이 없는데 어떻게 해야 할까??

generative-based methods

한 가지 예시를 설명하면 generative-based methods에서 unseen에 대한 image를 생성한다.

seen의 semantic representation을 입력 받아 seen image를 생성할 수 있다면, unseen에 대한 semantic representation을 입력 받으면 unseen image를 생성할 수 있다는 가정에서 시작한다.

generative model로 생성한 unseen data를 traning set에 넣어 함께 학습시켜 unseen에 대한 예측도 수행할 수 있도록 하는 방법이다.

이 generative based method는 real visual feature의 실제 분포로부터 unseen class에 대한 visual feature를 제대로 생성해내지 못할 수 있다는 문제점이 있다.

내가 가장 관심있는 방법이 이 generative based method 이다.

embedding based method

다른 방법으로는 embedding based method인데, 동일한 클래스에 대한 visual feature를 semantic embedding space로 가깝게 mapping한다. 그러면 unseen 에 대한 visual feature를 입력 받았을 때, seen 으로 학습한 embedding space 상에서 적합한 위치에 projection 하게 되는데 이에 해당하는 semantic information이 unseen class가 되는 것이다.

(3) inductive GZSL

seen의 visual feature와 semantic information만을 입력 받아 학습이 진행된다. 어떻게 보면 가장 어려운 task라고 볼 수 있다.

GZSL Methods

위 그림처럼 GZSL 방법은 정말 다양하다. 큰 범주로 나누면 embedding-based method와 generative-based methods로 볼 수 있다.

Embedding Space

GZSL은 seen class의 저차원 visual feature를 그에 해당하는 semantic vector로 mapping/embedding하는 함수를 학습하는 것으로 볼 수 있다.

visual feature 사이에는 큰 variation이 존재하는데, 강아지와 고양이의 visual feature의 연관성이 적기 때문이다. semantic information은 둘의 연관성을 잘 알고 있으므로 variation을 줄일 수 있다.

a) visual -> semantic embedding

이 방법은 GZSL이 학습한 함수가 visual space의 vector를 semantic embedding으로 mapping하는 방법이다.

W가 학습된 함수, x는 visual feature, a는 semantic information이다. 두 번째 항의 람다는 정규화항.

b) Semantic -> visual embedding

이 방법은 semantic vector를 visual embedding으로 mapping하는 함수를 학습하는 방법.

c) Latent Embedding

latent embedding은 visual feature와 semantic representation을 common space L로 projection하여 동일한 클래스에 해당하는 visual, semantic vector는 common space L 내에서 가깝게 project하는 함수를 학습하는 방법이다.

Challenging Issues

대표적으로 hubness problem과 domain shift problem, biased towards the seen classes 문제가 존재한다.

(1) hubness problem

ZSL와 GZSL은 visual feature를 semantic space로 project하고, 고차원 space에서 nearest neighbor search를 하여 unseen에 대한 class를 예측하므로 nearest neighbors에 치명적인 차원의 저주문제가 발생한다. 차원의 저주는 차원이 높아질 수록 data 사이의 거리가 멀어지는 문제

(2) domain shift problem

seen class의 data로 ZSL, GZSL의 mapping 함수가 학습되었으므로 unseen class에 대한 adaption이 없다면 domain shift problem이 발생한다. 이 문제는 주로 unseen의 아무런 정보없이 학습하는 inductive based method에서 발생한다.

(3) biased towards the seen classes

GZSL 방법은 seen class의 data로 모델을 학습하여 unseen과 seen class를 분류하기 때문에, biased towards the seen classes 문제가 발생한다. unseen class의 data를 seen class로 분류하는 것이다. 이 문제를 해결하기 위해 여러 방법들이 고안되었는데… 자세한 사항은 잘 모르겠음.

Performance Indicator

GZSL 방법의 performance를 평가하는 metric.

seen과 unseen에 대한 정확도가 기본적으로 쓰이고 Harmonic mean(HM)이라는 metric이 존재한다.

GZSL 방법은 seen class쪽으로 편향이 되어 있는데, seen에 대한 정확도가 unseen 보다 높으면 이 HM score는 하락한다.

Performance

embedding-based method

generative-based methods

transductive-based method

반응형

Zero Shot Learning(제로샷 학습, 0shot)

Zero shot learning(ZSL)은 기계 학습에서 설정된 문제로, Test 때 Learner는 훈련 중에 관찰되지 않은 클래스의 샘플을 관찰하며, 이들이 속한 범주를 예측해야 한다. 이 문제는 컴퓨터 비전, 자연어 처리, 기계 인식에서 널리 연구되고 있습니다.

배경과 역사

자연어 처리의 제로 샷 학습에 대한 첫 논문은 AAAI’08에 등장했지만 학습 패러다임에 주어진 이름은 데이터없는 분류였습니다.
[1] www.aaai.org/Papers/AAAI/2008/AAAI08-132.pdf

컴퓨터 비전의 제로 샷 학습에 관한 첫 논문은 제로 데이터 학습이라는 이름으로 같은 컨퍼런스에서 발표되었습니다.
[2] www.aaai.org/Papers/AAAI/2008/AAAI08-103.pdf

이후에 더 잘 알려진 다른 논문에서 대중화되었고, 제로 샷 학습이라는 용어는 몇 년 전에 컴퓨터 비전에 도입 된 원 샷 학습을 따라 잡았습니다.

컴퓨터 비전에서 제로 샷 학습 모델은 클래스 표현과 함께 본 클래스에 대한 매개 변수를 학습했으며 추론 중에 인스턴스를 새 클래스로 분류할 수 있도록 클래스 레이블 간의 표현 유사성에 의존합니다.

자연어 처리에서 개발된 주요 기술적 방향은 분류될 문서의 의미적 공간과 동일한 의미적 공간에서 레이블을 나타내는 “라벨 이해” 기능을 기반으로 합니다. 이것은 제로샷 분류의 가장 순수한 형태인 주석이 달린 데이터를 관찰하지 않고 단일 예제의 분류를 지원합니다. 첫 논문에서는 명시적 의미 분석(Explicit Semantic Analysis, ESA) 표현을 사용했지만 이후 논문은 조밀한(Dense) 표현을 포함한 다른 표현을 사용했다. 이러한 접근 방식은 다국어 도메인과 미세한 엔티티 입력 및 기타 문제에도 확장되었습니다. 표현에만 의존하는 것을 넘어, 계산 접근 방식은 텍스트 수반과 질문 답변과 같은 다른 작업으로부터의 전송에 의존하도록 확장되었습니다.

AAAI’08에 제출된 원본 논문은 또한 단일 사례를 분류할 수 있는 능력을 넘어, 사례 집합이 동일한 분포에서 나온다는 가정하에 성능을 반-감독적인 방식으로 부트스트랩할 수 있다고 지적합니다.

분류자가 학습 중에 이미 관찰한 클래스로 새로운 샘플을 올바르게 분류할 것으로 예상되는 기계 학습의 표준 일반화와는 달리, 제로 샷에서는 분류기를 훈련하는 동안 클래스의 샘플이 제공되지 않았습니다. 따라서 도메인 적응의 극단적인 경우로 볼 수 있습니다.

제로 샷 클래스에 대한 전제 조건 정보

당연하지만 제로샷 클래스에 대한 어떤 형태의 사이드 정보가 제공되어야 하며, 이러한 유형의 정보는 여러 가지 유형이 될 수 있습니다.

속성을 이용한 학습 : 클래스는 미리 정의된 구조화된 설명과 함께 제공됩니다. 예를 들어, 조류 설명의 경우, “빨간 머리”, “긴 부리”를 포함할 수 있습니다. 이러한 속성은 종종 구조화된 구성 방식으로 구성되며, 이러한 구조를 고려함으로써 학습을 향상시킬 수 있습니다. 이 접근 방식은 주로 컴퓨터 비전에 사용되었지만, 자연어 처리에서도 몇가지 예가 있습니다.

텍스트 설명을 통해 학습을 하는 것 : 위에서 지적했듯이, 이것은 자연어 처리에서 추구하는 핵심 방향이었습니다. 여기서 클래스 레이블은 의미를 가지기 위해 사용되며 정의 또는 자유 텍스트 자연어 설명으로 보강되는 경우가 많습니다. 예를 들어, 클래스에 대한 위키 백과 설명을 포함할 수 있습니다.

클래스 유사성 : 여기서 클래스는 연속 공간에 내장됩니다. 제로 샷 분류기는 샘플이 해당 공간의 특정 위치에 해당한다고 예측할 수 있으며, 훈련 중에 이러한 샘플이 관찰되지 않았더라도 가장 가까운 임베디드 클래스가 예측 클래스로 사용됩니다.

일반화된 제로 샷 학습

위의 제로 샷 설정은 테스트 시 제로샷 샘플, 즉 보이지 않는 새로운 클래스의 샘플만 주어진다고 가정합니다. 일반화된 제로샷 학습에서는 새로운 클래스와 알려진 클래스의 샘플이 모두 테스트 시간에 나타날 수 있습니다. 주어진 샘플이 새로운 것인지 아니면 알려진 것인지 추정하는 것이 매우 어렵기 때문에, 이는 테스트 시 분류자에게 새로운 과제를 제기합니다. 이러한 문제를 해결하기 위한 접근방식은 다음과 같습니다.

게이트 접근법 : 먼저 추가 모듈을 학습하여 주어진 샘플이 새 클래스인지 또는 이전 클래스읹니 여부를 결정합니다. 게이터는 어려운 결정[3]을 출력할 수 있지만 부드러운 확률론적 결정을 방출하면 이 접근법[4]의 정확도가 더욱 향상됩니다.
[3] arxiv.org/pdf/1301.3666.pdf
[4] arxiv.org/pdf/1812.09903.pdf

생성적 접근 방식 : 생성 모델은 보이지 않는 클래스의 특징 표현을 생성하도록 학습됩니다. 그런 다음 표준 분류기는 보이는 것과 보이지 않는 모든 클래스의 표본을 사용하여 학습됩니다.[5] [5] arxiv.org/pdf/1808.00136.pdf

+ NLP TASK Zero Shot Sample 추가 필요

반응형

So you have finished reading the zero shot learning 설명 topic article, if you find this article useful, please share it. Thank you very much. See more: One-shot learning 설명, Few-shot learning 이란, 퓨샷러닝, Hypernetworks 설명, What is Zero-shot, zero-shot learning through cross-modal transfer, zero-shot text-to-image generation, zero-shot learning through cross-modal transfer 리뷰

Top 47 Zero Shot Learning 설명 133 Most Correct Answers

인공지능의 시대, 데이터가 필요 없는 제로샷 학습! : 네이버 블로그

[논문 읽기] Zero-Shot Learning(ZSL) 이란?

Zero Shot Learning(제로샷 학습, 0shot)

[논문스터디 Week 8-9] Zero-shot Learning Through Cross-Modal Transfer

알파벳 문자를 학습하는 ZERO-SHOT 학습(코드를 사용한 실험) – 블로그

[XAI] OpenAI CLIP 논문 리뷰[2] – Zero shot & Representation learning — 다은이의 컴퓨터 공부

제로샷 러닝, 데이터 없이도 AI가 학습하도록 한다? < Opinion < Ai/Robot < Tech < 기사본문 - 코딩월드뉴스

[Dmqa Open Seminar] Zero-Shot Learning | zero shot learning 설명 업데이트

[zero-shot] uncertainty 관련 zero-shot 글들

인공지능의 시대, 데이터가 필요 없는 제로샷 학습!

[논문 읽기] Zero-Shot Learning(ZSL) 이란?

Zero Shot Learning(제로샷 학습, 0shot)

Leave a Comment Cancel reply