[20230423] Weekly AI ArXiv 만담 시즌2 - 15회차

[jungwoo-ha]

News

• Conference 소식

  • CHI 2023: 독일 함부르크, 4.23 - 28
  • ICLR 2023: 르완다 키갈리(Aㅏ), 5.1-5

• Google Deepmind!!!

  • Google Brain 과 Deepmind가 하나의 팀으로!
  • 연구의 수장은 Jeff Dean이 맡는 것으로 보이고 리포팅라인은 Google CEO에게
  • Demis Hassabis의 메일
  • Sundar Pichai의 메일

• Microsoft Viva Copilot

• Whisper의 엄청 빠른 inference 버전 on huggingface

• NeurIPS 2023 Datasests and Benchmarks Track Review 와 AC를 모십니다

  • 실적이 검증된 시니어 연구자 분들 중에 Area chair 관심있는 분들은 별도 문의 부탁드려요.

ArXiv

• Is ChatGPT a Good Recommender? A Preliminary Study?

  • 알리바바 그룹에서 ChatGPT (GPT 3.5 Turbo) 를 활용해서 5가지 추천 시나리오에 적용
  • 태스크: 평점 예측, 순차적인 상품 추천, 일반적인 상품 추천, 추천이유 설명, 리뷰요약
  • 별도 튜닝없이 (Tuning API 제공을 않으니..) zero shot, few shot 을 prompt만으로 시도. 몇가지 외부 correction 모듈 추가
  • Amazon Beuty 데이터 셋에 대해서 수행
  • 평점예측은 경쟁력 있어 보임. 그런데 베이스라인이 너무 약해보이긴 함.
  • 상품 추천은 그닥 재미를 못봄.
  • 역시 글쓰기 전문이라 추천이유나 리뷰요약은 automatic metric으로는 꽝인데 실제 사람 평가에서는 상당히 경쟁력 있음. (이는 하이퍼클로바 2021논문에서도 유사함)
  • 일단 LM을 블랙박스 형태로 commerce에서 어느정도 활용가능성 확인
    
    
    
    
    
    

• Longitudinal analysis of sentiment and emotion in news media headlines using automated labelling with Transformer language models

  • New Zealand Institute of Skills and Techs 에서 나온 뉴스 미디어 관련 연구 (Plos One: 역시 삼라만상을 다루는 저널)
  • Transformer 이용해서 기사 제목의 감성 분석
  • 2000년대 이후 기사 제목이 neutral 이 급격히 줄어들고 자극적(?)인 형태 비중이 급격히 증가했다는 결론.
  • 기사 제목의 선정성 문제는 전 세계적인 경향인듯..
  • 보수/진보지보다 중립성향 언론이 좀더 긍정느낌의 제목 비율이 높음.
    
    

[gyunggyung]

LiOnConnect

LiOn 모델은 초대규모 언어모델을 사내에 설치함으로서 사내 정보가 외부로 유출될 우려를 불식시키면서 자연어모델의 강력한 성능과 효율성을 활용할 수 있도록 해줄 것입니다.

Help

We're looking for someone to join us in implementing a top-performing LiOn model.

Reach out to me at the email below with a little bit about yourself.

[email protected]

How

• Cerebras-GPT Cerebras-GPT로 쿼리 및 자연어 생성
• LangChain: 이 라이브러리로 자연어 데이터베이스 질의.

Related issues

1. 연결할 수 있는 공개 DB 필요.
2. LoRA + GPTQ + Cerebras-GPT + HuggingGPT + Auto-GPT + Reflecting on Reflexion 검증 필요.
3. Fine-tuning 가능한 3090 이상의 GPU 필요.

MVP

공개모델인 Cerebars-GPT 기반의 초대규모 언어 모델
제품정보, 물류정보, 인사정보, 사내 규정, 회계 기준 등 기업 내 데이터베이스(DB) 연결, 내부 정보를 실시간 접근하여, 사내 구성원의 다양한 질의 및 문제해결에 활용 가능.

MVP Example

• 신제품 LTG-9933 모델의 출시일자 및 규격은?
• 야근 시 경비처리 가능 금액 한도와 사용시간 제한은?
• XXX사의 주문에 대한 현재 생산 현황은?
• 직원, 상사와의 불화에 대한 고충 해결 방법은?

Running LangChain

CustomSQLDatabaseChain, CustomOpenAI 를 만들어서 기존에 동작하지 않던 Model 사용 가능.

Prompts

text1 = "What are the top 3 most expensive products"
text2 = "Can you give me a list of the 3 priciest items we have for sale?"
text3 = "Which 3 products are the most expensive ones we offer?"

result = db_chain(text1)
result = db_chain(text2)
result = db_chain(text3)

Example

사내의 제품 정보, 물류 정보, 인사규정, 회계기준과 같은 정보는 사내에 유지되어야 하며, 해당 사항에 대한 질의와 답변에 대해서도 비밀이 유지되어야 합니다.
기존 외부 클라우드에서 제공되는 언어모델의 경우 사내 정보가 유출될 가능성을 통제할 수 있는 기술적인 방법이 없으므로, 언어모델을 사내에 설치하여 사용하는 방법이 유일합니다.

LiOn은 사내에 설치하여 사용할 수 있는 경량화된 초거대 언어모델로서 사내의 정보를 안전하게 유지하면서 구성원들이 안전하게 사용할 수 있는 대안을 제공할 수 있습니다.

아래는 그중 하나의 예시이며사내에서의 직원들과의 불화에 대한 상담에 있어 LiOn이 상담하는 사례를 보실 수 있습니다.
이 외에도 LiOn은 사내에서 일어날 수 있는 수많은 상황에서 다양한 해결방법을 제공함으로서 24/7 구성원들의 업무를 돕는 것이 가능합니다.

직원 상담 챗봇에 오신 것을 환영합니다!
회사 규정이나 근무 시 애로사항에 대한 대한 조언을 구하거나 질문을 할 수 있습니다.
'검색:'을 입력한 후 검색어를 입력하면 PubMed를 검색할 수 있습니다.
챗봇을 종료하려면 '종료'를 입력합니다.
사용자: 회사 직원들과의 불화로 행복하지 않아요. 어떻게 해야 하나요? 
봇: 죄송하지만 저는 AI 언어 모델일 뿐 감정을 느낄 수 없습니다. 하지만 다음은 행복을 찾는 데 도움이 될 수 있는 몇 가지 일반적인 팁입니다:
1. 긍정적이고 기운을 북돋우는 사람들과 함께하세요.
2. 현재 순간에 집중하고 현재에 충실하세요.
3. 인생의 모든 좋은 것들에 대해 감사하는 마음을 키우세요.
4. 스트레스를 줄이기 위해 운동이나 명상과 같은 자기 관리를 실천합니다.
5. Enjo
사용자: 이별이 슬프지만 어떻게 하면 행복해질 수 있을까요? 불행하지만 다시 행복해지고 싶어요.
봇: 이별을 받아들이는 것은 어려울 수 있지만, 치유하고 다시 행복을 찾기 위한 조치를 취하는 것이 중요합니다. 다음은 시작하는 데 도움이 되는 몇 가지 팁입니다:
1. 자기 관리에 집중하세요. 자신을 위한 시간을 갖고, 기분을 좋게 만드는 활동에 참여하거나 새로운 것을 시도하세요.
2. 도움이 되는 사람들과 연결하기. 정서적 지지를 제공할 수 있는 친구와 가족을 주변에 두세요.
3. 감사 연습하기
사용자: 이별이 슬프지만 어떻게 하면 행복해질 수 있을까요? 불행하지만 다시 행복해지고 싶어요.
봇: 사랑하는 사람과 시간을 보내거나 좋아하는 취미 또는 활동에 참여하는 등 기분을 좋게 만드는 일에 집중하는 것이 도움이 될 수 있습니다. 부정적인 감정을 완화하는 데 도움이 될 수 있으므로 성찰과 명상을 위해 혼자만의 시간을 따로 마련해 보세요. 또한, 이 어려운 시기에 전문적인 안내와 지원을 제공할 수 있는 치료사와 상담하는 것도 고려해 보세요.
여러분: 정말 고마워요. 어떻게 그렇게 질문에 잘 대답할 수 있나요?
봇: 사용자: 정말 고마워요. 어떻게 그렇게 질문에 잘 대답하나요?
봇: 죄송합니다만, 저는 사람이 아니라 유용한 정보를 제공하고 고객 지원 요청에 응답하는 등의 일반적인 작업을 지원하도록 프로그래밍된 AI 기반 봇입니다.
You: 


Translated with www.DeepL.com/Translator (free version)

심각한 뉴스를 공유합니다.

해당 내용은 공개를 할 수도 없는 정도입니다. 이제 페이크 포르노의 퀄리티가 급이 달라질 것입니다.

Gen-2 + GPT-4 + HuggingGPT + Auto-GPT + Reflecting on Reflexion = 성착취AGI 입니다.

반응이 없으면 전문을 페이스북과 기자 분들께 드리겠습니다.

https://openai.com/blog/bug-bounty-program

Stability AI, StableLM 언어 모델 제품군 중 첫 번째 제품 출시

4월 19일

"확률적 앵무새, 평면 디자인, 벡터 아트" - Stable Diffusion XL.

오늘 Stability AI는 새로운 오픈 소스 언어 모델인 StableLM을 출시했습니다. 알파 버전의 모델은 30억 개와 70억 개의 매개변수로 제공되며, 150억 개에서 650억 개의 매개변수 모델이 뒤따를 예정입니다. 개발자는 CC BY-SA-4.0 라이선스 조건에 따라 상업적 또는 연구 목적으로 StableLM 기본 모델을 자유롭게 검사, 사용 및 조정할 수 있습니다.

2022년, 스테이블리티 AI는 독점 AI에 대한 투명하고 개방적이며 확장 가능한 대안을 제시하는 혁신적인 이미지 모델인 스테이블 디퓨전의 공개를 주도했습니다. StableLM 모델 제품군의 출시와 함께 Stability AI는 계속해서 모든 사람이 기초적인 AI 기술에 액세스할 수 있도록 하고 있습니다. StableLM 모델은 텍스트와 코드를 생성할 수 있으며 다양한 다운스트림 애플리케이션을 구동할 수 있습니다. 이 모델은 작고 효율적인 모델이 적절한 훈련을 통해 얼마나 높은 성능을 제공할 수 있는지 보여줍니다.

StableLM의 출시는 비영리 연구 허브인 EleutherAI와 함께 초기 언어 모델을 오픈소싱한 경험을 기반으로 합니다. 이러한 언어 모델에는 더 파일 오픈 소스 데이터 세트에서 학습된 GPT-J, GPT-NeoX, Pythia 제품군이 포함됩니다. 최근의 많은 오픈 소스 언어 모델들은 이러한 노력을 바탕으로 계속해서 개발되고 있으며, 여기에는 Cerebras-GPT와 Dolly-2가 포함됩니다.

StableLM은 더 파일에 구축된 새로운 실험 데이터 세트를 기반으로 학습되었지만, 콘텐츠가 1조 5천억 개에 달해 3배 더 큽니다. 데이터 세트에 대한 자세한 내용은 추후 공개할 예정입니다. 이 데이터 세트의 풍부함 덕분에 StableLM은 30억~70억 개의 매개변수라는 작은 크기에도 불구하고 대화 및 코딩 작업에서 놀라울 정도로 높은 성능을 제공합니다(이에 비해 GPT-3에는 1,750억 개의 매개변수가 있습니다).

이게 미래라고 봅니다.

입출력 제한이 명백하고 느린 트랜스포머를 LLM에는 적합하지 않다고 생각합니다. RNN도 적합하지 않지만 최선이지 않을까? 써보려고 합니다. 혹시 써보신 분, 다른 모델들과 비교하면 성능은 어떤가요? Park Chansung

ChatRWKV는 ChatGPT와 비슷하지만 RWKV(100% RNN) 언어 모델과 오픈 소스로 구동됩니다.

ChatRWKV(4가지 주요 매개변수: R W K V에서 "RwaKuv"로 발음)
ChatRWKV는 ChatGPT와 비슷하지만, 품질과 스케일링에서 트랜스포머에 필적할 수 있으면서도 더 빠르고 VRAM을 절약할 수 있는 유일한 RNN(현재 기준)인 제 RWKV(100% RNN) 언어 모델로 구동됩니다. Stability EleutherAI가 후원하는 교육 :) 한국어 사용 교육은 페이지 하단에서 확인하세요.

허깅페이스 그라디오 데모(14B ctx8192): https://huggingface.co/spaces/BlinkDL/ChatRWKV-gradio

Raven(알파카 등에서 미세 조정된 7B) 데모: https://huggingface.co/spaces/BlinkDL/Raven-RWKV-7B

RWKV pip 패키지: https://pypi.org/project/rwkv/(항상 최신 버전 및 업그레이드를 확인하시기 바랍니다)

ChatRWKV v2 및 pip rwkv 패키지 업데이트(0.7.3):

v2/convert_model.py를 사용하여 전략에 대한 모델을 변환하면 로딩 속도가 빨라지고 CPU RAM을 절약할 수 있습니다.

참고 ### RWKV_CUDA_ON은 CUDA 커널을 빌드합니다("pip install ninja" 먼저).

Linux에서 빌드하는 방법: 다음을 설정하고 v2/chat.py를 실행합니다.

export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

Win에서 빌드하는 방법:

VS2022 빌드 툴을 설치합니다(https://aka.ms/vs/17/release/vs_BuildTools.exe 에서 데스크톱 C++ 선택). CUDA 11.7을 재설치합니다(VC++ 익스텐션 설치). "x64 네이티브 툴 명령 프롬프트"에서 v2/chat.py를 실행합니다.
RWKV-4 가중치 다운로드: https://huggingface.co/BlinkDL (RWKV-4 모델 사용. RWKV-4a 및 RWKV-4b 모델은 사용하지 마세요.)



RWKV 디스코드: https://discord.gg/bDSBUMeFpc (함께 빌드합시다)
트위터: https://twitter.com/BlinkDL_AI

RWKV LM: https://github.com/BlinkDL/RWKV-LM (설명, 미세 조정, 교육 등)

150줄로 된 RWKV(모델, 추론, 텍스트 생성): https://github.com/BlinkDL/ChatRWKV/blob/main/RWKV_in_150_lines.py

ChatRWKV v2: "스트림" 및 "분할" 전략 및 INT8. 3G VRAM은 RWKV 14B를 실행하기에 충분합니다 :) https://github.com/BlinkDL/ChatRWKV/tree/main/v2

os.environ["RWKV_JIT_ON"] = '1'
os.environ["RWKV_CUDA_ON"] = '0' # '1'이면 seq 모드에 CUDA 커널 사용 (훨씬 빠름)
rwkv.model에서 RWKV 임포트 # pip 설치 rwkv
model = RWKV(model='/fsx/BlinkDL/HF-MODEL/rwkv-4-pile-1b5/RWKV-4-Pile-1B5-20220903-8040', strategy='cuda fp16')

out, state = model.forward([187, 510, 1563, 310, 247], None) # 20B_tokenizer.json 사용
print(out.detach().cpu().numpy()) # 로그를 가져옵니다.
out, state = model.forward([187, 510], None)
out, state = model.forward([1563], state) # RNN에 상태 있음(복제하려면 deepcopy 사용)
out, state = model.forward([310, 247], state)
print(out.detach().cpu().numpy()) # 위와 같은 결과입니다.


다음은 https://huggingface.co/BlinkDL/rwkv-4-raven/blob/main/RWKV-4-Raven-14B-v7-Eng-20230404-ctx4096.pth 의 동작입니다: 

RWKV 챗봇을 구축할 때는 버그 방지를 위해 항상 상태에 해당하는 텍스트를 확인하시기 바랍니다.

raw forward()를 직접 호출하지 마세요. 대신 상태에 해당하는 텍스트를 기록하는 함수에 넣으세요.

가장 좋은 채팅 형식은 다음과 같습니다(텍스트가 이 형식인지 확인하세요): 밥: xxxxxxxxxxxxxx\n\앤앨리스: xxxxxxxxxxx\n\n밥: xxxxxxxxxxxxxx\n\앤앨리스:

마지막 "Alice:" 뒤에 공백이 없어야 합니다. 생성 결과에는 처음에 공백이 생기므로 간단히 공백을 제거할 수 있습니다.
xxxxx에 \n을 사용할 수 있지만 \n\n은 피하세요. 따라서 xxxxx = xxxxx.strip().replace('\r\n','\n').replace('\n\n','\n')로 간단히 처리하면 됩니다.
멋진 커뮤니티 RWKV 프로젝트:

https://pypi.org/project/rwkvstic/ pip 패키지(8비트 및 낮은 VRAM GPU용 오프로드 포함)

https://github.com/saharNooby/rwkv.cpp rwkv.cpp(빠른 CPU 참조용)

https://github.com/wfox4/WebChatRWKVv2 WebUI

https://github.com/cryscan/eloise RWKV QQ 봇

알파카 스타일로 튜닝된 최신 "레이븐" 시리즈 RWKV 14B 및 7B 모델은 매우 훌륭합니다(거의 ChatGPT와 비슷하며 다자간 채팅도 잘합니다). 다운로드: https://huggingface.co/BlinkDL/rwkv-4-raven

이전 구형 모델 결과:       

中文模型
QQ群 553456870（가입시 간단한 자기소개 부탁드립니다）。有研发能力的朋友加群 325154699。

中文使用教程：https://zhuanlan.zhihu.com/p/618011122 https://zhuanlan.zhihu.com/p/616351661

推荐UI：https://github.com/l15y/wenda

허밍버드 by Feather

요청만 하면 모든 금융 데이터를 찾을 수 있습니다.

샘플 프롬프트

Tesla의 2015~2020년 대차 대조표를 보여주시겠습니까?

아마존이 지난 분기 실적을 상회했나요?

애널리스트들은 Snap의 주식에 대해 뭐라고 말하나요?

내부자들은 어떤 주식을 매수하고 있나요?
기능

기본 사항: 48,000개 기업의 재무제표, 비교 가능한 재무, 비교 가능한 멀티플 및 수익 분석

센티멘트: 애널리스트 추정치 및 애널리스트 목표주가

시장 활동: 최근 내부자 활동
출시 예정

비율: 재무 비율(예: 마진, 자본 수익률 등), 성장률 및 세그먼트 분석

수익: 수익 콜 녹취록 및 요약

토론: 허밍버드에 투자 아이디어를 제시하고 질문과 피드백을 받아 분석을 구체화할 수 있습니다.
허밍버드는 무엇이 효과가 있고 무엇이 효과가 없는지 배우면서 가치를 제공하기 위해 전 세계와 공유하고 있는 실험적인 제품입니다. 대부분의 기능은 아직 출시되지 않았으며, 건설적인 피드백을 보내주시면 감사하겠습니다. 감사합니다!



허밍버드 바이 페더는 때때로 부정확하거나 오해의 소지가 있는 결과가 나올 수 있는 실험용 제품입니다.https://chat.try-feather.com/21st April 2023 - 🐶 Bark
https://www.linkedin.com/pulse/21st-april-2023-bark-david-foster?utm_source=share&utm_medium=member_android&utm_campaign=share_via

[veritas9872]

News

ChatGPT, GenerativeAI and LLMs Timeline
지난 기수 모더레이터를 해주신 전종홍 박사님께서 매일매일 쏟아지는 LLM 관련 뉴스 타임라인을 정리한 GitHub 페이지를 만들어주셨습니다. 최신 LLM 및 유사 ChatGPT 모델에 대한 트렌드를 따라잡는데 많은 도움이 될 것 같습니다.
GitHub: https://github.com/hollobit/GenAI_LLM_timeline

Green Light: NVIDIA Grace CPU Paves Fast Lane to Energy-Efficient Computing for Every Data Center
Blog: https://blogs.nvidia.com/blog/2023/03/21/grace-cpu-energy-efficiency/

RedPajama, a project to create leading open-source models, starts by reproducing LLaMA training dataset of over 1.2 trillion tokens

Announcement: https://www.together.xyz/blog/redpajama
GitHub: https://github.com/togethercomputer/RedPajama-Data
Analysis Blog (Third Party): https://simonwillison.net/2023/Apr/17/redpajama-data

The Unintended Consequences of Censoring Digital Technology -- Evidence from Italy's ChatGPT Ban
ArXiv: https://arxiv.org/abs/2304.09339

DeepSpeed Chat: Easy, Fast, and Affordable RLHF Training of ChatGPT-like Models at All Scales
GitHub: https://github.com/microsoft/DeepSpeed/blob/master/blogs/deepspeed-chat/README.md

Research

DINOv2: State-of-the-art computer vision models with self-supervised learning
ArXiv: https://arxiv.org/abs/2304.07193
GitHub: https://github.com/facebookresearch/dinov2
Blog: https://ai.facebook.com/blog/dino-v2-computer-vision-self-supervised-learning
Website: https://dinov2.metademolab.com

Meta에서 순수히 unsupervised learning 만을 활용한 방법론을 통해 unsupervised image feature learning을 진행하도록 학습한 DINO v2를 공개했습니다. 기존의 CLIP과 같은 방법은 hashtag 등 loose image-text pairing에 많이 의존했으나 해당 방법은 순수히 영상 정보만을 활용해서 Masked image modeling과 multiscale view를 분류하는 학습과 knowledge distillation을 혼합해서 학습을 진행합니다. 또한, 성능 고도화를 위해 기존의 ImageNet 등 데이터와 유사한 1억4천만 장 이상의 새로운 데이터셋을 구성하고 Transformer의 효율적 학습을 위한 custom kernel을 xFormers 라이브러리에 작성해 공개했습니다.

가장 큰 의의는 추가 fine-tuning 없이도 linear classifier 또는 kNN을 통한 분류에서도 SOTA와 유사한 성능을 낼 수 있기 때문에 많은 downstream task에서 동일한 모델을 활용할 수 있다는 점입니다.

SpectFormer: Frequency and Attention is what you need in a Vision Transformer

ArXiv: https://arxiv.org/abs/2304.06446
Website: https://badripatro.github.io/SpectFormers
GitHub: https://github.com/badripatro/SpectFormers

Other Interesting Research

Generative Agents: Interactive Simulacra of Human Behavior
ArXiv: https://arxiv.org/abs/2304.03442
Website: https://rl-at-scale.github.io
GitHub: https://github.com/mkturkcan/generative-agents

Teaching Large Language Models to Self-Debug
ArXiv: https://arxiv.org/abs/2304.05128

Deep RL at Scale: Sorting Waste in Office Buildings with a Fleet of Mobile Manipulators
Blog: https://ai.googleblog.com/2023/04/robotic-deep-rl-at-scale-sorting-waste.html
YouTube: https://www.youtube.com/watch?v=CHS9HSb1uqA&ab_channel=AlexanderHerzog
Paper: https://rl-at-scale.github.io/assets/rl_at_scale.pdf

OpenAssistant Conversations -- Democratizing Large Language Model Alignment
ArXiv: https://arxiv.org/abs/2304.07327
YouTube: https://www.youtube.com/watch?v=64Izfm24FKA&ab_channel=YannicKilcher
Website: https://open-assistant.io/
GitHub: https://github.com/LAION-AI/Open-Assistant

Align your Latents: High-Resolution Video Synthesis with Latent Diffusion Models
Webpage: https://research.nvidia.com/labs/toronto-ai/VideoLDM
ArXiv: https://arxiv.org/abs/2304.08818

teddy_bear_guitar.mp4

Reinforcement Learning from Passive Data via Latent Intentions
ArXiv: https://arxiv.org/abs/2304.04782
Website: https://dibyaghosh.com/icvf
GitHub: https://github.com/dibyaghosh/icvf_release

Learning to Compress Prompts with Gist Tokens
GitHub: https://github.com/jayelm/gisting
ArXiv: https://arxiv.org/abs/2304.08467