iOS LearningMachine🔥

이전 글에서는 Foundation Models와 Generable, Guide에 대해 정리했습니다.Generable을 사용하면 모델의 응답을 Swift 객체로 받을 수 있었고,Guide를 사용하면 생성되는 값에 설명이나 조건을 추가할 수 있었습니다. 하지만 Foundation Model이 앱의 모든 데이터를 알고 있는 것은 아닙니다.예를 들어 다음과 같은 요청이 있다고 가정하겠습니다.지난주에 작성한 회의 메모를 찾아서 요약해줘 모델은 문장을 요약할 수는 있지만,앱 내부에 저장되어 있는 메모를 직접 검색할 수는 없습니다.이때 모델이 앱의 기능을 사용할 수 있도록 연결해주는 것이 Tool Calling입니다.그리고 앱의 기능을 Siri, Spotlight, 단축어 같은 시스템 영역에서도 사용할 수 있도록 연..

Foundation Models를 사용하면 Apple Intelligence의 온디바이스 모델을 Swift 코드에서 직접 사용할 수 있습니다. 이번 글에서는 Foundation Models의 기본 개념과 Generable, Guide에 대해 정리하려고 합니다.Foundation Models란?Foundation Models는 Apple Intelligence의 언어 모델을 앱에서 사용할 수 있도록 제공하는 프레임워크입니다.다음과 같은 작업에 사용할 수 있습니다.텍스트 요약문장 분류정보 추출문장 수정제목 및 태그 생성간단한 대화 생성구조화된 데이터 생성기본 모델은 기기 안에서 실행됩니다.따라서 별도의 API Key가 필요하지 않고 인터넷이 연결되지 않은 상태에서도 사용할 수 있습니다.import Found..

실시간 음성 스트리밍 구현중 직면한 문제입니다. 우선 서버랑 클라이언트간 16kHz, Int16, 30ms 단위로 buffer를 주고받으려고 하였습니다. let sampleRate: Double = 16000let frameDuration: Double = 0.03 // 100mslazy var audioFrameCount = Int(sampleRate * frameDuration) 스트리밍 보낼때 규격에 맞춰서 리샘플링한 데이터를 전송해주었는데 // 변환 후 데이터 전체를 한 번에 전송let pcmBuf = AVAudioPCMBuffer(pcmFormat: mixerFormat, frameCapacity: frameCount)!audioInputConverter?.convert(to: pcmBu..

배경 데이터를 페이징 구조로 불러오고,각 데이터 res값에 대해 별도로 비동기 상세 정보 API을 추가로 요청하고화면에 출력하는 구조를 구현하려 했습니다. 여러 api가 동시에 호출되어야하는 상황입니다. 문제 원인과 해결 처음에는 단순하게 다음과 같은 구조로 처리했습니다.func loadPage() async { let page = try await api.fetchPage() for item in page.items { let detail = try await api.fetchDetail(id: item.id) messages.append(detail) } listRelay.accept(messages)} 이렇게 호출하였을때의 문제점은요청이 순서대로..

Clean Architecture 기반하여네트워크를 추상화, 모듈화하는 코드를 정리하려고 합니다     Clean Architecture에서 네트워크 계층은 다음과 같은 레이어로 나눌 수 있습니다 - Domain Layer: 앱의 핵심 비즈니스 로직과 규칙을 정의합니다- Data Layer: 외부 데이터 소스(네트워크, 데이터베이스 등)와의 상호작용을 처리합니다- Presentation Layer: UI와 상호작용하며, 사용자에게 데이터를 보여줍니다  이중에서 network 로직은 Data Layer에 포함됩니다.    먼저 네트워크 세션의 동작 구현하는 URLSessionWrapper를 작성합니다.import Foundationpublic protocol SessionProtocol { func ..

1. Filemanager로 파일 가져오는 방법 입니다. 우선 앱 외부 저장소 파일에 접근하기 위해key: Supports opening documents in placevalue: yes key: Supports Document Browservalue: yes Info plist에 등록합니다 다음 UIDocumentPickerDelegate를 채택하고 파일을 선택 완료했을때의 api를 호출합니다 class ViewController: UIViewController { let documnetPicker: UIDocumentPickerViewController = UIDocumentPickerViewController(forOpeningContentTypes: [.spreadsheet], asCop..

다섯번째 섹션RAG 기반 대화형 챗봇 만들기입니다. 필요한 라이브러리들입니다.!pip install streamlit-chat!pip install streamlit!pip install langchain!pip install faiss-cpu 설치 이후 주석처리 해줍니다 RAG에 쓰일 데이터는 PDF입니다.PDF를 load한 뒤, 가져온 텍스트를 임베딩 처리 이후 파이시스에 저장하는 코드를 작성합니다. 필요한 라이브러리를 불러오고, open ai key를 입력합니다 sk-import streamlit as stfrom streamlit_chat import messagefrom langchain.embeddings.openai import OpenAIEmbeddingsfrom langchain..

첫번째 섹션간단한 챗봇 만들기 RAG구현은 방식이 아닌챗GPT모델을 가져와서 만드는 챗봇입니다 !pip install langchain!pip install streamlit!pip install openai!pip install langchain_community  먼저아나콘다 가상환경에 langchain, streamlit, openai 를 설치해줍니다   그리고 챗봇 코드 작성 import streamlit as stfrom langchain.chat_models import ChatOpenAIst.set_page_config(page_title="무엇이든 질문하세요~")st.title('무엇이든 질문하세요~')import osos.environ["OPENAI_API_KEY"] = "sk-"def..

API 호출 모듈화를 통해 코드의 재사용성을 높이고 유지보수를 용이하게 할 수 있습니다.  기존에는 이런식으로  API를 작성하여 호출해주었습니다 //// RequsetAPI.swift// 부산 사회 복지 정보를 제공하는 어플// https://apps.apple.com/kr/app/id1588773594// Created by jh on 2021/09/17.//import Foundationimport Alamofirestruct fetchAPI { private init() { } static let shared = fetchAPI() func getData(numOfRows: Int, PageNo: Int, completion: @escaping (_ data: [Item])..

집중 타이머 직관적인 타이머로 집중력을 높여보세요.달력에 기록하고, 얼마나 집중했는지 되돌아보세요.  https://apps.apple.com/kr/app/id6605927206 ‎집중 타이머‎집중 타이머는 집중력을 높이고 시간 관리를 최적화하는 데 도움을 주는 혁신적인 타이머 어플입니다. 독창적인 원형 타이머 디자인을 통해 쉽고 직관적으로 시간을 설정하고, 집중할 수 있apps.apple.com     1. 직관적인 UI로 집중력을 높여보세요    2. 집중한 시간들을 한눈에 살펴보세요    3. 필요에 맞게 커스터마이즈 해보세요     집중 타이머는 집중력을 높이고 시간 관리를 최적화하는 데 도움을 주는 혁신적인 타이머 어플입니다. 독창적인 원형 타이머 디자인을 통해 쉽고 직관적으로 시간을 설정하고..