ML
on device
•
privacy
•
Realtime
•
No server
•
Available
Face ID
Handwriting Recognition
Keyboard → 오타 보정
Airpod, Siri → 예측 기능
Photo → Vision 프레임워크에서 search field에서 비슷한 것들 매칭해서 보여줌
사진, 밝기, 노출 정도
Vision
→ Image Saliency를 배경으로 한다.
→ Document Camera, 사각형을 인식하고 텍스트를 뽑아냄.
Object Detector
•
Localizes and recognize content in an image
•
For one or more classes
•
Deep learning based
•
In-built augmentation
Natural Language
•
어떤 얘기들을 하고 있는지 찾아내느 것
•
Sentiment Analysis → 감정을 인식하는 ML
•
Word Embedding → Word가 어디에 군집되어 있는지, 매칭해둔것.
Hand pose
21개의 점을 제공해줌. 왼, 오른손을 판단. 손에 대한 좌표값으로 값을 받음
•
손가락을 찾아서 인식
UI Control
Hand Emoji
Hand landmarks
손가락마다 4의 노드
엄지도 4개를 제공
총 21개의 landmark를 제공
Hand actions
hand pose의 sequence를 통해서 어떤 액션을 하는지 describe한다.
Human body pose
Multi-pserson pose setimation
•
여러 사람들을 인식가능
•
하지만 5명 이하면 좋다.
Action shots
•
사람이 하는 행동을 예측해서 (이 모션에 사진을 찍을 거야)
Stromotion shots
•
쪼개 쪼개 쪼개서 붙이면 내가 무슨 동작을 하는지 볼 수 있다.
Ergonomics and safety
Action Classification with CreateML
•
트래킹, 카운팅 가능
•
영상과 함께 혼합을 해서 서비스를 많이 하고 반응도 좋음
Style Transfer
•
내가 사진에 입히고 싶었던 스타일을 넣을 수 있다.
•
원래 이미지에 스타일이 들어감.
•
영상에도 렌더링을 줄 수 있다.
Vision(2017~)
Action classifier
capturing actions
•
one action type per video
•
Single action videos in named folders
•
모델을 만들 수 있습니다.
Model personalization
•
모델이 얼마나 개인화가 될 수 있는가.
sound Recongnition for accessibility users.
•
acquire list of recofnized sound
•
find sound file
◦
perform sound classification
◦
detection time and window duration
◦
smaller window duration
◦
larger window duration
◦
confidence thresholds
Text recognition
Optical flow
•
video frame에서 두 가지를 찾아서 확인해주는 로직 → 2D vactor
•
local motion in a video
•
security videos
•
tracker init
•
precursor to further video processing
◦
video interpolation
◦
video action analysis
Data Scanner
•
Data Scanner View Controller
•
Live camera preview → Guidance, ltem highlighting
•
Tap to focus
•
pinch to zoom
DataScannerViewController.isSupported
Swift
복사
2018 or newer with Neural Engine