Apple Silicon، Qualcomm Snapdragon و تراشههای اختصاصی NPU باعث شدهاند مدلهای زبانی و بینایی ماشین مستقیماً روی دستگاه اجرا شوند.
مزایا شامل حریم خصوصی بهتر، تأخیر کمتر و کار بدون اینترنت است. توسعهدهندگان باید اپلیکیشنهای خود را برای inference محلی بهینه کنند.