Azure_OpenAI_samples

🔥New Feature (5-Sep-2025)

GPT-5 Basic

• This hands-on notebook is designed to rapidly validate the fundamental capabilities of GPT-5 in Azure OpenAI while providing direct comparisons with GPT-4x models. It supports streamlined testing of the Chat Completions API, structured output, function calling, and the Responses API (covering Function Calling, Code, Vision, and Background Tasks) for both GPT-5 series and GPT-4x models. s. Go to notebook

  이 핸즈온 노트북은 Azure OpenAI에서 GPT-5의 기본 기능을 빠르게 검증하고 기존 gpt-4x모델과 비교하는 노트북을 제공합니다. Chat Completions API, structured output, function calling, Responses API (Function Calling, Code, Vision, Background Task 등) 사용 시 gpt-5 series 모델과 gpt-4x모델을 직접 비교해야하는 경우 손쉽게 테스트 가능합니다. Go to notebook

🔥New Feature (29-Apr-2025)

AI Foundry Trace

• This hands-on demonstrates how to configure trace in AI foundry. It make you understand how to set up the right instruments for Azure Open AI, Azure Inference SDK to view the performance and optimize the LLM application. s. Go to notebook

  이 핸즈온은 AI Foundry의 trace 기능을 설정하는 방법을 담고 있습니다. 이 핸즈온을 통해 여러분은 tracing 기능을 활성화하는 방법과 설정하려는 코드에 따라 알맞은 instrument를 설정하는 방법과 테스트를 진행할 수 있습니다. Go to notebook

🔥New Feature (06-Apr-2025)

Prompt Optimization

• This hands-on demonstrates how to optimize prompts using PromptWizard. PromptWizard, released as open source and paper by Microsoft, is a prompt optimization tool for maximizing the performance of LLM. It is a prompt optimization framework that employs a self-evolving mechanism in which LLM generates, critiques, refines, and continuously improves prompts and examples through feedback and synthesis. s. Go to notebook

  이 핸즈온은 PromptWizard를 사용하여 프롬프트를 최적화하는 방법을 보여줍니다. 마이크로소프트에 오픈 소스와 논문으로 공개한 PromptWizard는 LLM의 성능을 극대화하기 위한 프롬프트 최적화 도구입니다. LLM이 스스로 프롬프트와 예제를 생성, 비평, 정교하고 피드백과 합성을 통해 지속적으로 개선하는 자기 진화 메커니즘을 채택한 프롬프트 최적화 프레임워크입니다. Go to notebook

🔥New Feature (15-Jan-2025)

Azure AI Evaluation SDK Code Sample

• This hands-on workshop is tailored for engineers seeking to deepen their understanding of the Azure AI Evaluation SDK. Participants will explore the distinctions between evaluators and simulators through practical code examples. The workshop will guide you in assessing the quality and safety of your generative AI applications using industry-standard metrics. Leveraging Azure AI Evaluation SDK’s built-in evaluators, you will learn how to compare different versions of your applications and select the optimal solution to meet your specific requirements. Go to notebook

  이 실습 워크샵은 Azure AI 평가 SDK를 이해하고자 하는 엔지니어를 위한 맞춤형 워크샵입니다. 참가자는 실제 코드 예제를 통해 Evaluator와 Simulator의 차이점을 살펴봅니다. 이 워크샵에서는 업계 표준 메트릭을 사용하여 생성 AI 애플리케이션의 품질과 안전성을 평가하는 방법을 안내합니다. Azure AI 평가 SDK의 기본 제공 평가기를 활용하여 다양한 버전의 애플리케이션을 비교하고 특정 요구 사항을 충족하는 최적의 솔루션을 선택하는 방법을 배웁니다. Go to notebook

o1 GA new features Test

• Test the most basic way to use the o1(GA) with Vision model, Structured Output and gradio sample application as your playgournd Go to notebook

  비전 모델, 구조화된 출력 및 그라디오 샘플 애플리케이션을 플레이그라운드로 사용하여 o1(GA)를 사용하는 가장 기본적인 방법을 테스트해 보세요. Go to notebook

🔥New Feature (23-Dec-2024)

Azure Custom Speech

• Added Audio Data Augmentation using Audiomentations. Audiomentations supports both mono and stereo audio and integrates seamlessly with common audio processing workflows. It's lightweight, efficient, and helps simulate real-world audio conditions for better generalization in models.

Please do not forget to install the audiomentations package. Install with pip install audiomentations or see requirements.txt.

🔥New Feature (05-Dec-2024)

Azure Custom Speech for multi-language

• Refactored to make it easier to test custom models for a given language by adding language-specific settings. Added a function to the 3_evaluate_custom_model notebook to retrieve detailed WER information from the notebook based on whether there are insertions, substitutions, or deletions. Go to notebook

  언어별 설정을 추가하면 간단히 해당 언어에 맞는 커스텀 모델을 테스트해볼 수 있도록 리펙토링했습니다. insertion, substitution, deletion 여부에 따라 상세한 WER정보를 노트북에서 조회하는 함수를 3_evaluate_custom_model 노트북에 추가했습니다. Go to notebook

🔥New content (11-Nov-2024)

Azure Custom Speech E2E Training with Python

• Azure AI Speech is a managed service that provides speech capabilities such as speech-to-text, text-to-speech, voice translation, and speaker recognition. In this lab, you will learn the entire end-to-end process of training a custom speech-to-text (STT) model optimised for a specific language and use case based on synthetic data. You can practice generating synthetic text data (phi3.5), converting generated text files to audio files (text-to-speech), training(speech-to-text), evaluating, and deploying custom AI speech models based on synthetic text/audio files. In addition to generating synthetic data, you can also upload the speech data you use in the field to a specific folder and upload it to the storage account with simple notebook code to proceed with dataset creation, training, and evaluation. If you're looking to train custom speech models with different types of datasets to improve your word error rate (WER), this Python SDK and REST API-based handson makes it easy to automate your end-to-end model training and evaluation pipeline and scale your transformations.
  Go to notebook

  Azure AI Speech는 음성 텍스트 변환, 텍스트 음성 변환, 음성 번역, 화자 인식과 같은 음성 기능을 제공하는 관리형 서비스입니다. 본 핸즈온에서는 특정 언어와 유스케이스에 최적화된 Custom STT(Speech To Text)모델 학습의 End2End 전체과정을 합성데이터(Syntethic data)기반으로 실습합니다. 합성 텍스트 데이터 생성(phi3.5), 생성된 텍스트파일을 오디오파일로 변환 (Text to Speech), 합성 텍스트/오디오파일 기반의 Custom AI Speech 모델 학습(Speech to Text), 평가, 배포를 Python SDK와 REST API기반으로 실습해볼 수 있습니다. 합성데이터를 생성하는 것 외에도 현장에서 활용하고 있는 음성데이터를 특정 폴더에 업로드하면 간단한 노트북 코드로 Storage Account에 업로드 및 데이터셋 생성, 학습 및 평가 과정을 진행해볼 수도 있습니다. WER(단어 오류율)을 개선하기 위해 다양한 유형의 데이터셋으로 맞춤형 음성 모델을 학습시키려는 경우, Python SDK 및 REST API기반의 본 핸즈온을 활용하여 엔드투엔드 모델 학습 및 평가 파이프라인을 쉽게 자동화하고 변형을 확장할 수 있습니다. Go to notebook

🔥New content (30-Oct-2024)

Promptflow with Python SDK

• This hands-on workshop is designed to help engineers who have difficulty developing UI-based Promptflow in Azure ML Studio, AI Studio, and VS Code. Based on the Python Promptflow SDK, you will learn how to develop and run chat, flows with context, phi3 model integration deployed serverlessly, evaluation flows, and filter inappropriate prompts using content safety. Go to notebook

  이 핸즈온 워크샵은 Azure ML Studio, AI Studio, VS Code에서 Promptflow를 ui기반으로 개발하는데 어려움을 느끼는 엔지니어들을 지원하고자 개발되었습니다. Python Promptflow SDK를 기반으로 chat, context가 포함된 flow, serverless로 배포한 phi3모델 연동, evaluation flow 개발 및 실행 방법과 부적절한 prompt를 content safety을 활용해 filtering하는 실습을 담고 있습니다. Go to notebook

🔥New content (15-Oct-2024)

AI Search Code Sample with AOAI

• Based on the current version of the Azure AI Search Python client library, azure-search-documents==11.6.0b4. This code sample demonstrates various code patterns to implement AI search using Azure OpenAI and Azure AI Search to create indexes, vector search, change search algorithms, cross-field search, multi-vector search, filtering, hybrid, and reranking. Go to notebook

  현재 Azure AI Search Python client library 최신 버전인 azure-search-documents==11.6.0b4를 바탕으로 작성되었습니다. 이 코드 샘플은 Azure OpenAI와 Azure AI Search를 사용하여 인덱스 생성, vector search, 검색 알고리즘 변경, Cross-Field검색, Multi-Vector검색, filtering, Hybrid, Reranking을 활용한 AI 검색을 구현하는 다양한 코드 패턴을 보여줍니다. Go to notebook

🥇Other Resources

Azure OpenAI pricing

• https://azure.microsoft.com/en-us/pricing/details/cognitive-services/openai-service/

Diagam of a search scoring workflow

• https://learn.microsoft.com/en-us/azure/search/hybrid-search-ranking#diagram-of-a-search-scoring-workflow

Author

Date of creation: 15-Oct-2024
Updated: 06-Apr-2025

Hyo Choi | hyo.choi@microsoft.com | https://www.linkedin.com/in/hyogrin/ Daekeun Kim | daekeun.kim@microsoft.com | https://www.linkedin.com/in/daekeun-kim/