Skip to content

Folders and files

NameName
Last commit message
Last commit date

Latest commit

ย 

History

12 Commits
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 
ย 

Repository files navigation

๐ŸšŒ LightBus

๐Ÿ† ์‹ฌ์‚ฌ ๋ฐ ํˆฌํ‘œ ๊ฒฐ๊ณผ 1์œ„ ํŒ€์œผ๋กœ ์„ ์ •

LightBus Logo

์‹œ๊ฐ ๋ฐ ์ธ์ง€ ์•ฝ์ž๋ฅผ ์œ„ํ•œ ์ง€๋Šฅํ˜• ์Œ์„ฑ ๋ฒ„์Šค ํƒ‘์Šน ์•ˆ๋‚ด ์†”๋ฃจ์…˜

"๋“ค๋ฆฌ๋Š” ์‹œ์•ผ, ๋ง‰ํž˜์—†๋Š” ์ด๋™"

LightBus๋Š” ์‹œ๊ฐ์žฅ์• ์ธ ๋ฐ ์ธ์ง€ ์•ฝ์ž๊ฐ€ ๋ณด๋‹ค ์‰ฝ๊ณ  ์•ˆ์ „ํ•˜๊ฒŒ ๋ฒ„์Šค๋ฅผ ์ด์šฉํ•  ์ˆ˜ ์žˆ๋„๋ก ์ง€์›ํ•˜๋Š” AI ๊ธฐ๋ฐ˜ ์Šค๋งˆํŠธ ๋ชจ๋นŒ๋ฆฌํ‹ฐ ์„œ๋น„์Šค์ž…๋‹ˆ๋‹ค.

์‚ฌ์šฉ์ž๊ฐ€ ์Œ์„ฑ์œผ๋กœ ๋ฒ„์Šค ๋ฒˆํ˜ธ ๋˜๋Š” ๋ชฉ์ ์ง€๋ฅผ ์ž…๋ ฅํ•˜๋ฉด GPS, ๊ณต๊ณต๋ฐ์ดํ„ฐ API, ์ปดํ“จํ„ฐ ๋น„์ „(OCR) ๊ธฐ์ˆ ์„ ํ™œ์šฉํ•˜์—ฌ ์›ํ•˜๋Š” ๋ฒ„์Šค์˜ ๋„์ฐฉ ์—ฌ๋ถ€๋ฅผ ์‹ค์‹œ๊ฐ„์œผ๋กœ ์Œ์„ฑ ์•ˆ๋‚ดํ•ฉ๋‹ˆ๋‹ค.


๐Ÿ“Œ ํ”„๋กœ์ ํŠธ ์†Œ๊ฐœ

์„œ์šธ์‹œ๋ฅผ ๋น„๋กฏํ•œ ๊ตญ๋‚ด ๋Œ€์ค‘๊ตํ†ต ์ธํ”„๋ผ๋Š” ์ง€์†์ ์œผ๋กœ ๋ฐœ์ „ํ•˜๊ณ  ์žˆ์ง€๋งŒ, ์‹œ๊ฐ์žฅ์• ์ธ์—๊ฒŒ๋Š” ์—ฌ์ „ํžˆ

"์ง€๊ธˆ ๋„์ฐฉํ•œ ๋ฒ„์Šค๊ฐ€ ๋‚ด๊ฐ€ ํƒ€์•ผ ํ•˜๋Š” ๋ฒ„์Šค์ธ๊ฐ€?"

๋ผ๋Š” ๋ฌธ์ œ๊ฐ€ ์กด์žฌํ•ฉ๋‹ˆ๋‹ค.

LightBus๋Š” ๋ณ„๋„์˜ ๋น„์ฝ˜์ด๋‚˜ ์™ธ๋ถ€ ์„ค์น˜ ์žฅ๋น„ ์—†์ด ์‚ฌ์šฉ์ž์˜ ์Šค๋งˆํŠธํฐ๋งŒ์„ ํ™œ์šฉํ•˜์—ฌ ๋ฒ„์Šค ๋„์ฐฉ ์—ฌ๋ถ€๋ฅผ ์Šค์Šค๋กœ ํ™•์ธํ•  ์ˆ˜ ์žˆ๋„๋ก ์ง€์›ํ•˜๋Š” ์ธํ”„๋ผ ๋…๋ฆฝํ˜• ์†”๋ฃจ์…˜์ž…๋‹ˆ๋‹ค.


๐Ÿ‘จโ€๐Ÿ’ป Team InsightNode

์ด๋ฆ„ ๋‹ด๋‹น ์—ญํ• 
์ตœ์ง„์›… [ํŒ€์žฅ] ๋ฒ„์Šค ๋ฒˆํ˜ธํŒ ์ธ์‹ ๋กœ์ปฌ ์„œ๋ฒ„ ๊ตฌ์ถ•
๊น€ํšจ์ • STT/TTS ์Œ์„ฑ ์ธํ„ฐ๋ž™์…˜ ๊ตฌํ˜„
๋ฐ•ํœ˜์†Œ ๊ณต๊ณต๋ฐ์ดํ„ฐ API ์—ฐ๋™ ๋ฐ ๋ฐฑ์—”๋“œ ์„œ๋ฒ„ ๊ตฌ์ถ•
์ž„์น˜์˜ ์ ‘๊ทผ์„ฑ ์ค‘์‹ฌ UI/UX ๋ฐ ํ”„๋ก ํŠธ์—”๋“œ ๊ฐœ๋ฐœ
์ฑ„์„œ์˜ YOLOv11 ยท YOLOv12 ๋ชจ๋ธ ํ•™์Šต ๋ฐ ๋ฐ์ดํ„ฐ์…‹ ๊ณ ๋„ํ™”

๐Ÿ—๏ธ ์‹œ์Šคํ…œ ์•„ํ‚คํ…์ฒ˜


๐Ÿš€ ์ฃผ์š” ๊ธฐ๋Šฅ

๐ŸŽค ์Œ์„ฑ ์ž…๋ ฅ (STT)

  • ๋ฒ„์Šค ๋ฒˆํ˜ธ ์Œ์„ฑ ์ž…๋ ฅ
  • ๋ชฉ์ ์ง€ ์Œ์„ฑ ์ž…๋ ฅ
  • ์‹ค์‹œ๊ฐ„ ์Œ์„ฑ ๋ช…๋ น ์ธ์‹

๐Ÿ“ GPS ๊ธฐ๋ฐ˜ ์œ„์น˜ ํƒ์ƒ‰

  • ํ˜„์žฌ ์œ„์น˜ ํ™•์ธ
  • ์ธ๊ทผ ๋ฒ„์Šค ์ •๋ฅ˜์žฅ ํƒ์ƒ‰
  • ์„œ์šธ์‹œ ๋ฒ„์Šค ์ •๋ฅ˜์žฅ ์ •๋ณด ์—ฐ๋™

๐ŸšŒ ์‹ค์‹œ๊ฐ„ ๋ฒ„์Šค ๋„์ฐฉ ์ •๋ณด

  • ๋ฒ„์Šค ๋„์ฐฉ ์˜ˆ์ • ์ •๋ณด ์กฐํšŒ
  • ์‚ฌ์šฉ์ž๊ฐ€ ์š”์ฒญํ•œ ๋ฒ„์Šค ํ•„ํ„ฐ๋ง

๐Ÿ“ท AI ๋ฒ„์Šค ํƒ์ง€

  • YOLO ๊ธฐ๋ฐ˜ ๋ฒ„์Šค ๊ฐ์ฒด ํƒ์ง€
  • ์‹ค์‹œ๊ฐ„ ์นด๋ฉ”๋ผ ์˜์ƒ ๋ถ„์„
  • ๋ฒ„์Šค ์ ‘๊ทผ ์—ฌ๋ถ€ ํŒ๋‹จ

๐Ÿ” ๋ฒˆํ˜ธํŒ OCR ์ธ์‹

  • ๋ฒ„์Šค ๋ฒˆํ˜ธ ์˜์—ญ ์ถ”์ถœ
  • Azure Computer Vision OCR ์ ์šฉ
  • ๋ฒ„์Šค ๋ฒˆํ˜ธ ํ…์ŠคํŠธ ์ธ์‹

๐Ÿ”Š ์Œ์„ฑ ์•ˆ๋‚ด (TTS)

  • ๋ฒ„์Šค ๋„์ฐฉ ์•ˆ๋‚ด
  • ๋ฒˆํ˜ธ ์ผ์น˜ ์—ฌ๋ถ€ ์•ˆ๋‚ด
  • ์‹ค์‹œ๊ฐ„ ์Œ์„ฑ ํ”ผ๋“œ๋ฐฑ ์ œ๊ณต

โš™๏ธ ๊ธฐ์ˆ  ์Šคํƒ

Frontend

  • React
  • JavaScript
  • HTML5
  • CSS3
  • Web Speech API
  • Geolocation API

Backend

  • Node.js
  • Express
  • FastAPI

AI

  • Python
  • YOLOv11
  • YOLOv12
  • OpenCV

Azure

  • Azure Machine Learning
  • Azure Computer Vision OCR
  • Azure Speech Service (STT / TTS)

Data

  • ์„œ์šธ์‹œ ์—ด๋ฆฐ๋ฐ์ดํ„ฐ๊ด‘์žฅ API
  • ๋ฒ„์Šค ์ •๋ฅ˜์žฅ ์œ„์น˜ ์ •๋ณด API
  • ์‹ค์‹œ๊ฐ„ ๋ฒ„์Šค ๋„์ฐฉ ์ •๋ณด API

๐Ÿค– AI ๋ชจ๋ธ

YOLOv11 Bus Detection

  • Object Detection ๊ธฐ๋ฐ˜ ๋ฒ„์Šค ํƒ์ง€ ๋ชจ๋ธ
  • Kaggle ๊ตํ†ต ๋ฐ์ดํ„ฐ์…‹ ํ™œ์šฉ
  • Bus ๋‹จ์ผ ํด๋ž˜์Šค๋กœ ์žฌํ•™์Šต
  • ์‹ค์‹œ๊ฐ„ ๊ฒ€์ถœ ํ™˜๊ฒฝ ์ตœ์ ํ™”

ํ•™์Šต ๊ฒฐ๊ณผ

  • Precision โ‰ˆ 0.9
  • Recall โ‰ˆ 0.8
  • mAP50 โ‰ˆ 0.8
  • mAP50-95 โ‰ˆ 0.65

๐Ÿ“‚ ํ”„๋กœ์ ํŠธ ๊ตฌ์กฐ

LightBus
โ”‚
โ”œโ”€โ”€ client
โ”‚   โ”œโ”€โ”€ public
โ”‚   โ””โ”€โ”€ src
โ”‚
โ”œโ”€โ”€ server
โ”‚   โ”œโ”€โ”€ main.py
โ”‚   โ”œโ”€โ”€ detect_bus.py
โ”‚   โ””โ”€โ”€ models
โ”‚
โ”œโ”€โ”€ docs
โ”‚   โ””โ”€โ”€ System_Architecture.png
โ”‚
โ”œโ”€โ”€ server.cjs
โ”œโ”€โ”€ package.json
โ””โ”€โ”€ README.md

๐Ÿ–ฅ๏ธ ์‹คํ–‰ ๋ฐฉ๋ฒ•

1๏ธโƒฃ FastAPI ์„œ๋ฒ„ ์‹คํ–‰

cd server
python -m uvicorn main:app --reload

๊ธฐ๋ณธ ์ฃผ์†Œ

http://localhost:8000

2๏ธโƒฃ Node ์„œ๋ฒ„ ์‹คํ–‰

node server.cjs

3๏ธโƒฃ ํ”„๋ก ํŠธ์—”๋“œ ์‹คํ–‰

npm install
npm run dev

๐Ÿ”„ ์„œ๋น„์Šค ๋™์ž‘ ๊ณผ์ •

  1. ์‚ฌ์šฉ์ž๊ฐ€ ์Œ์„ฑ์œผ๋กœ ๋ฒ„์Šค ๋ฒˆํ˜ธ ์ž…๋ ฅ
  2. GPS๋ฅผ ํ†ตํ•ด ํ˜„์žฌ ์œ„์น˜ ํ™•์ธ
  3. ์ธ๊ทผ ๋ฒ„์Šค ์ •๋ฅ˜์žฅ ์กฐํšŒ
  4. ๊ณต๊ณต๋ฐ์ดํ„ฐ API๋กœ ๋ฒ„์Šค ๋„์ฐฉ ์ •๋ณด ํ™•์ธ
  5. ์นด๋ฉ”๋ผ ์˜์ƒ์—์„œ ๋ฒ„์Šค ํƒ์ง€
  6. OCR๋กœ ๋ฒˆํ˜ธํŒ ์ธ์‹
  7. ์ž…๋ ฅ ๋ฒ„์Šค ๋ฒˆํ˜ธ์™€ ๋น„๊ต
  8. ์ผ์น˜ ์‹œ TTS ์Œ์„ฑ ์•ˆ๋‚ด

๐ŸŽฏ ๊ธฐ๋Œ€ ํšจ๊ณผ

  • ์‹œ๊ฐ์žฅ์• ์ธ์˜ ์ด๋™๊ถŒ ํ–ฅ์ƒ
  • ๋Œ€์ค‘๊ตํ†ต ์ ‘๊ทผ์„ฑ ๊ฐœ์„ 
  • ์Šค๋งˆํŠธํฐ ๊ธฐ๋ฐ˜ ์ž๋ฆฝํ˜• ์„œ๋น„์Šค ์ œ๊ณต
  • ์ถ”๊ฐ€ ์ธํ”„๋ผ ๊ตฌ์ถ• ๋น„์šฉ ์ตœ์†Œํ™”

๐Ÿ”ฎ ํ–ฅํ›„ ๋ฐœ์ „ ๋ฐฉํ–ฅ

  • ์ „๊ตญ ๋ฒ„์Šค ๋…ธ์„  ๋ฐ์ดํ„ฐ ํ™•์žฅ
  • ๊ฒฝ๊ธฐ๋„ ๋ฐ ๊ด‘์—ญ์‹œ ๋ฐ์ดํ„ฐ ํ†ตํ•ฉ
  • ๋ชฉ์  ๋ฒ„์Šค ๊ธฐ๋ฐ˜ ์ตœ์  ์ •๋ฅ˜์žฅ ์ถ”์ฒœ
  • ์Šค๋งˆํŠธ ๊ธ€๋ž˜์Šค ์—ฐ๋™
  • ์žฅ์• ๋ฌผ ๋ฐ ์œ„ํ—˜ ์š”์†Œ ์‹ค์‹œ๊ฐ„ ๊ฐ์ง€
  • ์Šค๋งˆํŠธ ์‹œํ‹ฐ ๊ตํ†ต ์‹œ์Šคํ…œ ์—ฐ๊ณ„

๐Ÿ“œ License

Microsoft AI School 4๊ธฐ
Team InsightNode Project


๐ŸŽฅ Demo

๋ฐœํ‘œ ์ž๋ฃŒ ๋ฐ ์‹œ์—ฐ ์˜์ƒ์„ ํ†ตํ•ด LightBus์˜ ์ „์ฒด ๋™์ž‘ ๊ณผ์ •์„ ํ™•์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

LightBus "๋“ค๋ฆฌ๋Š” ์‹œ์•ผ, ๋ง‰ํž˜์—†๋Š” ์ด๋™"

About

๐Ÿ† 1st Place Winner, Microsoft AI+ Academy | LightBus: AI-powered bus guidance for visually impaired users using Azure ML, Computer Vision, OCR, STT/TTS, and real-time transit data.

Topics

Resources

Stars

Watchers

Forks

Releases

Packages

Contributors

Languages