Ã¥¼Ò°³
¡Ú óÀ½ ¸¸³ª´Â ½ºÆÄÅ©, µû¶ó ÇÏ¸ç ½±°Ô ¿Ï¼ºÇÏ´Â ½ÇÀü ÀÔ¹®¼·Î ÀÍÈ÷±â!
½ºÆÄÅ©´Â ÇÏµÓ ÀÌÈÄ ºòµ¥ÀÌÅÍ ¿£Áö´Ï¾î¸µ ºÎ¹®¿¡¼ ÁÖ¸ñ¹Þ´Â ±â¼úÀÌ´Ù. ºü¸£°í ¹è¿ì±â ½¬¿ï »Ó ¾Æ´Ï¶ó ´Ù¾çÇÑ ¾ð¾î¸¦ SDK·Î Áö¿øÇÏ´Â µîÀÇ ÀåÁ¡¿¡ ÈûÀÔ¾î, ±¹³»¿¡¼µµ °¢Á¾ ¼ºñ½º¿¡ µµÀԵǾú´Ù. ÀÌ Ã¥Àº ÀÌ·¯ÇÑ ½ºÆÄÅ©¸¦ óÀ½ Á¢ÇÏ´Â °³¹ßÀÚ¿ë ÀÔ¹®¼´Ù. ½ºÆÄÅ©ÀÇ Æ¯¼º°ú µ¿ÀÛ ¿ø¸® µî ±âÃÊ ÀÌ·ÐÀ» ¸ÕÀú ¼³¸íÇÏ°í, ½ÇÁ¦ È°¿ë Ãø¸é¿¡¼ µ¥ÀÌÅ͸¦ ´Ù·ç´Â º´·ÄºÐ»êó¸® ¾ÖÇø®ÄÉÀ̼ÇÀ» ÀÛ¼ºÇغ»´Ù. µ¶ÀÚÀÇ ÀÌÇظ¦ µ½´Â ±×¸²°ú µµÇ¥°¡ dzºÎÇÏ°Ô ½Ç·Á ÀÖ°í, Ã¥¿¡¼ ¿¹Á¦·Î »ç¿ëÇÏ´Â »ùÇà Äڵ嵵 ÇÔ²² Á¦°øÇÑ´Ù(ÀϺΠéÅÍ´Â 2.0 ±â¹Ý Äڵ带 ÇÔ²² Á¦°ø).
±èÁø¿ë ¿ªÀÚ´Â ÀÌ Ã¥ÀÇ Ç°ÁúÀ» ³ôÀÌ´Â °úÁ¤¿¡¼ ¼öÂ÷·Ê ¾î·Á¿òÀ» °Þ¾ú´Ù. ¿ø¼ Ãʹú ¹ø¿ªÀÌ ³¡³ªÀÚ¸¶ÀÚ ¹öÀü À̽´°¡ ¹ß»ýÇØ Ã³À½ºÎÅÍ ´Ù½Ã ¶â¾îºÁ¾ß¸¸ Çß°í, ±¸¹®ºÐ¼®À̳ª Áö¸®, ³¯¾¾ µî ÀϺ»¾î¿¡ Æ¯ÈµÈ ³»¿ë°ú »ùÇÃÀ» Çѱ¹ ½ÇÁ¤¿¡ ¸Â°Ô Çϳª¾¿ Áö¿ªÈÇÏ¿© »õ·Î ¸¸µå´Â °úÁ¤µµ Àý´ë ¼øźġ ¾Ê¾Ò´Ù. ¾î¾ð 20³â Â÷¿¡ Á¢¾îµå´Â ÀϺ» »ýÈ°ÀÇ ¿µÇâÀ¸·Î ÀÔ¿¡ ¹ê ÀϺ»½Ä ¹ø¿ª Åõ ¹®Àå ¿ª½Ã ¼øÁ¶·Î¿î ÀÛ¾÷À» ¹æÇØÇÏ´Â °É¸²µ¹À̾ú°í ¼ö Â÷·Ê¿¡ °ÉÃÄ ±³Á¤À» ºÁ¾ß Çß´Ù. ±× ¸ðµç ¿ª°æÀ» À̰ܳ»°í ¸¶Ä§³» ¼¼»óÀÇ ºûÀ» º¼ ¼ö ÀÖ°Ô µÈ Ã¥ÀÎ ¸¸Å µ¶ÀÚ ¿©·¯ºÐ¿¡°Ô ºÎµð µµ¿òÀÌ µÇ¾úÀ¸¸é ÇÏ´Â ¹Ù¶÷ÀÌ´Ù.
_ÁÖ¿ä ³»¿ë
- 1Àå: ½ºÆÄÅ© ź»ý ¹è°æ°ú Ư¡, È°¿ë»ç·Ê ¼Ò°³
- 2Àå: ½ºÆÄÅ© º´·ÄºÐ»êó¸®ÀÇ ÇÙ½É ÀڷᱸÁ¶ÀÎ \'RDD\' ±â¹Ý ¸ðµ¨ ÀÌÇØ
- 3Àå: ½ºÆÄÅ© ÀÛµ¿À» À§ÇÑ È¯°æ ±¸Ãà(´ÜÀÏ ¸Ó½Å(PC) ±â¹Ý/ Ŭ·¯½ºÅÍ ±â¹Ý)
- 4Àå: °¢Á¾ ¶óÀ̺귯¸®¸¦ ÀÌ¿ëÇÑ ¾ÖÇø®ÄÉÀÌ¼Ç ºôµå/ ½ÇÇà ¹æ¹ý
- 5Àå: 3Àå¿¡¼ ±¸ÃàÇÑ È¯°æ¿¡¼ ½ÇÁ¦ ½ºÆÄÅ©¸¦ µ¹·Á°¡¸ç ±âº»ÀûÀÎ ¾Û ÀÛ¼º
- 6Àå~8Àå: ½ºÆÄÅ© º´·ÄºÐ»êó¸® ¿£ÁøÀ» ¿©·¯ ¿ëµµ¿¡ ÀÀ¿ëÇÏ´Â ¶óÀ̺귯¸® ¼Ò°³(½ºÆÄÅ© SQL, ½ºÆÄÅ© ½ºÆ®¸®¹Ö, MLlib)
_´ë»ó µ¶ÀÚ
- ½ºÆÄÅ©¸¦ óÀ½ ¹è¿ì´Â µ¥ÀÌÅÍ ¿£Áö´Ï¾î/µ¥ÀÌÅÍ °úÇÐÀÚ
- ÀÚ¹Ù, ÆÄÀ̽ã, ½ºÄ®¶ó µî ÇÁ·Î±×·¡¹Ö ¾ð¾î °æÇèÀÌ ÀÖ´Â °³¹ßÀÚ
- ÇϵÓÀ̳ª ±âŸ µ¥ÀÌÅͺ£À̽ºÀÇ »ç¿ë °æÇèÀÌ ÀÖ´Â »ç¶÷
ÀúÀÚ¼Ò°³
(ÁÖ)NTTµ¥ÀÌÅÍ ±â¹Ý½Ã½ºÅÛ»ç¾÷º»ºÎ ÁÖÀÓ. 2009³âºÎÅÍ ÇϵÓÀ» ÇʵηΠ´Ù¾çÇÑ OSS º´·ÄºÐ
»ê±â¹ÝÀÇ ½Ã½ºÅÛ µµÀÔ Áö¿ø ÀÛ¾÷À» ´ã´çÇß°í, °ü·Ã ±â¼úÀ» °³¹ßÇØ¿Ô´Ù. 2014³âºÎÅÍ ÇϵÓÀ» º¸¿ÏÇÏ´Â Á¦Ç° È帷Π½ºÆÄÅ©¸¦ ´Ù·ç±â ½ÃÀÛÇß´Ù. ±â¼ú Á¶»ç¿Í ÇÁ·ÎÁ§Æ® µîÀ» ÅëÇØ È®ÀÎµÈ ½ºÆÄÅ©ÀÇ °úÁ¦¸¦ Ä¿¹Â´ÏƼ¿¡ °è¼ÓÇؼ Çǵå¹éÇØ¿Ô°í, 2015³â 6¿ù ÀϺ»ÀÎÀ¸·Î´Â óÀ½À¸·Î ¾ÆÆÄÄ¡ ½ºÆÄÅ© Ä¿¹ÌÅÍ°¡ µÇ¾ú´Ù.
¸ñÂ÷
Part 1 µµÀÔÆí
Chapter 1 ¾ÆÆÄÄ¡ ½ºÆÄÅ©¶õ ¹«¾ùÀΰ¡?
1.1 ¾ÆÆÄÄ¡ ½ºÆÄÅ© Á¤ÀÇ
1.2 ½ºÆÄÅ©ÀÇ ¿ª»ç¿Í °³¹ß Ä¿¹Â´ÏƼ
1.3 ½ºÆÄÅ© È°¿ë »ç·Ê
1.4 ½ºÆÄÅ©ÀÇ Æ¯Â¡
Chapter 2 ½ºÆÄÅ©ÀÇ Ã³¸® ¸ðµ¨
2.1 ½ºÆÄÅ©ÀÇ ±âº»ÀûÀÎ ÀڷᱸÁ¶ RDD
2.2 ½ºÆÄÅ© ºÐ»êó¸® ȯ°æ
Chapter 3 ½ºÆÄÅ© ¼³Ä¡Çϱâ
3.1 ÀÌ Ã¥ÀÇ ½ºÆÄÅ© ÀÛµ¿ ȯ°æ
3.2 ½ºÆÄÅ© ¼³Ä¡(´ÜÀÏ ¸Ó½Å/Ŭ·¯½ºÅÍ °øÅë)
3.3 ½ºÆÄÅ© ¼³Ä¡(Ŭ·¯½ºÅÍ¿ë Ãß°¡ ÀÛ¾÷)
Chapter 4 ½ºÆÄÅ© ¾ÖÇø®ÄÉÀÌ¼Ç °³¹ß°ú ½ÇÇà
4.1 ½ºÆÄÅ© Á¦°ø ¶óÀ̺귯¸®
4.2 ½ºÆÄÅ© ¾ÖÇø®ÄÉÀÌ¼Ç °³¹ß ȯ°æ ±¸Ãà
4.3 sbt·Î ½ºÆÄÅ© ¾ÖÇø®ÄÉÀÌ¼Ç ÀÛ¼ºÇϱâ
4.4 ½ºÆÄÅ© ¾ÖÇø®ÄÉÀÌ¼Ç ½ÇÇàÇϱâ
4.5 ´ëÈÇüÀ¸·Î ½ÇÇàÇϱâ
4.6 ¾ÖÇø®ÄÉÀ̼ÇÀÇ °Á¦ Á¾·á
Part 2 ½ÇÀüÆí
Chapter 5 ±âº» API¸¦ ÀÌ¿ëÇÑ ÇÁ·Î±×·¡¹Ö
5.1 ±âº» API °³¿ä
5.2 ½ºÆÄÅ© ¾ÖÇø®ÄÉÀ̼ǰúÀÇ ¸¸³²
5.3 µ¥ÀÌÅÍ ¼ø¼¸¦ ¹Ù²Ù¾î ó¸®Çϱâ
5.4 º¹¼öÀÇ µ¥ÀÌÅ͸¦ °áÇÕÇØ Ã³¸®Çϱâ
5.5 º¹ÀâÇÑ Ã³¸®¸¦ È¿À²ÀûÀ¸·Î ó¸®Çϱâ
Chapter 6 ±¸Á¶ÈµÈ µ¥ÀÌÅͼ ó¸®Çϱâ: ½ºÆÄÅ© SQL
6.1 ½ºÆÄÅ© SQLÀ̶õ?
6.2 ½ºÆÄÅ© SQLÀ» ÀÌ¿ëÇÑ µ¥ÀÌÅÍó¸® ±â¼ú ¹æ¹ý
6.3 ½ºÆÄÅ© SQL ÁغñÀÛ¾÷
6.4 DataFrameÀ» ÀÌ¿ëÇÏ¿© µ¥ÀÌÅÍó¸® ±â¼úÇϱâ
6.5 ÇÏÀ̺ê¿Í ½ºÆÄÅ© SQLÀÇ Å×ÀÌºí¿¡ ´ëÇÑ Ã³¸® ±â¼úÇϱâ
6.6 ½ºÆÄÅ© SQL Æ©´×Çϱâ
Chapter 7 ½ºÆ®¸² µ¥ÀÌÅÍ Ã³¸®Çϱâ: ½ºÆÄÅ© ½ºÆ®¸®¹Ö
7.1 ½ºÆ®¸²Ã³¸®¶õ ¹«¾ùÀΰ¡?
7.2 °¢Á¾ ÀÌ¿ë »ç·Ê
7.3 ½ºÆÄÅ© ½ºÆ®¸®¹ÖÀ̶õ ¹«¾ùÀΰ¡?
7.4 ½ºÆÄÅ© ½ºÆ®¸®¹ÖÀÌ Á¦°øÇÏ´Â ±â´É
7.5 µ¿ÀÛ È®ÀÎÇϱâ
7.6 Ŭ·¯½ºÅÍ È¯°æ¿¡ ¾ÖÇø®ÄÉÀÌ¼Ç ¹èÆ÷Çϱâ
7.7 ¼¾¼ µ¥ÀÌÅÍ ½ºÆ®¸²Ã³¸®Çϱâ
7.8 ¾ÆÆÄÄ¡ Ä«ÇÁÄ«¿Í ¿¬µ¿Çϱâ
7.9 »ùÇà ÇÁ·ÎÁ§Æ®¿¡¼ ´Ù·çÁö ¸øÇÑ °Í
Chapter 8 ¸Ó½Å·¯´×: MLlib
8.1 MLlib °³¿ä
8.2 MLlibÀÇ ±âÃÊ¿Í Á¦°ø ¾Ë°í¸®Áò
8.3 MLlib ÀÔ¹®
8.4 Word2VecÀ¸·Î Çѱ¹¾î º¤ÅÍÈÇϱâ
8.5 ÀÀ¿ëÆí: ȸ±Í¿¡ ÀÇÇÑ ¸ÅÃ⠺м®
8.6 spark.ml ÆÐÅ°ÁöÀÇ ML ÆÄÀÌÇÁ¶óÀÎ
Part 3 ºÎ·Ï
ºÎ·Ï A ±×·¡ÇÁX¸¦ ÀÌ¿ëÇÑ ±×·¡ÇÁ ó¸®
A.1 ±×·¡ÇÁX¶õ ¹«¾ùÀΰ¡?
A.2 ±×·¡ÇÁÀÇ ¿¹
A.3 ±×·¡ÇÁX ±â´ÉÀÇ °³¿ä
A.4 ±×·¡ÇÁX¸¦ ÀÌ¿ëÇÑ ±×·¡ÇÁ ó¸® ¿¹
ºÎ·Ï B ½ºÆÄÅ© R È°¿ëÇϱâ
B.1 ½ºÆÄÅ© RÀ̶õ ¹«¾ùÀΰ¡?
B.2 ½ºÆÄÅ© RÀÇ ÀÛµ¿ ȯ°æ ±¸Ãà
B.3 ½ºÆÄÅ© RÀÇ ÀÛµ¿ È®ÀÎ
B.4 ½ºÆÄÅ© R ¼ÐÀ» ÀÌ¿ëÇÑ µ¥ÀÌÅÍ Ã³¸®
ºÎ·Ï C ¸Ó½Å·¯´×°ú ½ºÆ®¸²Ã³¸® ¿¬µ¿
C.1 ¼¾¼ µ¥ÀÌÅ͸¦ ÀÌ¿ëÇÑ Çൿ ºÐ¼®
C.2 ȸ±Í ¸ðµ¨ »ý¼º
C.3 Æò°¡¿ë ½ºÆ®¸² µ¥ÀÌÅÍ·Î »ç¿ëÀÚ Çൿ ÆÇÁ¤
C.4 ½ºÆÄÅ© ½ºÆ®¸®¹ÖÀÇ °á°ú Ãâ·Â
C.5 JDBC ¼¹ö ±â´ÉÀ¸·Î ½ºÆ®¸²Ã³¸® °á°ú ÂüÁ¶
C.6 »ùÇà ¾ÖÇø®ÄÉÀ̼ÇÀÇ È®À强
ºÎ·Ï D À¥ UI È°¿ë
D.1 UIÀÇ °³¿ä
D.2 À¥ UI Á¢¼Ó ¹æ¹ý
D.3 ó¸® ŸÀÓ¶óÀÎ ½Ã°¢È¿Í DAG ½Ã°¢È
D.4 °ú°ÅÀÇ ¾ÖÇø®ÄÉÀÌ¼Ç ½ÇÇà °á°ú¸¦ È®ÀÎÇÏ´Â ¹æ¹ý