Проверка: map-reduce1
С Ръждьо много лесно се прави успоредна обработка на данни без обичайните затруднения, с които сме свикнали при такива начинания.
Стандартната библиотека предоставя наготово чудесни първични типове за многонишковост2. Тези типове, съчетани с правилата за единосъщност и владеене на променливите, автоматично предотвратяват гонките за данни3.
Правилата за единосъщност на данните4 – само една менима (за писане) препратка
или (XOR – изключващо или) много неменими (за четене) препратки – автоматично предотвратяват
вероятността да се промени състояние на данните, което е видимо и за други
нишки. Когато е нужна синхронизация при промяна на данните, стандартната
библиотека предоставя първични типове за синхронизация като Mutex и
Channel.
В този пример ще изчислим сумата от всички цифри в блок от числа. Ще направим това, като разпределим парчетата от блока в различни нишки. Всяка нишка ще изчисли сумата на нейния си подблок от цифри. После ще съберем получените междинни суми, изчислени от всяка нишка.
Забележете, че макар да подаваме препратки отвъд границите на нишките, Ръждьо
разбира, че подаваме препратки само за четене и така няма опасност от гонки за
данните. Освен това, тъй като подаваните препратки имат 'static живот, Ръждьо
разбира, че данните няма да бъдат унищожени, докато работят тези нишки. (Когато
искаме да споделяме данни с не-'static живот между нишките, можем да ползваме
умен указател като Arc, за да държим данните живи и така да избегнем
употребата на не-static животи.)
use std::thread; // Това е главната нишка. fn main() { // Това са нашите данни за обработка. // Ще изчислим сбора от всички цифри чрез многонишков алгоритъм, наречен // "map-reduce". Всяко парче, отделено от другите с празнота, ще бъде // обработено в отделна нишка. // // ЗАДАЧА: Вижте какво се случва с изхода, ако въведете празноти между // някои цифри! let data = "86967897737416471853297327050364959 11861322575564723963297542624962850 70856234701860851907960690014725639 38397966707106094172783238747669219 52380795257888236525459303330302837 58495327135744041048897885734297812 69920216438980873548808413720956532 16278424637452589860345374828574668"; // Създаваме вектор да държи новосъздадените дъщерни нишки. let mut children = vec![]; /************************************************************************* * Стъпка "Map" * * Разделяме данните на парчета и прилагаме предварителна обработка ************************************************************************/ // Разделяме данните на дялове за самостоятелно изчисляване. Всяко парче ще // бъде препратка (&str) към истинските данни. let chunked_data = data.split_whitespace(); // Обхождаме парче по парче данните. // .enumerate() добавя текущия показалец от повторението към каквото се // обхожда. Произведената разнородна поредица "(място, член)" бива // незабавно разложена в две променливи – "i" и "data_segment" чрез // присвояване. for (i, data_segment) in chunked_data.enumerate() { println!("Парчето данни {} е \"{}\"", i, data_segment); // Обработваме всяко парче в отделна нишка. // // spawn() връща ръкохватка за новата нишка, която ТРЯБВА да запазим, // за да достъпим върнатата стойност. // // 'move || -> u32' е правопис за затваряне, който: // * не приема аргументи ('||'), // * овладява прихванатите стойности ('move') и // * връща 32-битово цяло число без знак ('-> u32') // // Ръждьо е достатъчно умен да отгатне '-> u32' от затварянето, // така че можеше даже да не го указваме изрично. // // ЗАДАЧА: Махнете 'move' и вижте какво се случва. children.push(thread::spawn(move || -> u32 { // Изчисляваме междинната сума от този участък: let result = data_segment // Обхождаме знаците от текущия участък… .chars() // …преобразуваме текстовите знаци в числови стойности… .map(|c| c.to_digit(10).expect("трябва да е число")) // …и сумираме произведения повторител на числа .sum(); // println! заключва стандартния изход и така няма смесен изход от // различни нишки. println!("обработихме участък {}, сума={}", i, result); // Не ни е нужен израз "return", защото Ръждьо е "ѝзразен език", // последно изчисленият израз във всеки блок става автоматично // стойност за връщане. result })); } /************************************************************************* * Стъпка "Reduce" * * Събираме междинните суми и ги сумираме като краен резултат. ************************************************************************/ // Използваме „турбофиш” (::<>), за да подскажем типа за окончателната сума. // // ЗАДАЧА: Опитайте без „турбофиш”, като вместо това укажете типа за // final_result изрично. let final_result = children.into_iter().map(|c| c.join().unwrap()) .sum::<u32>(); println!("Окончателна сума: {}", final_result); }
Упражнения
Не е мъдро броят на нишките да зависи от входните данни. Какво, ако потребителят реши да въведе празноти5 между много числа? Наистина ли искаме да създадем 2000 нишки? Променете програмата, така че данните да се разделят в ограничен брой парчета, определящи се от статична константа в началото на програмата.
Б. пр.
съответствие-намаляване – map-reduce? ЗАДАЧА: да се преведе и обясни на български: https://en.wikipedia.org/wiki/MapReduce https://ru.wikipedia.org/wiki/MapReduce
нишковост – threading; многонишковост – multi-threading
гонки за данни – data races
единосъщност, многоименност – aliasing. Когато различни променливи сочат към едни и същи данни. Ръждьо автоматично (по подразбиране) не позволява това да се случи.
празнота, празно пространство – space, white-space
Вижте също:
- Нишки
- вектори и повторители
- затваряния, семантика на преместване на владението и
moveclosures - присвояване чрез разлагане
- означение турбофиш за помощ при отгатване на типове
- unwrap с/у expect
- enumerate