Bite the Byte

2022-04-09 22:24:07 На доу запостили анонс: зарелізили апку, яка намагається перевіряти, наскількі ймовірні зв'язки людини з чимось неприємним (типу москалів). Там вже в каментах напихують розробникам за те, що они намагаються сразу взяти планку "це для ЗСУ та тероборони", а якість тої перевірки дуже сумнівна.

І я згадав, як мене у середині 10-х тримали по 3-5 хвилин на кожному вильоті та прильоті на кордоні — я в якийсь момент почав питати, чому, і виявилося, що якийсь інший Олександр Соловйов чимось завинив. Вочевидь, нас таких багато, я особисто знав ще двох — і почав при затримці казати побатькові та показувати права, це значно прискорювало процес. Якось раз було смішно, прикордонниця собі під нос пробурмотіла "може брат чи шо" — з однаковим іменем і різним побатькові?

Але є ще крутіший рівень перевірки документів — у німецьких потягах. Їхав якось нічним потягом Амстердам — Копенгаген і посеред ночі якийсь дикий німецький прикордонник (чи можна так назвати людину десь у Гамбурзі?) вирішив, що треба перевіряти документи. Інших він пройшов якось швидко, а моя нідерландський айді-картка явно здалася підозрілою і він кудись подзвонив.

— Золовйов! Золовйов! — заволав у телефон посеред ночі прикордонник; але з тої сторони його явно не розуміли, і він вирішив перейти на ініціали, — Зиґфрід! Отто! Людвіґ!

Чувак дуже сердився, що нічого не виходить, і коли побачив як я з нього волаю, почав прямо червоніти, реально як в якійсь комедії, сховався за двері, і заволав Зиґфрід-Отто-Людвіґ ще дужче.

Я так розумію, що ніфіга не вийшло, і через кілька хвилин ору він віддав мені доки та й пішов собі кудись, а мені залишив на майбутнє три середні імені, щоб я себе відчував як Моцарт (Людвіґ правда це Бетховен, але в нього не було купи середніх імен). Відкрити / Коментувати

2022-04-08 08:42:36 А прикольно було б, якби замість російської та радянської теми називати регіони за центром, всі області були б типу Волинської та Закарпатської? Галицька, Буковинська, Поліська (яка з них, і що з іншими? :)), Подільська, Сіверська, Слобожанська... ну якось так приємніше звучить, більш людяно, ні? :)

Я розумію що то купа грошей, он Дніпропетровська і Кіровоградська області досі на місці, але ж фантазувати ніхто не заважає? :) Відкрити / Коментувати

2022-04-04 10:31:45 Давайте спочатку історія, яку мені друг розповідав про свого прадіда. Жив він у Кам'янці-Подільському, який був до WW2 неподалік від кордона з Польщею — і був, власне, поляком. А тут хтось з сусідів у 30-ті роки йому шепнув, мовляв, бережись, здається етнічні чистки почалися — поляків вбивають. Як дізнатися, хто ти? По документах — які він спалив і таким чином залишився в живих. Здається, що достатня причина не любити совок, але до самої своєї смерті він лишався його прихильником.

В нас пів країни таких людей було, які страждали у тому потворному державоутворенні, а потім за ним же й сумували (а деякі і зара продовжують). Але де логіка?!

Мені здається, що вести подвійне життя: коли назовні ти порядний громадянин, співаєш пісні про інтернаціонал і ходиш на травневі демонстрації за права трудящих, а всередині ненавидиш увесь цей брехливий пафос — дуже важко морально для людини, особливо в умовах, коли ні з ким поділитися.

Коли вже країна стабілізувалася, заспокоїлася і призвичаїлася до своєї власної брехливості — типу у 70-80-ті — то стало трохи легше. А от у 40-50-ті — це ще є репресії, і ти не знаєш, хто з твоїх сусідів гб-шник.

І от у тебе є два варіанти: відкрито виступити проти — що екстремально небезпечно, чи жити з личиною. І живеш ти, живеш, тебе затягує буденність, і потроху ти просто ламаєшся. Тобто не ламаєшся одразу раз і все, просто призвичаюєшся, перестаєш про те думати та потроху зовнішня маска тебе зхарчовує.

І — опа — ідеальний громадянин Совка готовий. :( Відкрити / Коментувати

2022-04-03 16:28:14 З початком війни у мене в голові гуляє купа думок з різних приводів — вочевидь, як і у вас. А ще таке неприємне відчуття, що мені критично не вистачає гуманітарної освіти, щоб ті думки нормально сформулювати. Можливо це все вже було розписано у дослідженнях, а можливо ще тільки буде — але мені треба десь висловитися, бо не дає спати.

Боротьба ця продовжується вже 800 років, з тої самої битви на Калці (це де Волноваха, до речі!). З великих подій потім, які змінювали хід історії, це напевно Битва на Ворсклі, Переяславські статті, Полтавська битва (знов Ворскла), може руйнування Січі (хз), захоплення УНР, і ось теперішня війна. Здається, що зараз Україна перший раз у більш-менш пристойному стані (з точки зору волі та єдності) з 14 сторіччя. Це капець, якщо подумати.

Культурна різниця між нами та москалями — неймовірна. До мене це дуже довго доходило, бо я велику частину знань отримував з книжок — а які книжки були на полицях у 90-ті? БСЕ, БЕС, СДЕ (всі «С» - совєцький), і т.і. І хоча навіть після них та совєцьких підручників по історії я Московію недолюблював, але модель світу воно дає схиблену. Так щоб прям починати усвідомлювати — я це почав у 2009-му, коли сам поїхав туди та прозрівав з кількості агресії на вулицях людей один до одного. Касирка якось наорала на мене за те, що не вдавалося просканувати штрих-код. Але тільки ця війна показує справжню відстань. Орда — це не просто варвари, на жаль.

Те, що хороші часи виховують слабких людей — це правда. Всі політики Європи занадто юні, щоб добре пам‘ятати, які насправді москалі. Тому з радістю пристають на шлях домовленостей з ними — тому що зиск великий! На відміну від нормальних країн, які торгуються за свої гроші, верхівка москалів не так жлобиться розкидуватися грошима, бо вони накрадені. Зисковна діяльність, а мораль почекає.

Промивання мізків працює. Якщо почитати біографії німецької верхівки, вони всі там комсомольці (FDJ, Jusos, як не назови, а вуха стирчать), і це вочевидь залишає якийсь відбиток на свідомості й сприйнятті світу. Ну типу це ж моя молодість, не може Московія бути зовсім поганою, коли в мене були такі яскраві почуття і не боліла спина чи що там в них зараз болить. Людині загалом важко признатися собі, що 10 років юності витрачені на гниль впусту, тому й Московія якась туди-сюди. Як Тіль Ліндеман, який поїхав співати на параді (!) московитів. Ну каша в голові, бо юність засрали.

Русофобія. Не можна сказати, що "не всі московити погані". Всі. Так, я особисто знаю кілька людей, які вочевидь нормальні й деякі з них навіть допомагають Україні. Але їх кількість у загальній масі мізерна і вплив на культуру відсутній. Всі, хто нормальний і мав хоч якусь платформу для виголошення — їх або кенселять (як Новодворську), або вбивають (як Нємцова).

А культура — це все. Дуже хотілося б почитати серйозні дослідження про те, які чинники впливають... особливо про нашу цікаво, а ще про те, чому сама войовнича нація Європи тепер такі сцикуни, га, Макрон? )) Люди при владі, стосунки у родинах і у суспільстві, взагалі все життя — це все культура.

Прочитав тут ще думку, що в нас багато корупції через те, що ми у складі орди дуже довго пробули. Але коли читаєш за часи Руїни й там кожен сам собі щось тягне... мені віє корупцією та брехнею від того. Хоча, авжеж, людська пам'ять коротка і зараз (дивись вище), а тоді козаки, схоже, не уявляли собі, що московити — то не поляки, не татари та не турки. Шкода, що не розуміли цього. Відкрити / Коментувати

2022-04-01 10:43:02 AWS

Пам‘ятаєте попередній пост про те що треба трохи даних обробити та зробити дешборд? Ну авжеж, це ж тільки два тижні тому було. А знаєте, чим я займався ці два тижні?.. Не тільки цим, але я просто в ужасі. Не читайте далі, якщо технічні подробиці вас лякають.

Зробити скрипт, який закидує дані з цсв у постгрес у мене вийшло за день з невеличким. А ось потім щось пішло не так... Чомусь я вирішив замість простої схеми «осьо віртуальний сервер, там все запустили й поїхали», що треба якомога більше managed все мати, щоб потім це не підтримувати. Амазон же ж багато всього пропонує!

Значить вимальовується така схема: завантажуємо файли в S3, це триггерить Lambda, яка файл обробляє і складає в інший бакет, звідки його читає Athena через Glue, а показує дані QuickSight. Я зазвичай дотримуюсь правила «не більше однієї незнайомої технології на проєкт», але цей казався маленьким і гідним того, щоб зробити один раз надійно.

Lambda

Я тут задовбався, але може окремо напишу — в мене вийшло 5 абзаців, а в телеграмі є обмеження на довжину повідомлення. :( З цікавого в результаті: парсинг пайтоном ікселю на 7 мб на ноуті займає 7 секунд, на хецнері за 5 євро - 14, на лямбді - 40-50.

QuickSight

Зібрали дешборд на квіксайті, і виявилося що оновлення буде не дуже в реалтаймі. Ну типу можемо кілька разів на день оновлювати, але часто (або по триггеру з лямбди, що теж потенційно часто) - буде дорого. Ооок, але наче працює, давайте покажемо світу? Хрін там! Публічним квіксайт зробити неможливо!

Athena

У цей момент я психанув, зарентив ec2 і запхав туди метабейз. Для метабейзу є сторонній коннектор для Афіни, тож, думаю, зара буде все супер. Метабейз поїхав, побачив дані, їх схему, єєє, перемога. Зараз все буде.

Тільки дата, за якою я хочу мати фільтр, це строка, а не date чи timestamp. Тому Афіна каже "вибачте, для цього оператор >=" застосовувати неможливо. Окей, знайшов, що схема даних визначається у Glue, змінив на timestamp зі string, як справи? Помилка, каже, Hive таку дату розпарсити не може.

Тож зробив я додаткову колонку, date.timestamp() * 1000 — ну там же ж Хайв, він точно захоче міллісекунди (я такий здогадливий, це жах). Фух, запрацювало!

Повільно тільки... Ну ладно, Metabase вміє кешувати результати, тож у середньому може буде не сильно боляче. Ну і ще фільтрація чутлива до регістру, наче баг в метабейзі — але це можна обійти, переробив запроси на SQL замість конструювання в інтерфейсі.

S3

Ну все, залишилося тільки навчити замовника завантажувати файли в S3. А там теж інтерфейс мрії, купа кнопок, а ще неможливо зробити так, щоб користувач тільки 1 бакет бачив... Написав інструкцію, записав Loom з демкою, і в кінці навіть зідвонилися телефоном — і в неї білий екран замість прогрес-бару аплоаду. Я без дупля, що там за проблема, домовилися на наступний день у зумі подивитися.

Прокинувся зранку і закинув файл: наче все нормально, але трошки форматування цифр у коментарі не подобається. Ок, поправив скрипт, задеплоїв лямбду, закинув файл заново — і помітив, що в метабейзі дублюються дані.

А логіка в мене така: з клієнт-банку будуть окремі файли, і за один період у файла буде завжди одна й та сама назва. Тож я просто заміняю файл з такою ж назвою і тоді дублювання даних немає. От тільки я бачу дивне — у бакеті з результатом два файли з однаковим іменем. По всім докам і обговоренням в інтернеті такого бути не може, але я бачу. Ну жесть.

Інтерфейси

Хочу звернути особливу увагу, що це ж все low-code, тобто гемор. Всі налаштування відбуваються у купі форм на купі сторінок, кожна з яких завантажується мінімум кілька секунд, щось змінити — все ж unbundled — це піти потикатися у три-чотири різних сервіси, а потім у термінал подивитися логи лямбди. Цикл фідбека довжиною у хвилини, просто нереально повільно рухаєшся.

Ми тут

Схоже шо перероблю на шось простіше з постгресом. Бо я хз, хто цим може нормально користуватися. Здається, що AWS тримає людей у заручниках і викликає стокгольмский синдром. Відкрити / Коментувати

2022-03-15 11:39:18 Потребую допомоги залу! Спілкуюсь останнім часом з "Повернись живим" і в них є цікава проблема. Історія починається з того, що вони зробили фінансову звітність відкритою, найпростішим шляхом: виклали xlsx з нею на OneDrive. Це кльове рішення, але скейлиться воно до якогось масштабу — зараз там 360 тисяч записів тільки за цей рік, і всі юзкейси розвалюються: фільтри в ікселі тормозять і показують тільки перші 10 тисяч значень, пошук тормозить, агрегувати дані неможливо.

Ми вчора обговорили і визначили два основних юзкейси, які можна насправді розділити:

• Зробити так, щоб людина могла знайти свою пожертву у списку всього, що надходить. Там є сума, комент платежу (або країна у випадку, коли пройшло через fondy), ну короч це можливо, але кльово б мати фільтрацію по даті і пошук по коментарю.
• Дати можливість фінансисту "ПЖ" з того робити якісь звіти/висновки, тому що іксель такого розміру робить боляче.

Що я думаю: скласти оці всі дані у SQLite (або постгрес, здається, що неважливо), і дати якийсь інтерфейс до них без sql'ю. Що я вже подивився:

• datasette: не потребує реєстрації, показує дані, замапити поле з датою у дату не хоче, пошук зробити не дає, якийсь графік дає змогу побудувати, але нічого не будує.
• metabase: показує дані, мапить дату в дату (бо в sqlite же ж немає типу поля date), досить легко відфільтрувати по стовпцю, будує графік, дає можливість зберігати звіти, але потребує реєстрації!
• nocodb, рекламується як airtable для твоєї БД. Ну це взагалі не туди, вони там формочки роблять, картинки у полях, це не про звіти і не про пошук.

Ну ви зрозуміли, пишу спитати, що може в кого є ідеї, що можна готового заюзати для публічного інтерфейсу для БД, якщо хочеться нічого не писати? Тобто хочеться писати, але я себе стримую, бо так в житті нічого не встигнеш. :)) Тому допоможіть мені будь ласочка придумати інтерфейс для нормальних людей для доступу до (не)великої кількості даних!

Metabase насправді виглядає як непогане рішення для другого юзкейсу — засетапити аккаунти для всіх зацікавлених співробітників, трохи звикнути до інтерфейсу і можна робити купу справ. Але для звичайних людей зі сторони він занадто складний. Давайте свої ідеї, попитайте в знайомих, задача здається доволі очевидною, але нагуглити рішення чомусь не вдається. Відкрити / Коментувати

2022-03-07 19:09:42 Цікаву тему прочитав у пана Макса Бергмана, який у 14 році працював у американському уряді і приймав участь у підримці безпеки України. Коротко: США зазвичай допомагають армії країни зброєю та тренуванням, але у нашому випадку не вистачало часу. Доставити Джавелін — це від 6 тижнів плюс ще час на тренування. А конфлікт настільки гострий, що двох місяців на апгрейд ситуації немає — ну ми це й самі пам'ятаємо.

Тож вони почали те, що можна було почати робити прямо зараз — стали навчати ЗСУ процесам, організації, робити реформи основних функцій (типу сек'юрних комунікацій замість того, що зараз в московитів). Це фантастичний збіг, коли короткострокові цілі збіглися з довгостроковими — і дають величезні дівіденди зараз.

Якщо так подумати, це ж власне ідеальний кейс стартапа, коли MVP повністю збігається з тим, що потрібне ринку. :) Відкрити / Коментувати

2022-03-03 18:44:05 Ми вчора доробили до більш-менш якогось робочого стану сервіс для інформування росіян про те, що їх ЗМІ їм брешуть. Ідея така: якщо в тебе є сайт, на якому бувають відвідувачі з Росії — ти можеш їм спробувати розповісти про те, що відбувається насправді.

Качаєш скріпт собі (щоб запобігти проблемі, коли наш сайт вже заблокований), підключаєш — і всі відвідувачі з Росії бачать величезний чорний попап (раз на годину). Скрипт намагається спочатку показати HTML, який ми хостимо, щоб можна було оновлювати текст, а якщо за 3 секунди не вийшло — то показує вбудовану версію.

На випадок, коли домен заблокований, там є ще кнопка, яка веде на телеграм-канал, де ті самі посилання. Взагалі здається, що якби був канал з інформацією для росіян, можна було б туди вести, але я такого не знаю.

Скрипт доволі простий і швидкий і для всіх інших (окрім росіян) буде непомітний, тож підключайте собі на сайти, і розповсюджуйте знання по знайомих! Відкрити / Коментувати

2022-02-28 09:03:18 Всім привіт! В мене тут випадково організувався контакт у Шевченковському військоматі Києва (що на Салютній 4), і вони кажуть, що дуже потрібні кілька ноутів (штук 3-5) і пара принтерів.

Якщо в когось з вас є техніка, яку ви готові віддати, напишіть в коментах, будь ласка. Авжеж, бажано на правому березі у Києві, щоб це можна туди якось доставити було.

Може в офісі щось старе є, або по знайомим? Попитайте, будь ласка.

UPD. Все знайшли і відвезли, спасибі, Сергій! Відкрити / Коментувати

2022-02-26 23:14:35 Відкрити / Коментувати