Чем вы смотрите логи? Поделитесь опытом
Чем вы смотрите логи? Поделитесь опытом - собираю картину по инструментам
Чем вы смотрите логи? Поделитесь опытом - собираю картину по инструментам
Привет, Пикабу. Я работаю с логами каждый день и в какой-то момент понял, что удобного инструмента под мои задачи нет. Поэтому написал свой. Сейчас это мой личный проект и дневник разработки.
Что уже умеет
Летает на файлах в 27 миллионов строк
Сложный поиск и подсветка
Сравнение логов и CSV-анализ
Построение графиков по регулярным выражениям
Внутри ядро на C++ с mmap: файл не грузится в оперативку целиком, ОС поднимает только нужные страницы. Сверху обёртка в Python, интерфейс на PySide6. Поиск многопоточный, файл режется на чанки по числу ядер. На моих тестах - 0,61 секунды, и упирается это не в код, а в скорость диска.
Коротко о разработке
От идеи до первой рабочей версии - пару месяцев, до текущего состояния - почти полгода. Начинал под Linux, в процессе перешёл на Windows, эта смена далась непросто. Были гонки данных в многопоточном поиске, недетерминированный порядок результатов, падения на UTF-8. Один баг с подсветкой выделенных объектов ловил двое суток, оказалось, форматирование таблицы перекрывает выделение. Это нормальная часть процесса.
Чего пока нет
Linux и macOS (коллеги-разработчики просят именно Linux)
Чтения логов «на лету» (tail -f)
Других кодировок (UTF-16, бинарные данные)
Глобального поиска по всем открытым вкладкам
ИИ-фишек
Куда двигаться - нужен ваш голос
У меня есть список идей, и мне важно понять, что из этого реально нужно людям, а что можно отложить.
Технические:
Поддержка Linux и macOS
Чтение логов «на лету» (tail -f)
Другие кодировки (UTF-16, бинарные данные)
Глобальный поиск по всем открытым вкладкам
Интеграция с ИИ:
«Объясни ошибку» по клику: выделяешь строку с исключением, LLM коротко объясняет, что произошло и куда смотреть
Автогруппировка похожих ошибок: тысячи строк в десятки уникальных проблем
Аномалии в логах: нетипичные всплески, редкие события и «тихие» ошибки, которые легко пропустить глазами
Данные и визуал:
Подсветка по регулярным выражениям (сейчас только точные подстроки)
Несколько правил на одну строку: 3 правила - 3 цвета одновременно
Экспорт отчётов в PDF/HTML, чтобы отправить коллегам красивый отчёт, а не голый CSV
Сохранение фильтров и графиков, чтобы не настраивать парсер заново
Хочу спросить
Если вы работаете с логами - в телекоме, вебе или embedded - скажите:
Какая фича из списка нужна вам прямо сейчас?
Что из этого кажется бесполезным?
Как относитесь к ИИ в инструментах для логов? Пользовались бы «объясни ошибку» или поиском на естественном языке, или предпочитаете всё руками и не пускать данные наружу?
Чего в моём списке нет, но вы бы очень хотели видеть?
Про доступ
Исходники пока закрыты: хочу сначала довести кухню до ума, для меня это горячая тема. Программой пользуюсь сам на работе, фидбек от пользователей только начинаю собирать. Готов дать попробовать на три дня желающим: напишите в комментариях, что смотрите в логах и какую боль хотите закрыть. Отвечаю по делу и по существу, без воды.
Спасибо, что дочитали. Мнение сообщества сейчас важнее, чем ещё одна фича.
Последнее время в сети интернет периодически появляется информация о большом количестве судебных исков за использование стоковых фото на сайтах.
Среди причин такого всплеска можно выделить:
- рост рынка юридических услуг. Появились компании и юристы, которые специализируются на массовом поиске нарушений. Они заключают с фотографами договоры: либо о полной передаче исключительных прав, либо о доверительном управлении;
- автоматизация. Для поиска используются сервисы, которые с помощью нейросетей отслеживают, где в интернете (на сайтах, в соцсетях) используются конкретные изображения;
- изменение поведения. Долгое время считалось, что если картинка в интернете — её можно брать бесплатно. Но сейчас этот миф разрушен: теперь даже из стокового сервиса нужно брать фото с оглядкой на лицензию;
С 2026 года вступили в силу поправки в часть 4 ГК РФ (ФЗ № 214-ФЗ), которые изменили правила расчёта компенсаций. Это сделало споры о сумме выплат более острыми.
Часто процесс выглядит так: Фотограф размещает фото на стоковом сервисе. Пользователи (дизайнеры, владельцы сайтов) скачивают его и используют. Специализированная фирма замечает это использование. Она заключает с автором договор доверительного управления правами. Фирма подаёт иск, требуя компенсацию.
Под удар попадают не только крупные компании, но и малый бизнес, блогеры, администраторы групп в соцсетях, турфирмы, а иногда и государственные структуры. Бывает, что человек или компания используют фото легально (купили подписку), но из-за размытых границ лицензии (например, взяли для веб-сайта, а разместили на баннере для выставки) нарушают её условия.
Что делать, чтобы не попасть в такую ситуацию специалисты рекомендуют:
- внимательно читать лицензию. Даже на стоке условия могут ограничивать, где и как можно использовать фото;
- сохранять доказательства. Если фото куплено, важно зафиксировать, откуда оно взято (ссылка на сток, дата покупки, логин пользователя) — это пригодится при споре;
- не игнорировать досудебные претензии. Часто ответчики не оспаривают иск, потому что судебные расходы (госпошлина, услуги юриста) съедают сумму компенсации, и проще заплатить.
Но, как мне лично видится, есть и другой легальный способ.
Если на сайте уже размещены фотографии (различные картинки) и не хочется выяснять есть ли у каждой из них авторское право у третьего лица, а также хочется полностью исключить риск иска, то можно просто видоизменить данные картинки используя те же нейросети.
Например на сайте использовалась такая картинка.
Берем ее, загружаем на любой сервис с возможностью редактирования фото ИИ, например photomagics.ru, выбираем максимальное количество шагов, «использовать только свой промт» и даем задание «Симпатичная девушка европейской внешности сидит в за ноутбуком и смотрит на экран ноутбука. Замени блузку у девушки на деловой костюм. Девушка без очков. Измени прическу и сделай длинные русые волосы. На заднем фоне слегка размытый интерьер офиса без людей и без окон. Фокус камеры на девушке.»
Через 30 сек получаем такое вот фото в высоком разрешении, без каких-либо авторских прав и возможных претензий. В дизайне сохранилась общая концепция и изначальная задумка.
Ps/ При выборе платформы с нейросетями важно уточнить в пользовательском соглашении, не накладывает ли сервис свои права на генерируемый фотоконтент.
Комментарии в посте Камушек натолкнули меня на мысль протестировать питьевую воду из разных источников на общее микробное число (сколько бактерий живёт в воде).
Чисто технически есть возможность проверить и химический состав воды - но основные источники (бутилированная, водопроводная) вероятнее всего и так соответствует СанПиН. Хотя вероятно бывают и исключения.
В общем и целом за неделю планировал проверить следующие пробы:
Вода из обратного осмоса (руки пока не дошли) - если колбы фильтра и накопительный бак периодически дезинфицируют, а так же меняют картриджи по регламенту, то вода будет чистой.
Пятилитровки разных производителей (то что я пью дома). В принципе можно было и не проверять. Вода перед розливом проходит обработку УФ, для розлива используют новую тару - шанс заражения минимальный.
19 литровки. Вода проходит такую же обработку, что и в пункте два. Но для розлива используют оборотную тару, с дезинфекцией которой могут быть вопросы.
Водоматы. Хотел проверить разные, но пока успел только один. Они бывают двух типов - в некоторые приовозит воду водовоз, некоторые подключены к водопроводу и представляют систему фильтрации. К самой воде вопросов у меня нет, но вот видя грязные фитинги водовоза - хз, может в "накопительных" водоматах есть проблемы.
Водопроводная вода. Хозпитьевая на заводе и ХВС в городе. Скорее всего ничего нигде не вырастет.
Испытания проводил с помощью тест системы БИОКОНТРОЛЬ, это пластинки питательной среды с красителем (Агар-агар с ТТС)
Привитые дипслайды выдерживаются при комнатной температуре в темном месте 48 часов, за это время на них вырастают колонии бактерий, которые с помощью индикатора ТТС окрашиваются в красный цвет (не всегда, но визуально колонии видно). После инкубации содержание живности в воде оценивается по сравнительной таблице в КОЕ/мл (колоний образующие единицы).
Перейдем к результатам:
Как я уже писал, тут эксперимент пошел по одному месту, поэтому часть проб не была оценена, а другая просто не сделана.
19 литровые бутыли местного производителя с работы + пятитровка этого же производителя.
Первый образец был набран из открытой бутылки через помпу, наиболее реальный сценарий использования.
Думал что помпа привнесет свою роль в заражении воды, но вода оказалась идеально чистой, менее чем 10^2 КОЕ/мл:
Второй образец был взять из невскрытой бутылки
Вот тут я думал всё будет чисто, но как вышло - так вышло.
На дипслайдах видим четкие 10^3 КОЕ на мл. Чтож, оборотная тара вносит свои коррективны в качество воды.
Третий образец этого же производителя был куплен в ближайшем магазине, и там всё чисто:
2. Пятилитровки. Я достаточно сильно уверен в качестве бутилированной воды поставляемой на продажу в магазинах. Поэтому покупаю Красную цену.
Так же проверил кучу других брендов, везде 0 колоний на дипслайдах, не думаю что фото чистых дипслайдов Вам интересны, так что тут только один:
3. Водопроводная вода.
Тут всё просто, водоснабжающие организации хлорируют воду и поэтому ожидаемый результат 0 КОЕ/мл. Но есть факт так называемой последней мили. Состояние труб в водопроводе оставляет желать лучшего.
Тем не менее, остаточный активный хлор в водопроводной воде угнетает рост бактерий (ну или устраивает тотальный геноцид микрофауны)
Дипслайды абсолютно чистые, как и на заводе, так и в городской сети:
4. Водомат.
Отбор пробы производил из водомата на фото прямо в стерильный контейнер дипслайда.
Скорее всего данный водомат подключен к скважине здания и представляет систему фильтрации. Так же при желании можно обработать оборотную тару озоном (в эффективность такой стерилизации я слабо верю)
Тем не менее, вода из водомата оказалась без "букашек":
5. Собственная скважина.
Чистейшая вода из 40+ метров под землей, воняет сероводородом, опустошила мой кошелек где-то на полтинник в результате анализа на марганец. Но пока водой толком не пользуемся, хоть и переехали месяц назад. Ибо всё в процессе сборки (котельная, водоподготовка, ванна и кухня). Собственно результаты этого испытания привнесли радость в мою жизнь и осознание что надо задуматься на покупкой ультрафиолетового проточного стерилизатора(
На этом свободные дипслайды закончились.
Спасибо за уделенное внимание.
PS постараюсь к следующей пятнице добраться до других водоматов и отобрать пробу воды с маминого осмоса. Там как раз фильтры и накопительный бак менять пора.
Компания Unitree представила H2-X «Kung Fu Legend: Guardian» — полноразмерного робота ростом 182 см с временем работы до восьми часов.
Настройки, мониторинг производительности, результат встроенного бенчмарка в нативе с ТАА. Игра плохо оптимизирована: графика не намного лучше AC: Odyssey, а fps в 2 раза меньше, причем трассировка отключена! По - этому тест в игре уже не в нативе, а с апскейлером, так как в нативе не всегда есть стабильные 60 fps.
Кому лень изучать результат встроенного бенчмарка в нативе на видео - выкладываю его отдельно.
В бенчмарке есть один сильный статтер, который руинит минимальный fps. Он повторяемый, особенность бенчмарка. В Одиссее было также, Ubisoft верна своим традициям! 😄
Фиксеры - психотерапевты, или как внезапно победить телефонную тревожность.
После первого знакомства с игрой, поставил на звонок рингтон Ви из Cyberpunk 2077.
Спустя несколько лет, решился на повторное прохождение, дергался при каждом звонке, поначалу, но потом привык, так как они же там без умолку трезвонят.
Спустя некоторое время, обнаружил что меньше дергаюсь на реальный звонок, спокойнее стал что-ли.
Gemini это откомментировал так:
То, что с вами произошло, в когнитивно-поведенческой терапии называется методом десенсибилизации (или, если говорить точнее, систематической десенсибилизацией через экспозицию).
Вы случайно, сами того не зная, провели классический сеанс поведенческой терапии. Вот как этот механизм сработал на примере Cyberpunk 2077:
Как это устроено изнутри:
Условный рефлекс и триггер: Изначально реальные звонки вызывали у вас микростресс или тревогу (это частая проблема в XXI веке). Поставив мелодию Ви на телефон, вы связали этот звук с чувством тревоги от реальных вызовов.
Экспозиция (встреча со страхом): Когда вы запустили игру, фиксеры (Реджина, Вакако и другие) начали обрывать вам телефон. В игре этот звук повторялся сотни раз, но не нес в себе реальной угрозы для вашей настоящей жизни — это был просто игровой процесс.
Угасание (Habituation): Ваша нервная система адаптировалась. Мозг понял: «Так, этот звук звучит постоянно, но ничего страшного после него не происходит. Мне не нужно выделять адреналин».
Перенос в реальность: В итоге триггер потерял свою пугающую силу. Теперь, когда телефон звонит в реальной жизни, мозг по привычке реагирует на него так же спокойно, как на очередной звонок от фиксера в Найт-Сити.
Вы буквально «перепрошили» свой рефлекс через безопасный игровой опыт. Так что фиксеры Найт-Сити не только подкидывали вам работу, но и подработали вашими психотерапевтами!
На днях проверял аккумуляторный шуруповерт Greenworks DD560. У него заявлен крутящий момент до 60 Нм, поэтому решил немного усложнить испытания. Обычные саморезы никуда не денутся, а для начала можно попробовать просверлить толстый деревянный брус сверлом на 25 мм и завернуть в него глухарь длиной почти 20 см. Взял хвойный брус сечением 100 x 200 мм. Сверло использовал старое, уже неоднократно работавшее. Интересовало, справится ли шуруповерт с такой нагрузкой и как поведет себя, если усилия окажется слишком много.
Внешне DD560 довольно компактный. Корпус в привычных цветах Greenworks, зеленый пластик с черными прорезиненными вставками. Длина без патрона составляет 149 мм. Спереди металлический быстрозажимной патрон, за ним кольцо регулировки усилия с 20 положениями и режимом сверления. Сверху переключаются две передачи.
Рукоятка удобная, с резиновыми накладками. Курок позволяет плавно менять обороты, а подсветка расположена внизу, над аккумулятором. После отпускания кнопки она работает еще примерно 10 секунд.
Сам шуруповерт весит 1 кг, но комплектная батарея на 4 Ач увеличивает массу до 1,8 кг. Разница хорошо ощущается, особенно если приходится держать инструмент на вытянутой руке. Зато на верстаке он уверенно стоит на широком аккумуляторе.
Начал с первой передачи, на которой двигатель вращается со скоростью до 500 об/мин. Сверло диаметром 25 мм постепенно уходило в древесину. Чем глубже, тем тяжелее становилось двигателю, но шуруповерт продолжал работать, в итоге удалось пройти около 140 мм. За это время защита дважды остановила двигатель. Пришлось извлекать сверло, но после повторного нажатия на курок DD560 сразу продолжал работу. Никакого ожидания, пока инструмент остынет, не потребовалось. Сам корпус при этом не перегрелся.
Решил попробовать вторую передачу, где обороты достигают 2000 об/мин. Здесь получилось совсем иначе: сверло прошло примерно 8 мм, после чего сработала защита.
Разница между передачами оказалась огромной. Поэтому при работе с крупными сверлами переключаться на высокие обороты явно не стоит. Кстати, патрон за время сверления ни разу не ослаб, хотя нагрузка на него была приличная.
После сверления взял крепеж диаметром 12 мм и длиной 190 мм. Закручивать такие глухари обычным шуруповертом приходится нечасто, обычно для этого используют инструмент помощнее. На первой передаче DD560 смог завернуть его в тот же брус практически на всю длину. Когда до шляпки оставалось примерно 24–25 мм, нагрузка стала слишком большой. Можно было попытаться продвинуться дальше короткими включениями, но я решил остановиться. И без того результат получился весьма приличным для такого инструмента.
После сверления и работы с глухарем аккумулятор потерял примерно четверть заряда. Батарея на 4 Ач довольно тяжелая, но при таких нагрузках запас энергии явно не лишний, а вот обычные саморезы длиной 50 мм шуруповерт закручивал уже совершенно спокойно. Последовательно завернул 40 штук, и индикатор аккумулятора даже не изменил своего значения.
Greenworks DD560 однозначно понравился. В руке лежит удобно, обороты регулируются плавно, металлический патрон надежно удерживает оснастку. Особенно понравилось, как работает защита: при перегрузке двигатель отключается, а после освобождения сверла можно сразу продолжать работу. Для обычных саморезов запас его мощности, пожалуй, избыточен. Зато при работе с крупным крепежом и сверлами он действительно пригодился. Хотя постоянно мучить шуруповерт 12-миллиметровыми глухарями я бы все-таки не стал.
В полном обзоре подробнее рассказал о конструкции DD560, особенностях, аккумуляторной платформе и испытаниях под нагрузкой.